FedAgain: A Trust-Based and Robust Federated Learning Strategy for an Automated Kidney Stone Identification in Ureteroscopy

1. Il Problema

L'intelligenza artificiale (AI) nell'imaging medico, in particolare per l'identificazione dei calcoli renali tramite ureteroscopia, affronta sfide critiche legate alla robustezza e alla generalizzazione.

• Eterogeneità dei Dati: I modelli addestrati su dataset monocentrici spesso falliscono quando applicati in contesti reali a causa di variazioni nei dispositivi di acquisizione, protocolli, demografia dei pazienti e condizioni di illuminazione.
• Corruzione delle Immagini: Le immagini endoscopiche sono soggette a perturbazioni frequenti come sfocatura da movimento, riflessi speculari, occlusioni da strumenti chirurgici e variazioni di illuminazione.
• Limitazioni della Privacy: La condivisione centralizzata dei dati medici è ostacolata da normative sulla privacy (es. GDPR, HIPAA) e dalla frammentazione istituzionale.
• Vulnerabilità del Federated Learning (FL) Standard: Gli algoritmi FL convenzionali (come FedAvg) sono sensibili a clienti "corrotti" (che inviano aggiornamenti rumorosi o malevoli) e a distribuzioni di dati non-IID (non indipendenti e identicamente distribuiti), portando a una degradazione delle prestazioni e a una convergenza instabile.

2. Metodologia: FedAgain

Il paper propone FedAgain, una strategia di Federated Learning basata sulla fiducia (trust) progettata per migliorare la robustezza e la generalizzazione in ambienti distribuiti e ostili.

Meccanismo a Doppia Fiducia

La novità centrale di FedAgain è l'integrazione di un meccanismo di pesatura dinamica degli aggiornamenti dei client basato su due segnali di fiducia calcolati in ogni round di addestramento:

1. Errore di Benchmark ($E_k^{(t)}$): Misura la performance del modello globale corrente sul dataset di validazione locale del client prima dell'addestramento locale. Un errore basso indica che la distribuzione dei dati del client è rappresentativa del modello globale.
2. Divergenza dei Parametri ($D_k^{(t)}$): Calcola la distanza (norma L2) tra i pesi aggiornati localmente dal client e i pesi globali del server. Una divergenza eccessiva suggerisce che l'aggiornamento potrebbe essere rumoroso, instabile o malevolo.

Formula di Aggregazione

Il server calcola un punteggio di fiducia ($T_k^{(t)}$) per ogni client combinando questi due segnali:
$$T_k^{(t)} = \frac{1}{E_k^{(t)} \cdot D_k^{(t)} + \varepsilon}$$
Dove $\varepsilon$ è una costante piccola per evitare la divisione per zero.

• I client con basso errore di benchmark e bassa divergenza ricevono un punteggio di fiducia alto e un peso maggiore nell'aggregazione.
• I client con dati corrotti o aggiornamenti anomali ricevono un peso ridotto, mitigando il loro impatto negativo sul modello globale.

L'aggregazione finale dei pesi globali ($w_{server}^{(t+1)}$) è una combinazione pesata degli aggiornamenti locali:
$$w_{server, j}^{(t+1)} = \sum_{k=1}^{|K|} \hat{T}_k^{(t)} w_{k, j}^{(t+1)}$$
dove $\hat{T}_k^{(t)}$ è il punteggio di fiducia normalizzato.

3. Contributi Chiave

1. Primo approccio FL per l'identificazione dei calcoli renali: FedAgain è il primo metodo di Federated Learning progettato specificamente per il riconoscimento in-vivo dei tipi di calcoli renali, affrontando esplicitamente la robustezza alla corruzione delle immagini e all'inaffidabilità dei client.
2. Aggregazione Pesata sulla Fiducia: Introduce una regola di aggregazione semplice ma efficace che non richiede rilevamento di outlier esplicito o tuning specifico per attacchi, adattandosi dinamicamente alla qualità dei dati e alla coerenza del modello.
3. Framework di Valutazione Esteso: Fornisce un codice PyTorch riproducibile e un suite di test che include:
   • Benchmark pubblici (MNIST, CIFAR-10).
   • Tre dataset clinici reali di calcoli renali (Dataset A: Michel Daudon, Dataset B: Jonathan El-Beze, Dataset C: MyStone).
   • Simulazioni di scenari realistici: distribuzioni non-IID (skew delle etichette, Dirichlet) e corruzione controllata (rumore, sfocatura, variazioni di contrasto) fino al 50% dei client corrotti.
4. Validazione Empirica della Robustezza: Dimostra sperimentalmente che FedAgain mantiene l'accuratezza diagnostica e la stabilità delle prestazioni in condizioni di degrado delle immagini e eterogeneità dei dati, superando i metodi standard.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 dataset (2 benchmark, 3 clinici) con configurazioni che variano da 5 a 20 client e livelli di corruzione fino al 50%.

• Confronto con Baseline: FedAgain supera costantemente i metodi standard (FedAvg, FedProx) e le strategie robuste esistenti (FedMedian, Bulyan) in scenari con client corrotti.
• Robustezza alla Corruzione:
  • In scenari di corruzione pesante (40% di client corrotti, severità 5), FedAgain ha mantenuto un'accuratezza stabile (~72.89%), mentre FedAvg è crollato a ~68% e Bulyan a ~64%.
  • FedAgain ha mostrato una varianza inferiore rispetto alle altre strategie, indicando una convergenza più stabile e prevedibile.
• Scalabilità: Man mano che il numero di client aumenta (da 5 a 20), il vantaggio di FedAgain rispetto a FedAvg si amplifica. Ad esempio, su un dataset clinico difficile, FedAgain ha mantenuto un vantaggio di +8.29% di accuratezza rispetto a FedAvg con 20 client.
• Distribuzioni Non-IID: In scenari di eterogeneità estrema (Dirichlet $\alpha=0.5$), FedAgain ha migliorato l'accuratezza del 4.82% rispetto a FedAvg, dimostrando efficacia anche senza dati corrotti, ma con distribuzioni di etichette sbilanciate.
• Validazione su Benchmark: Su CIFAR-10 e MNIST, FedAgain ha confermato la sua capacità di generalizzare, mostrando vantaggi significativi su CIFAR-10 (task più complesso) e mantenendo prestazioni eccellenti su MNIST.

5. Significato e Impatto

Il lavoro di FedAgain rappresenta un passo avanti significativo verso l'implementazione clinica di sistemi AI federati:

• Affidabilità Clinica: Offre una soluzione pratica per addestrare modelli diagnostici robusti su dati multi-istituzionali senza violare la privacy, garantendo che i modelli siano resilienti alle variazioni reali dei dispositivi medici e delle condizioni di acquisizione.
• Sicurezza Operativa: La capacità di filtrare automaticamente aggiornamenti inaffidabili riduce il rischio di errori diagnostici causati da dati degradati o da partecipanti malevoli (attacchi Byzantine).
• Generalizzabilità: Sebbene focalizzato sui calcoli renali, il framework è agnostico rispetto al dominio e può essere applicato ad altre aree dell'imaging medico dove la qualità dei dati e la privacy sono critiche.

In sintesi, FedAgain trasforma il rilevamento di anomalie da un filtro passivo a un componente attivo del ciclo di apprendimento federato, creando un ecosistema di collaborazione medica più sicuro, robusto e clinicamente affidabile.