Sintesi Tecnica: Sfruttare la Co-occorrenza delle Patologie per l'Adattamento al Tempo di Test nella Diagnosi di Radiografie del Torace

Definizione del Problema

I modelli di deep learning per la classificazione delle radiografie del torace soffrono spesso di un significativo degrado delle prestazioni quando vengono distribuiti in nuovi siti clinici a causa dei cambiamenti di dominio derivanti da differenze nelle apparecchiature di imaging, nei protocolli di acquisizione e nelle demografie dei pazienti. Sebbene l'Adattamento al Tempo di Test (TTA) offra una soluzione aggiornando i modelli pre-addestrati utilizzando solo dati target non etichettati (senza accesso ai dati sorgente o alle annotazioni target), i metodi TTA esistenti sono poco adatti alla diagnostica per immagini medica multi-label.

Gli approcci TTA standard, originariamente progettati per la classificazione di immagini naturali a etichetta singola, minimizzano l'entropia delle predizioni in modo uniforme su tutti i campioni. Ciò assume implicitamente l'indipendenza delle etichette. Tuttavia, in contesti clinici, le patologie esibiscono schemi di co-occorrenza strutturati (ad esempio, certe malattie compaiono frequentemente insieme) piuttosto che verificarsi in isolamento. I metodi esistenti non tengono conto di queste dipendenze; trattano tutte le predizioni sicure come ugualmente affidabili, anche se una predizione viola relazioni plausibili tra le etichette. Ciò può portare all'amplificazione di schemi incoerenti e all'introduzione di gradienti rumorosi durante l'adattamento, particolarmente in presenza di cambiamenti di dominio.

Metodologia: Co-occorrenza Pesata per l'Adattamento (CoWA)

Gli autori propongono CoWA, un metodo TTA source-free che sfrutta gli schemi di co-occorrenza delle malattie come segnale di affidabilità per guidare l'adattamento. Il framework opera senza richiedere supervisione aggiuntiva o cambiamenti architettonici, adattando solo i parametri affini della Batch Normalization (BN) del modello pre-addestrato.

CoWA consiste in tre componenti principali:

1. Stima della Matrice di Co-occorrenza del Dominio Target:
   Il metodo stima la struttura di co-occorrenza delle etichette direttamente dalle predizioni di test in arrivo. Le uscite del modello (probabilità morbide) vengono binarizzate tramite una soglia fissa per sopprimere le attivazioni a bassa confidenza. Una matrice di co-occorrenza a coppie $S$ viene accumulata attraverso i batch elaborati, dove $S_{jk}$ conta la predizione congiunta delle patologie $j$ e $k$. Questa viene normalizzata per formare una matrice di co-occorrenza empirica $M$, che evolve man mano che l'adattamento procede, catturando la specifica struttura di dipendenza del dominio target.

2. Pesatura dei Campioni Basata sulla Coerenza:
   Per ogni campione, CoWA calcola un punteggio di coerenza che misura quanto bene la configurazione delle etichette predetta si allinei con la matrice di co-occorrenza target stimata $M$. Un pattern di co-occorrenza locale $m_i$ viene costruito a partire dalle predizioni del campione. La deviazione tra $m_i$ e $M$ viene calcolata utilizzando la norma di Frobenius. Questa deviazione viene convertita in un peso di affidabilità $w_i$:
   $$w_i = \exp\left(-\frac{\|m_i - M\|_F^2}{\tau}\right)$$
   dove $\tau$ è un parametro di temperatura. I campioni con predizioni coerenti con la struttura emergente del target ricevono pesi vicini a 1, mentre le predizioni strutturalmente incoerenti (rumorose) vengono penalizzate.

3. Minimizzazione dell'Entropia Pesata:
   Invece di minimizzare l'entropia media uniforme, CoWA minimizza una perdita di entropia pesata:
   $$L_{CoWA} = \frac{1}{B} \sum_{i=1}^{B} \max(w_i, w_{min}) \cdot H(\hat{y}_i)$$
   Qui, $H(\cdot)$ è l'entropia della predizione, $B$ è la dimensione del batch e $w_{min}$ impedisce ai pesi di collassare a zero per la stabilità numerica. Ciò assicura che il modello si adatti principalmente su campioni strutturalmente coerenti, riducendo l'impatto dei gradienti rumorosi.

Contributi Chiave

1. Proposta di CoWA: Un nuovo metodo TTA che stima gli schemi di co-occorrenza delle patologie dalle predizioni del modello e li utilizza come segnale di affidabilità per campione per la classificazione di immagini mediche multi-label.
2. Identificazione dei Limiti dei TTA Standard: Gli autori dimostrano che i metodi TTA standard, progettati per benchmark a etichetta singola, possono essere inefficaci o dannosi per compiti clinici multi-label perché ignorano le dipendenze tra le etichette.
3. Validazione Empirica: Esperimenti estesi su dataset pubblici di radiografie del torace (MIMIC-CXR, CheXpert, VinDr-CXR, NIH Chest X-ray) attraverso sei scenari di cambiamento di dominio mostrano miglioramenti costanti delle prestazioni rispetto ai baseline stabiliti.

Risultati Sperimentali

Gli autori hanno valutato CoWA contro diversi baseline, inclusi No Adaptation, AdaBN, TENT, CoTTA, EATA e RoTTA, utilizzando l'AUROC come metrica principale.

• Prestazioni Complessive: CoWA ha ottenuto la migliore media AUROC nella maggior parte degli scenari di cambiamento di dominio e si è mantenuto competitivo in altri, classificandosi costantemente al primo o secondo posto con piccoli scarti di prestazione.
• Robustezza al Cambiamento di Dominio: A differenza dei baseline come TENT e AdaBN, che mostravano un'alta variabilità (performando bene in alcuni shift ma degradando in altri), CoWA ha mantenuto prestazioni stabili.
• Miglioramenti Specifici per Classe: I metodi concorrenti spesso subivano cali marcati sulle patologie a bassa prevalenza (ad esempio, Pneumotorace). CoWA ha costantemente alleviato tali degradazioni specifiche per classe. In particolare, CoWA è stato l'unico metodo a evitare gravi cali di prestazione al di sotto del baseline non adattato in tutti gli shift, evidenziando la sua robustezza nel caso peggiore.
• Analisi:
  • Evoluzione della Matrice: La matrice di co-occorrenza stimata in CoWA si è progressivamente allineata con la vera struttura target durante l'adattamento, mentre i baseline hanno perso le chiare strutture di dipendenza.
  • Affidabilità del Peso: È stata osservata una correlazione positiva tra i pesi assegnati e la qualità della predizione (AUPRC), confermando che i pesi fungono efficacemente da stimatore implicito di affidabilità.
  • Ablazione: L'uso della norma di Frobenius ($\ell_F$) per il punteggio di coerenza ha prodotto una media AUROC più elevata e una varianza inferiore rispetto alle norme $\ell_1$, $\ell_2$ o $\ell_\infty$. Inoltre, CoWA ha dimostrato aggiornamenti dei gradienti affini della BN più stabili rispetto a TENT.

Significato e Rivendicazioni

L'articolo sostiene che CoWA offra una soluzione semplice e implementabile per migliorare la robustezza diagnostica sotto cambiamento di dominio, incorporando la struttura di co-occorrenza del dominio target nel TTA senza richiedere annotazioni aggiuntive.

Gli autori sottolineano che, in contesti clinici, dove un grave calo di prestazioni su una singola patologia può compromettere la diagnosi, la "robustezza nel caso peggiore" fornita da CoWA è critica quanto la prestazione media. Riducendo il peso delle predizioni che violano le relazioni plausibili tra le etichette, CoWA consente all'adattamento di concentrarsi sui campioni strutturalmente coerenti, riducendo così i gradienti rumorosi.

Gli autori concludono con modestia, notando che, sebbene CoWA sia efficace, gli schemi stimati potrebbero essere sensibili ai bias a livello di dataset. Suggeriscono che l'estensione di CoWA per catturare relazioni più robuste e causalmente fondate sia una direzione promettente per il lavoro futuro.