Sintesi Tecnica: TRCGL-Net

Definizione del Problema

La classificazione multi-label di radiografie del torace (CXR) è un compito critico nella diagnostica per immagini intelligente, ma affronta ostacoli significativi a causa della distribuzione long-tailed (a coda lunga) dei dati clinici reali. In dataset come PadChest, un piccolo numero di categorie di malattie comuni (classi head) domina il conteggio dei campioni, mentre la maggior parte delle categorie di malattie (classi tail) soffre di una estrema scarsità di campioni. Questo squilibrio porta i modelli di deep learning a essere influenzati dalle classi maggioritarie, con conseguente degrado delle prestazioni per le malattie rare.

Gli autori identificano tre fattori intrinseci che esacerbano questo problema:

1. Scarsità di Dati e Deriva Semantica: Le classi tail possiedono pochissimi campioni positivi. I metodi di aumento tradizionali spesso non riescono a incorporare vincoli semantici a livello di malattia, portando a campioni generati che mancano di specifiche caratteristiche lesionali o che deviano dai reali pattern patologici.
2. Attenuazione delle Caratteristiche e Interferenza dello Sfondo: Le lesioni delle classi tail sono spesso piccole, a basso contrasto e oscurate da complessi sfondi anatomici (es. costole, clavicole, silhouette cardiache). L'estrazione standard delle caratteristiche tende a sopprimere questi segnali sottili a favore di caratteristiche dominanti delle classi head o di strutture di sfondo.
3. Modellazione Inefficace della Co-occorrenza delle Etichette: I metodi esistenti per modellare le dipendenze tra etichette sono tipicamente dominati dalle classi frequenti. Di conseguenza, le relazioni apprese riflettono pattern di malattie comuni, fallendo nel fornire associazioni informative che potrebbero aiutare il riconoscimento delle rare classi tail.

Metodologia: TRCGL-Net

Per affrontare queste sfide, gli autori propongono TRCGL-Net, un framework progettato per la classificazione long-tailed multi-label di CXR. L'architettura integra quattro componenti chiave e impiega una strategia di addestramento in due fasi (warm-up del classificatore seguito da full fine-tuning).

1. Diffusione Condizionale Guidata da Testo Apprendibile

Per mitigare la scarsità di campioni delle classi tail, il framework impiega un modulo generativo basato su modelli di diffusione condizionale.

• Meccanismo: I testi delle etichette delle malattie vengono codificati utilizzando un encoder testuale CLIP. Fondamentalmente, gli autori introducono vettori di contesto apprendibili (prompt embeddings) concatenati con gli embedding testuali. Questi vettori sono ottimizzati durante l'addestramento per potenziare adattivamente le condizioni testuali.
• Processo: La sequenza testuale aumentata guida il modello di diffusione a sintetizzare immagini CXR di alta qualità per le classi tail. Il processo di generazione utilizza un meccanismo di classifier-free guidance per bilanciare l'aderenza alla semantica della malattia con la diversità della morfologia e della localizzazione della lesione.
• Obiettivo: Generare campioni sintetici che preservino la coerenza anatomica e la semantica specifica della patologia, aumentando così il set di addestramento per le categorie sottorappresentate.

2. Meccanismo di Attenzione Canale-Classe

Per migliorare la discriminabilità delle caratteristiche sotto distribuzioni long-tailed, il framework elabora le caratteristiche estratte da un backbone ConvNeXtV2 attraverso due meccanismi paralleli:

• Ripesatura dei Canali (Channel Reweighting): Un meccanismo che applica il global average pooling e una trasformazione non lineare per generare pesi di attenzione dei canali. Questo ricalibra le caratteristiche dei canali, enfatizzando quelle rilevanti per specifiche malattie pur preservando l'informazione originale tramite connessioni residue.
• Attenzione Spaziale Consapevole della Classe (Class-Aware Spatial Attention): Un ramo che genera mappe di attenzione specifiche per la classe. Ciò consente al modello di localizzare le regioni rilevanti per la malattia e concentrarsi su aree lesionali fini, riducendo l'interferenza da strutture anatomiche irrilevanti.
• Fusione: La predizione finale a livello di immagine combina le caratteristiche semantiche globali (dal Global Average Pooling) e le caratteristiche locali specifiche per la classe.

3. Modellazione della Co-occorrenza delle Etichette (Convoluzione su Grafo)

Per sfruttare le dipendenze inter-classe, il framework costruisce un grafo di co-occorrenza delle etichette.

• Costruzione del Grafo: Una matrice di co-occorrenza viene derivata dal set di addestramento, normalizzata per ridurre il bias delle classi frequenti, simmetrizzata e soggetta a thresholding per rimuovere correlazioni spurie.
• Propagazione: Una Rete Convoluzionale su Grafo (GCN) propaga l'informazione attraverso il grafo delle etichette. Le categorie di malattie sono trattate come nodi con embedding apprendibili. Attraverso due strati di convoluzione sul grafo, i prototipi di classe vengono aggiornati per incorporare le relazioni di co-occorrenza.
• Integrazione: L'output della GCN fornisce predizioni basate sul grafo delle etichette, che vengono fuse con le predizioni basate sull'immagine tramite aggregazione residua. Ciò consente alle classi tail di beneficiare di indizi discriminanti provenienti da classi ad alta frequenza che co-occorrono frequentemente.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Strategia Generativa: Un modello di diffusione condizionale guidato da testo apprendibile che impone vincoli semantici della malattia per sintetizzare campioni delle classi tail, affrontando la scarsità di dati mantenendo la coerenza patologica.
2. Potenziamento delle Caratteristiche: Un meccanismo duale che combina la ripesatura dei canali e l'attenzione consapevole della classe per potenziare le caratteristiche rilevanti per la malattia e sopprimere l'interferenza dello sfondo, mirando specificamente alla debole rappresentazione delle lesioni tail.
3. Modellazione delle Dipendenze: Una rete convoluzionale su grafo basata sulla co-occorrenza delle etichette che consente la propagazione dell'informazione discriminante tra categorie correlate, permettendo alle classi tail di beneficiare delle relazioni con le classi frequenti.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset PadChest, che contiene oltre 160.000 immagini annotate con 174 reperti radiologici. Il dataset è stato suddiviso a livello di paziente (80% training, 20% validation).

• Prestazioni Complessive: TRCGL-Net ha raggiunto una mean Average Precision (mAP) di 0,4408, una mean Area Under the Curve (mAUC) di 0,8989 e un punteggio macro-F1 di 0,4369. Questi risultati superano i baseline allo stato dell'arte, inclusi ResNet-50, EfficientNet, ViT, CLIP e metodi specializzati per il long-tail come ConvNeXt+LDAM e ConvNeXt+CSRA.
• Prestazioni sulle Classi Tail: Il miglioramento più significativo è stato osservato nelle classi tail (categorie con <500 campioni). TRCGL-Net ha raggiunto una mAP delle classi tail di 0,4904 e una mAUC delle classi tail di 0,9229. Ciò rappresenta un miglioramento sostanziale rispetto al miglior baseline (ConvNeXt), che ha ottenuto 0,1280 mAP sulle classi tail.
• Studi di Ablazione:
  • Rimuovendo il modulo di diffusione, la mAP è scesa da 0,4408 a 0,3671, evidenziando l'importanza dell'aumento dei dati.
  • Rimuovendo il modulo di Channel-Class Attention, le prestazioni sono diminuite, confermando la necessità della ricalibrazione delle caratteristiche.
  • Rimuovendo il modulo di Modellazione della Relazione tra Etichette, le prestazioni sono anch'esse peggiorate, validando l'utilità della propagazione della co-occorrenza delle etichette.
• Sensibilità dei Parametri: Le prestazioni ottimali sono state raggiunte con un peso dei campioni sintetici di 0,5 e una forza di fusione del grafo delle etichette di 0,05, indicando un equilibrio tra dati reali/sintetici e informazioni visive/etichette.

Significato e Limitazioni

Significato:
Il framework dimostra che integrare l'aumento dei dati generativo con vincoli semantici, meccanismi di attenzione a livello di caratteristica e modellazione delle dipendenze tra etichette può mitigare efficacemente l'impatto del forte squilibrio di classe nella classificazione delle radiografie del torace. Migliora specificamente il riconoscimento di malattie rare, che sono spesso critiche nella diagnosi clinica ma trascurate dai modelli standard.

Limitazioni e Lavori Futuri:
Gli autori riconoscono diverse limitazioni:

• Il modello di diffusione si basa su nomi di malattie e referti radiologici; la sua capacità semantica può essere limitata per descrizioni multi-lesionali complesse o sottotipi fini.
• Il grafo di co-occorrenza delle etichette è statico, basato sulle statistiche del set di addestramento, e potrebbe non adattarsi bene ai cambiamenti di distribuzione tra diverse istituzioni mediche.

I lavori futuri mirano a incorporare la conoscenza medica strutturata (prior anatomici) nel processo di diffusione e a sviluppare una modellazione delle relazioni tra etichette dinamica e adattiva ai dati per migliorare la generalizzazione in contesti cross-domain.