💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

Questo articolo propone il Recurrent Contrastive Learning (RCL), un nuovo framework che utilizza una Temporal Memory Queue per generare Temporal Anchors ed espandere progressivamente la regione di supporto latente delle classi di coda, mitigando così lo sbilanciamento delle classi e migliorando i confini decisionali nella classificazione di immagini mediche.

Autori originali: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot a riconoscere diversi tipi di animali in uno zoo. Se lo zoo ha 1.000 leoni ma solo 5 tigri, il robot diventerà bravissimo a individuare i leoni e probabilmente dimenticherà l'aspetto di una tigre, o peggio, potrebbe pensare che ogni felino sia un leone. Questo è un problema comune nel mondo dell'IA medica chiamato "sbilanciamento delle classi" (class imbalance). I medici hanno tonnellate di dati per le malattie comuni, ma pochissimi per quelle rare o gravi. Quando i modelli di IA vengono addestrati su questi dati disomogenei, diventano distorti verso le cose comuni e mancano i casi rari e critici. Per risolvere questo problema, gli scienziati di solito cercano di mostrare al robot più immagini degli animali rari (ricampionamento/resampling) o di dirgli di prestare un'attenzione extra a loro durante le lezioni (riponderazione/reweighting). Ma c'è un trucco: questi metodi spesso portano il robot a guardare con più intensità le poche immagini rare che ha, senza però dare effettivamente alle malattie rare abbastanza "spazio" nella mente del robot per distinguersi chiaramente da quelle comuni.

È qui che entra in gioco un'idea geniale chiamata Recurrent Contrastive Learning (RCL), proposta da Zhiyuan Zhu e dal suo team. Invece di limitarsi a mescolare il mazzo di carte o a urlare più forte verso quelli rari, hanno deciso di costruire un "buffer di memoria" che aiuta le malattie rare ad espandere il proprio territorio nella mente dell'IA. Pensa a una pista da ballo affollata dove i ragazzi popolari (le malattie comuni) occupano tutto lo spazio. I ragazzi meno popolari (le malattie rare) sono schiacciati in un angolo minuscolo. La soluzione dei ricercatori è quella di portare dei "ballerini fantasma" dalle sessioni di pratica precedenti — vecchie versioni delle mosse dei ragazzi rari — per stare intorno a loro e creare una bolla protettiva. Questa bolla spinge via i ragazzi popolari, dando alle malattie rare lo spazio necessario per essere viste e riconosciute correttamente. Il team ha testato questo metodo su tre diversi dataset medici, inclusi scansioni di ecografie carotidee, immagini di retinopatia diabetica e radiografie del ginocchio, e ha scoperto che il loro metodo aiutava l'IA a individuare meglio le condizioni rare rispetto alle tecniche precedenti.

Il Problema: L'effetto "Ragazzo Popolare" nell'IA Medica

Nel mondo dell'imaging medico, non tutte le malattie sono uguali. Alcune, come un comune raffreddore o un lieve eritema cutaneo, capitano spesso. Altre, come malattie genetiche rare o stadi specifici di cancro, sono molto meno frequenti. Quando addestriamo un'IA per diagnosticare queste condizioni, è come addestrare uno studente che vede solo 1.000 esempi di raffreddore comune ma solo 5 esempi di una malattia rara. Naturalmente, lo studente (l'IA) diventa un esperto di raffreddore, ma si confonde quando vede quello raro. Potrebbe persino scambiare la malattia rara per quella comune perché, nella "mente" dell'IA, la malattia rara non ha abbastanza spazio per esistere autonomamente.

Il documento evidenzia che le soluzioni esistenti cercano di risolvere il problema mostrando all'IA più esempi della malattia rara (ricampionamento) o dicendole di "prestare più attenzione" a quei pochi esempi (riponderazione). Sebbene questi metodi aiutino un po', non risolvono il problema alla radice: le malattie rare sono ancora stipate in un angolo minuscolo e affollato dello spazio delle caratteristiche. Sono così compatte che le malattie comuni possono facilmente "invadere" il loro territorio, portando a errori.

La Soluzione: Ballerini Fantasma e Bolle Protettive

Gli autori propongono una nuova strategia chiamata Recurrent Contrastive Learning (RCL). Per capire come funziona, immagina il processo di apprendimento dell'IA come una serie di sessioni di addestramento nel tempo.

1. La Memoria che Viaggia nel Tempo (Temporal Memory Queue)
Di solito, un'IA ricorda solo gli esempi che vede nel lotto (batch) attuale di addestramento. La RCL introduce una speciale "macchina del tempo" chiamata Temporal Memory Queue (TMQ). Questa coda non contiene solo le immagini attuali; salva gli "stati delle caratteristiche" (la comprensione che l'IA ha delle immagini) dalle sessioni di addestramento precedenti. È come tenere un diario di ciò che l'IA ha imparato la scorsa settimana, il mese scorso e così via. Questo permette all'IA di guardare indietro a come comprendeva le malattie rare in passato, anche se non ha visto molti nuovi esempi di esse di recente.

2. I Ballerini Fantasma (Temporal Anchors)
Ecco il trucco magico. Quando l'IA sta cercando di imparare una malattia rara (una "classe coda" o tail class), guarda nel suo diario che viaggia nel tempo. Seleziona i "ballerini fantasma" — vecchie rappresentazioni delle caratteristiche di quella malattia rara dalle sessioni precedenti. Questi fantasmi vengono poi utilizzati per creare un Temporal Anchor (TAR).

Immagina che la malattia rara sia una piccola isola in un vasto oceano. Le malattie comuni sono continenti enormi nelle vicinanze. Senza aiuto, le onde dell'oceano (le caratteristiche delle malattie comuni) travolgono l'isola, rendendo difficile distinguerla. I TAR agiscono come una serie di boe o una barriera protettiva posta intorno all'isola. Queste boe sono fatte dalle versioni "fantasma" dell'isola del passato. Posizionando queste boe attorno alla malattia rara, l'IA riesce efficacementmente ad espandere il territorio dell'isola. Crea una "zona cuscinetto" che allontana le malattie comuni, assicurando che la malattia rara abbia il proprio spazio distinto.

3. Il Ciclo Ricorrente
Il processo è "ricorrente", il che significa che avviene ripetutamente. Mentre l'IA si addestra, continua ad aggiornare la sua coda di memoria con nuove informazioni, ma mantiene anche gli ancoraggi vecchi. Questo crea un campo in crescita ed espandendosi attorno alle malattie rare, rendendole più robuste e facili da separare dalle comuni.

Cosa Hanno Scoperto: Un Quadro Più Chiaro

Il team ha testato questo metodo su tre dataset medici reali:

Ecografia Carotidea: Immagini dei vasi sanguigni del collo per controllare la placca (3.404 immagini).
Retinopatia Diabetica: Immagini oculari per controllare la perdita della vista (3.662 immagini).
Osteoartrosi del Ginocchio: Radiografie delle ginocchia per classificare la gravità dell'artrosi (8.260 immagini).

In tutti e tre i casi, il metodo RCL ha mostrato miglioramenti costanti rispetto ai migliori metodi esistenti.

Sul dataset Carotideo, il nuovo metodo ha raggiunto un'accuratezza bilanciata (Balanced Accuracy) dell'87,10%, superando il precedente primato.
Sul dataset del Ginocchio, ha migliorato l'accuratezza bilanciata del 9,09% rispetto all'uso del semplice modello di base senza i trucchi della memoria.
Sul dataset dell'Occhio, il metodo ha raggiunto un punteggio di Quadratic Weighted Kappa di 0,92, che è un punteggio molto alto che indica un eccellente accordo con gli esperti umani.

I ricercatori hanno anche visualizzato ciò che accadeva all'interno del "cervello" dell'IA utilizzando una tecnica chiamata t-SNE (che è una sorta di mappa che mostra quanto le cose siano vicine o lontane tra loro). Hanno visto che, senza il loro metodo, le malattie rare erano schiacciate in puntini minuscoli e affollati. Con la RCL, le malattie rare si erano espanse in aree più grandi e ben definite, con chiare "zone cuscinetto" tra loro e le malattie comuni. I "ballerini fantasma" (ancore) hanno creato con successo un campo protettivo che ha impedito alle malattie comuni di schiacciare quelle rare.

Perché Questo è Importante

Questo articolo suggerisce che non abbiamo solo bisogno di più dati per le malattie rare; abbiamo bisogno di modi più intelligenti per usare i dati che già possediamo. Usando la storia dell'IA stessa per costruire un campo protettivo attorno alle condizioni rare, possiamo rendere l'IA medica più equa e accurata. Questo è fondamentale perché, nel mondo reale, mancare una malattia rara ma grave può essere fatale. Gli autori notano che, sebbene il loro metodo funzioni bene, attualmente richiede una certa regolazione manuale dei parametri (come quanti "fantasmi" mantenere nella memoria). Il lavoro futuro mirerà a rendere questo processo automatico. Ma per ora, questo approccio basato sulla "memoria che viaggia nel tempo" offre un nuovo modo promettente per garantire che i pazienti più rari ricevano l'attenzione che meritano dai nostri medici IA.

Sintesi Tecnica: Apprendimento Contrastivo Ricorrente per la Classificazione di Immagini Mediche Sbilanciate

Definizione del Problema

La classificazione di immagini mediche incontra frequentemente un grave sbilanciamento delle classi dovuto alle disparità intrinseche nell'incidenza delle malattie, dove le condizioni rare (classi di coda o tail classes) presentano significativamente meno campioni rispetto alle condizioni comuni (classi di testa o head classes). Gli approcci esistenti, come il campionamento delle classi (class resampling) e la riponderazione della perdita (loss reweighting), operano principalmente all'interno della distribuzione delle caratteristiche osservate. Sebbene questi metodi regolino il modo in cui le caratteristiche vengono pesate o campionate, non riescono ad ampliare esplicitamente la regione di supporto latente delle classi di coda. Di conseguenza, le rappresentazioni delle classi di coda rimangono eccessivamente compatte e vengono facilmente invase dalle classi di testa nello spazio delle caratteristiche, portando a confini decisionali distorti e a una ridotta separabilità inter-classe. Ciò è particolarmente critico poiché le classi di coda spesso corrispondono a malattie gravi o rare, dove l'identificazione accurata è vitale per il processo decisionale clinico.

Metodologia: Apprendimento Contrastivo Ricorrente (RCL)

Gli autori propongono l'Apprendimento Contrastivo Ricorrente (RCL), un framework che affronta lo sbilanciamento delle classi da una prospettiva di "espansione del campo". Invece di limitarsi a riponderare i dati esistenti, l'RCL espande attivamente la regione di supporto delle classi di coda nello spazio latente. La metodologia si compone di tre componenti principali:

1. Backbone ed Estrazione delle Caratteristiche

Il framework utilizza DINOv3 con adattatori LoRA (Low-Rank Adaptation) come backbone.

Architettura: Un'immagine in input viene elaborata per estrarre un token di classe ( $f_i$ ) a 1280 dimensioni.
Head: Un modulo di classificazione ( $G(\cdot)$ ) produce predizioni per la supervisione tramite cross-entropy, mentre un modulo di proiezione ( $P(\cdot)$ ) mappa le caratteristiche in un embedding normalizzato a 256 dimensioni ( $z_i$ ) per l'apprendimento contrastivo.
Strategia di Addestramento: Il backbone DINOv3 è congelato e vengono ottimizzati solo gli adattatori LoRA e gli head, garantendo un adattamento efficiente con pochi parametri addestrabili.

2. Coda di Memoria Temporale (TMQ)

Per superare i limiti dell'apprendimento contrastivo a livello di batch o basato su code FIFO, l'RCL introduce una Coda di Memoria Temporale (TMQ).

Funzione: La TMQ preserva le caratteristiche a livello di corpus attraverso molteplici epoche di addestramento, fornendo riferimenti globali diversificati.
Meccanismo: In ogni epoca $m$ , l'embedding di proiezione $z_i^{(m)}$ aggiorna la caratteristica memorizzata $q_i^{(m)}$ nella banca di memoria $Q^{(m)}$ tramite una Media Mobile Esponenziale (EMA):
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
Archiviazione: Le banche aggiornate vengono inserite in coda nel tempo, formando una sequenza $TMQ = \{Q^{(m)}\}_{m=0}^M$ . Ciò consente al modello di accedere a embedding globali storici, garantendo che le coppie positive e negative per l'apprendimento contrastivo siano temporalmente diversificate e allineate con lo spazio di rappresentazione in evoluzione.

3. Ancore Temporali (TARs) e Perdita Contrastiva Ricorrente

L'innovazione principale è la costruzione di Ancore Temporali (TARs) per formare un "campo di ancoraggio" attorno alle classi di coda.

Costruzione delle Ancore: Per le classi di coda, il modello recupera le caratteristiche dalle banche di memoria storiche (epoche $m-st$). Applica il clustering K-means alle caratteristiche intra-classe e seleziona le caratteristiche inferiori- $k_t$ (quelle più lontane dal centro del cluster). Queste caratteristiche selezionate vengono perturbate con rumore Gaussiano per creare l'insieme di ancoraggio $A$ .
Espansione del Campo: Queste ancore vengono riutilizzate ricorsivamente per occupare la regione circostante le caratteristiche delle classi di coda nello spazio latente. Ciò crea un margine di buffer che sopprime l'invasione da parte delle classi di testa.
Funzione di Perdita: Il framework impiega una perdita contrastiva ricorrente ( $L_{RCL}$ ) che incorpora sia le caratteristiche correnti del batch sia le ancore costruite:
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
La perdita finale è una combinazione di cross-entropy e della perdita contrastiva ricorrente: $L = L_{ce} + \alpha L_{RCL}$ .

Contributi Chiave

Il documento delinea tre contributi primari:

Framework RCL: Un nuovo framework di apprendimento sbilanciato che amplia le regioni di supporto delle classi di coda iniettando ancore temporali costruite ricorsivamente nell'apprendimento contrastivo, mitigando efficacementamente l'invasione delle classi di testa.
Coda di Memoria Temporale (TMQ): Un meccanismo per preservare gli embedding storici a livello di corpus attraverso le fasi di addestramento, che vengono utilizzati per costruire le TAR per l'espansione del campo delle classi di coda.
Validazione Empirica: Esperimenti estesi su tre dataset medici sbilanciati (un dataset privato multicentrico sulla carotide, APTOS 2019 e KneeOA) che dimostrano miglioramenti costanti rispetto a solidi baseline.

Risultati Sperimentali

Il metodo è stato valutato su tre dataset utilizzando Balanced Accuracy (Bacc), F1-score, Accuracy e Quadratic Weighted Kappa (QWK).

Prestazioni: L'RCL ha ottenuto la migliore Balanced Accuracy su tutti e tre i dataset.
- Carotidea: 87,10% Bacc (rispetto al 79,75% di DINOv3 vanilla).
- APTOS 2019: 69,01% Bacc e 0,922 QWK (superando il metodo CNN-Ensemble che era al primo posto nella sfida originale).
- KneeOA: 70,19% Bacc (rispetto al 61,10% di DINOv3 vanilla).
Agnosticismo del Backbone: Utilizzando ResNet50 invece di DINOv3, l'RCL ha comunque prodotto miglioramenti sostanziali, superando persino le prestazioni del fine-tuning di DINOv3 sui dataset Carotidea e KneeOA.
Analisi Qualitativa: Le visualizzazioni t-SNE hanno confermato che l'RCL crea una distribuzione delle caratteristiche più equilibrata. Nello specifico, l' "campo di ancoraggio" ha espanso il confine delle classi di coda e ha occupato le regioni intermedie tra le classi di testa e di coda, formando un buffer efficace che ha allontanato i centri delle classi di coda dalle distribuzioni delle classi di testa.

Significato e Rivendicazioni

Il documento afferma che l'RCL offre un cambiamento significativo nel modo di affrontare lo sbilanciamento delle classi, andando oltre la semplice riponderazione o il campionamento. Interpretando l'apprendimento delle rappresentazioni da una prospettiva di espansione del campo, il metodo amplia esplicitamente la regione di supporto latente delle classi di coda. Questo approccio impedisce che le rappresentazioni delle classi di coda vengano "invase" dalle dominanti classi di testa, migliorando così la separazione inter-classe e l'equità dei confini decisionali.

Gli autori osservano che, sebbene il framework sia efficace, esso attualmente si affida alla regolazione manuale degli iperparametri (ad esempio, passi di campionamento e rapporti di selezione delle ancore). Identificano lo sviluppo di una selezione adattiva delle ancore come una direzione per il lavoro futuro per affrontare questo limite. Il codice è reso disponibile per facilitare ulteriori ricerche in questo dominio.