Riepilogo Tecnico: RadJEPA

Enunciato del Problema

I recenti progressi nei modelli visione-linguaggio medici hanno spinto l'apprendimento di rappresentazioni visive attraverso la supervisione testuale. Tuttavia, questo paradigma è limitato dalla disponibilità di dati accoppiati immagine-testo e si basa sull'assunzione che i referti radiologici forniscano un resoconto completo e privo di bias del contenuto visivo. Nella pratica, i referti clinici enfatizzano reperti selettivi per il processo decisionale, omettendo spesso variazioni sottili o osservazioni assenti. Di conseguenza, gli encoder addestrati per allineare immagini e testo possono ereditare bias e non preservare l'intera struttura semantica delle immagini mediche.

Inoltre, le alternative auto-supervisionate esistenti, come la distillazione auto-supervisionata in stile DINO, apprendono invarianze allineando rappresentazioni globali attraverso molteplici viste aumentate. Nel contesto delle radiografie del torace, dove differenze anatomiche fini e segnali patologici sottili sono critici per la diagnosi, imporre un accordo globale tra le viste può privilegiare la coerenza a livello di aspetto rispetto alla completezza semantica. Questi metodi enfatizzano spesso la coerenza nello spazio dei pixel piuttosto che la previsione di rappresentazioni semantiche nello spazio latente.

Metodologia: RadJEPA

Per affrontare queste limitazioni, gli autori introducono RadJEPA (Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture), un framework auto-supervisionato che apprende senza supervisione linguistica.

Architettura Principale

RadJEPA si basa su un'architettura di previsione di embedding congiunti (JEPA). A differenza dei metodi che ricostruiscono i pixel o allineano rappresentazioni globali di viste, RadJEPA modella esplicitamente la previsione nello spazio latente:

1. Partizionamento dell'Input: Una radiografia del torace in input $x$ viene partizionata in regioni visibili ($x_v$) e regioni mascherate ($x_m$).
2. Codifica: Un encoder visivo $f_\theta$ mappa queste regioni in rappresentazioni latenti $z_v = f_\theta(x_v)$ e $z_m = f_\theta(x_m)$.
3. Previsione: Una rete predittiva $g_\phi$ viene addestrata per prevedere la rappresentazione latente delle regioni mascherate ($\hat{z}_m$) basandosi esclusivamente sulla rappresentazione latente del contesto visibile ($z_v$).
4. Obiettivo: Il modello minimizza l'errore quadratico tra la rappresentazione latente prevista e la rappresentazione latente effettiva (con stop-gradient) della regione mascherata:
   $$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$$
5. Dinamiche di Addestramento: I parametri dell'encoder target vengono aggiornati tramite una media mobile esponenziale (EMA) dell'encoder online, simile alle formulazioni insegnante-allievo, ma l'obiettivo opera interamente nello spazio delle rappresentazioni senza ricostruzione dei pixel, negativi contrastivi o aumentazioni esplicite dei dati.

Adattamento a valle

Dopo il pre-addestramento su radiografie del torace non etichettate, l'encoder visivo $f$ viene congelato. Teste specifiche per il compito vengono addestrate indipendentemente per:

• Classificazione delle Malattie: Un classificatore lineare su embedding globali congelati.
• Segmentazione Semantica: Un decoder UPerNet che aggrega caratteristiche multi-scala dall'encoder congelato.
• Generazione di Referti: Una configurazione multimodale in stile LLaVA in cui gli embedding visivi congelati sono proiettati nello spazio degli embedding linguistici e inseriti in un modello linguistico (Vicuna-7B).

Contributi Chiave

1. Limiti dei Paradigmi Esistenti: Il documento dimostra che sia la supervisione linguistica sia la distillazione auto-supervisionata in stile DINO presentano limitazioni nell'apprendimento di rappresentazioni radiologiche, in particolare per quanto riguarda la completezza semantica e i dettagli anatomici fini.
2. Framework RadJEPA: Gli autori introducono un'architettura predittiva auto-supervisionata che apprende direttamente da immagini di radiografie del torace non etichettate. Raggiunge prestazioni comparabili o superiori ai modelli state-of-the-art (SoTA) addestrati su oltre 839.000 radiografie del torace, nonostante utilizzi un backbone più piccolo (ViT-B/14, 86 milioni di parametri) rispetto a modelli più grandi come DINOv2 (1,1 miliardi) o I-JEPA (0,6 miliardi).
3. Valutazione Completa: Il lavoro fornisce valutazioni empiriche su tre distinti compiti a valle: classificazione delle malattie, segmentazione semantica e generazione di referti, confrontandosi con un insieme diversificato di baseline, incluse architetture con capacità maggiore.

Risultati Sperimentali

Il modello è stato pre-addestrato su 839.364 immagini di radiografie del torace provenienti da dataset open-source (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

• Classificazione delle Immagini: Su VinDr-CXR e RSNA-Pneumonia, RadJEPA ha costantemente superato le baseline solo-immagine e visione-linguaggio.
  • Su VinDr-CXR, ha raggiunto un AUPRC medio di 55,2, superando RAD-DINO (52,8) e I-JEPA (50,0).
  • Sono state osservate migliorie notevoli su reperti sottili ed eterogenei come la fibrosi polmonare (+4,5 AUPRC su RAD-DINO) e l'allargamento aortico.
  • Su RSNA-Pneumonia, ha ottenuto il miglior AUPRC (72,7) e AUROC (89,2).
• Segmentazione Semantica: Utilizzando un decoder UPerNet, RadJEPA ha raggiunto i punteggi Dice più alti per le attività di segmentazione di polmone (98,3), zona polmonare (93,7) e costole (89,6). Ha mostrato guadagni particolarmente forti su target strutturalmente complessi come le costole (+4,8 Dice su RAD-DINO).
• Generazione di Referti: Su MIMIC-CXR e sul dataset out-of-distribution IU-Xray, RadJEPA ha ottenuto le prestazioni migliori su tutte le metriche (ROUGE-L, BLEU-4, RGER, Macro-F1-14) tra gli encoder solo-immagine e predittivi.
  • Su MIMIC-CXR, ha raggiunto un ROUGE-L di 26,1 e un Macro-F1-14 di 32,6.
  • Su IU-Xray, ha migliorato ROUGE-L di +1,7 rispetto alla baseline non-JEPA più forte.
• Significatività Statistica: Test di ipotesi a una coda hanno confermato che 16 casi su 19 valutati hanno mostrato miglioramenti statisticamente significativi ($p < 0,05$) rispetto alle baseline.

Significato

Il documento sostiene che le radiografie del torace sono fondamentalmente semantiche piuttosto che centrate sulla vista. L'interpretazione clinica si basa sul contesto anatomico globale e sulle relazioni spaziali, suggerendo che apprendere rappresentazioni direttamente nello spazio dei pixel o imporre invarianze a livello di vista è subottimale. RadJEPA dimostra che la modellazione latente predittiva consente l'apprendimento di encoder radiologici robusti e generici senza dipendere da dati accoppiati immagine-testo o da architetture tradizionali di tipo distillazione.

I risultati indicano che i guadagni di prestazioni nell'imaging medico non sono guidati esclusivamente dalla scala del modello o dalla dimensione del dataset, ma dalla qualità delle rappresentazioni apprese. Ottenendo prestazioni superiori a valle con un numero di parametri inferiore (ViT-B/14) rispetto a modelli massicci, RadJEPA evidenzia l'efficienza del campione e la qualità rappresentativa delle architetture in stile JEPA nel dominio medico. Gli autori concludono che forti encoder radiologici possono essere appresi efficacemente senza supervisione linguistica, offrendo una via percorribile e riproducibile attraverso il rilascio pubblico di codice e pesi.