💻 computer science

Contrastive Joint-Embedding Prediction for Representation Learning in Structural MRI

Il documento introduce COJEPA, un framework auto-supervisionato che combina la perdita contrastiva con un'architettura predittiva di embedding congiunto per apprendere rappresentazioni robuste di risonanze magnetiche cerebrali 3D, raggiungendo prestazioni allo stato dell'arte nel recupero di gemelli, nella regressione dell'età e nella segmentazione dei tumori senza richiedere dati etichettati.

Autori originali: Fabian Mager, Lars Kai Hansen

Pubblicato 2026-07-15

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fabian Mager, Lars Kai Hansen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un enorme puzzle 3D del cervello umano, ma di non aver mai visto l'immagine sulla scatola. Non hai un insegnante che ti dica dove va ogni pezzo, e non hai nemmeno un'etichetta che dica "questo è un venticinquenne" o "questo è un tumore". Questo è il problema che i medici affrontano con le risonanze magnetiche (MRI): ce ne sono milioni, ma pochissime hanno le etichette costose e dispendiose in termini di tempo necessarie per insegnare ai computer come capirle.

Entra in scena COJEPA, un nuovo modello di IA "auto-istruito" che cerca di apprendere i segreti del cervello semplicemente guardando i pezzi grezzi del puzzle.

Il Mostro a Due Teste

La maggior parte dei modelli di IA che cercano di imparare da immagini non etichettate di solito sceglie una di due strategie:

L'Artista del "Completa la Frase" (JEPA): Questo modello guarda un frammento del cervello, copre una parte di esso e cerca di indovinare cosa c'è sotto basandosi sul contesto circostante. È bravissimo nel comprendere i dettagli locali, come il modo in cui la trama delle pieghe del cervello si connette alla piega successiva.
Il Detective del "Somigliante" (Apprendimento Contrastivo): Questo modello prende due foto leggermente diverse dello stesso cervello e cerca di farle apparire identiche nella sua memoria, assicurandosi al contempo che sembrino totalmente diverse dai cervelli di altre persone. È bravo a capire "Chi è questo?".

L'articolo sostiene che fare solo una di queste cose non sia sufficiente per le scansioni 3D del cervello. L'artista del "completa la frase" è troppo vago per distinguere i gemelli, e il detective del "somigliante" è troppo concentrato sul quadro generale per comprendere i minuscoli dettagli locali della struttura cerebrale.

Il Risultato Principale: Gli autori hanno combinato entrambe le strategie in un unico modello chiamato COJEPA. Hanno scoperto che questo approccio ibrido è il punto di equilibrio ideale. Impara a predire i dettagli locali del cervello e a riconoscere l'identità unica della persona.

Come lo hanno Insegnato

Il team ha addestrato questo modello su 2.286 scansioni cerebrali sane provenienti da due gruppi: giovani adulti (22–37 anni) e adulti più anziani (36–90+ anni). Non hanno usato etichette. Invece, hanno usato un trucco astuto:

Hanno mascherato (coperto) blocchi 3D casuali del cervello, ma sono stati attenti a coprire solo il "foreground" (il tessuto cerebrale effettivo), ignorando lo spazio vuoto circostante.
Hanno chiesto al modello di predire le parti nascoste del cervello.
Contemporaneamente, hanno mostrato al modello due vedute diverse dello stesso cervello e lo hanno costretto a capire: "Ehi, questa è la stessa persona!".

I Risultati: Cosa ha Imparato?

Il team ha testato questo nuovo apprendista del cervello su tre diversi compiti per vedere quanto fosse davvero intelligente.

1. Il Test dei Gemelli (Recupero Zero-Shot)
Questo era il grande test. Il modello doveva guardare un cervello che non aveva mai visto prima e trovare il suo gemello in un database di altri cervelli.

Il modello con solo "Completa la frase" è fallito miseramente nel trovare gemelli identici (monozigoti), trovando la corrispondenza corretta solo il 26% delle volte al primo posto. Non riusciva a distinguere abbastanza bene tra le persone.
Il modello con solo "Somigliante" è andato molto meglio, ottenendo la corrispondenza il 78% delle volte.
COJEPA (L'Ibrido) è stato il campione, ottenendo il gemello corretto l'84% delle volte al primo posto.
Il Problema: Il modello è stato sorprendentemente scarso nel trovare gemelli non identici (dizigoti), ottenendo la corrispondenza solo il 17% delle volte. Ciò suggerisce che, sebbene abbia imparato a individuare l'impronta digitale unica di un cervello, fatica ancora con le somiglianze genetiche più sottili tra i gemelli non identici.

2. La Caccia al Tumore (Segmentazione)
Hanno chiesto al modello di trovare tumori cerebrali in un dataset che non aveva mai visto (BraTS 2024).

Quando il modello era solo "congelato" (non gli era permesso imparare cose nuove, solo usare ciò che già sapeva), il modello ibrido e il modello "Somigliante" hanno ottenuto prestazioni simili, trovando circa il 52% del tumore correttamente con pochissimi dati di addestramento.
Tuttavia, quando hanno fornito al modello un po' di fine-tuning (permettendogli di imparare dai dati specifici del tumore), tutti e tre i modelli sono migliorati molto, raggiungendo circa il 71% di accuratezza.
Il Punto Chiave: Il modello ibrido non ha compromesso i dettagli locali; era bravo a trovare i tumori quanto gli altri, dimostrando di non aver perso le sue abilità da "artista" mentre diventava un "detective".

3. L'Indovinare l'Età (Regressione)
Hanno cercato di indovinare l'età della persona guardando solo la sua scansione cerebrale.

Il modello ibrido è stato il più efficiente. Con solo il 5% dei dati etichettati, ha indovinato l'età con un errore di 4,22 anni, superando gli altri modelli.
Quando è stato completamente sottoposto a fine-tuning, ha ottenuto il risultato migliore di tutti: un errore di soli 2,55 anni.
Interessante notare che gli autori hanno osservato che la parte del cervello su cui il modello si è concentrato maggiormente per indovinare l'età era il cervelletto (la parte posteriore del cervello). Suggeriscono che questa sia una "proprietà emergente", ovvero il modello ha capito da solo che quest'area cambia con l'età, anche se nessuno gli aveva mai detto di guardare lì.

Cosa l'Articolo Esclude

Gli autori sono molto chiari su ciò che non funziona bene quanto il loro nuovo metodo:

Escludono esplicitamente l'idea che solo predire le parti mancanti (JEPA) sia sufficiente per creare un modello capace di distinguere tra persone diverse. I dati hanno mostato che è fallito nel recupero dei gemelli.
Suggeriscono anche che solo cercare somiglianze (Apprendimento Contrastivo) potrebbe far perdere alcuni dei dettagli strutturali fini e locali che sono cruciali per compiti medici come la segmentazione, sebbene il modello ibrido sia riuscito a mantenere tali abilità.

Quanto sono Sicuri?

Gli autori sono fiduciosi nei loro numeri ma cauti riguardo al quadro generale.

Hanno misurato i risultati del recupero dei gemelli e della predizione dell'età direttamente su set di test, quindi quei numeri (come l'84% di corrispondenza dei gemelli e l'errore di 2,55 anni) sono fatti solidi derivanti dal loro esperimento.
Tuttavia, suggeriscono che il successo del modello derivi dall'equilibrio tra "predittività" (indovinare il futuro) e "specificità" (conoscere l'identità). Non pretendono che questa sia la soluzione finale e perfetta per tutta l'IA medica.
Ammettono che il loro set di addestramento di 2.286 persone è in realtà piuttosto piccolo per gli standard dell'IA moderna. Sospettano che se avessero avuto un gruppo molto più grande e diversificato di persone su cui addestrare il modello, questo probabilmente sarebbe diventato ancora migliore.
Hanno anche notato un limite: il modello ha avuto più difficoltà con le scansioni provenienti da una specifica macchina più vecchia (scansionatori 1.5T), suggerendo che potrebbe non funzionare ancora perfettamente su ogni scanner ospedaliero.

In breve, COJEPA è un nuovo modo promettente per insegnare ai computer a comprendere il cervello senza bisogno di un insegnante per ogni singola scansione. Ha imparato a essere sia un buon indovino di dettagli locali, sia un acuto detective dell'identità, ma ha ancora spazio per crescere prima di poter gestire ogni scansione cerebrale del mondo.

Sintesi Tecnica: Apprendimento di Rappresentazioni tramite Predizione di Embedding Congiunti Contrastivi per la Risonanza Magnetica Strutturale

Definizione del Problema

L'apprendimento auto-supervisionato (SSL) ha rivoluzionato l'apprendimento delle rappresentazioni nelle immagini naturali, ma non ha ancora raggiunto un impatto comparabile nella risonanza magnetica (MRI) strutturale 3D. Il dominio biomedico affronta vincoli unici: una scarsità di dataset ampi, diversificati e condivisibili a causa dei costi di acquisizione, della privacy e delle restrizioni etiche; l'eterogeneità tra scanner e protocolli; e l'onere computazionale del processamento di dati volumetrici ad alta risoluzione. I modelli esistenti di fondazione per la MRI cerebrale si affidano tipicamente a uno di tre paradigmi: il Masked Image Modeling (MIM), che cattura il contesto locale ma comporta costi di ricostruzione cubici; il Contrastive Learning (CL), che offre efficienza nei label ma richiede dimensioni di batch proibitive e fatica con le invarianze mediche; o la Self-Distillation, che spesso sacrifica il contesto volumetrico operando su fette 2D. Nessun modello esistente combina efficacemente la predittività locale del MIM con la discriminabilità globale del CL in un contesto volumetrico 3D.

Metodologia

Gli autori propongono COJEPA (Contrastive Joint-Embedding Prediction Architecture), un framework auto-supervisionato progettato per apprendere rappresentazioni che siano simultaneamente localmente predittive e globalmente discriminanti. Il modello è addestrato su MRI strutturali pesate in T1 da due coorti (HCP-YA e AABC, N=2286) senza l'uso di etichette.

Architettura Core

COJEPA unifica due obiettivi all'interno di un framework Vision Transformer (ViT) adattato per volumi 3D:

Joint Embedding Predictive Architecture (JEPA): Il modello predice la rappresentazione latente delle regioni target mascherate a partire da una vista di contesto. Diversamente dalla ricostruzione nello spazio dei pixel, ciò opera nello spazio delle rappresentazioni, evitando la ricostruzione superflua dei pixel.
Perdita Contrastiva (CO): Un obiettivo ausiliario che impone l'allineamento globale tra versioni aumentate dello stesso soggetto utilizzando una perdita InfoNCE su un token globale.

Adattamenti Tecnici Chiave per la MRI 3D

Mascheramento a Blocchi Sensibile al Foreground: Estendendo la strategia di mascheramento a blocchi dal 2D al 3D, il processo di campionamento dà priorità ai patch di foreground (definiti da soglie di intensità dei voxel) per garantire che le regioni target contengano informazioni anatomiche ricche.
Embedding di Patch Convulzionale Gerarchico: Invece di una singola proiezione lineare, il modello utilizza uno stelo (stem) gerarchico di tre convoluzioni 3D sequenziali. Ciò consente alla rete di apprendere caratteristiche spaziali locali prima di proiettarle nello spazio dei token, stabilizzando l'addestramento sui dati volumetrici.
Codifiche Posizionali Sinusoidali nello Spazio del Mondo (World-Space): Sfruttando lo spazio standardizzato della MRI, il modello assegna ai patch coordinate globali basate sull'affine dell'immagine piuttosto che sugli indici della griglia. Ciò codifica implicitamente la risoluzione dei voxel e risolve le simmetrie cerebrali.
Integrazione del Token Globale: Un token globale ( $z_{glob}$ ) viene allegato agli embedding dei patch prima dei livelli del transformer e interagisce con i token di contesto spaziale tramite multi-head attention; esso funge da target per la perdita contrastiva, mentre la perdita predittiva opera sui token spaziali.

Configurazione dell'Addestramento

L'encoder del target viene aggiornato tramite una Media Mobile Esponenziale (EMA) dell'encoder di contesto. La perdita totale è una somma pesata della perdita di predizione (MSE sui token di foreground) e della perdita contrastiva (InfoNCE sul token globale). Il modello è stato addestrato per 4000 epoche su 8 GPU AMD MI250x.

Contributi Chiave

Architettura Innovativa: La prima applicazione dell'apprendimento predittivo di embedding congiunti alla MRI cerebrale 3D, estesa con un termine contrastivo per affrontare il collasso della rappresentazione e migliorare la discriminabilità a livello di soggetto.
Adattamenti Specifici per il 3D: Introduzione del mascheramento consapevole del foreground, di steli convoluzionali gerarchici e di codifiche posizionali nello spazio del mondo, personalizzati per i dati volumetrici medici.
Valutazione Comprensiva: Una valutazione rigorosa attraverso tre distinti task downstream: recupero di gemelli zero-shot, segmentazione di tumori cerebrali (BraTS 2024) e regressione dell'età (OpenBHB).

Risultati

Il modello è stato valutato rispetto alle baseline pure Contrastive (CO) e pure Predictive (JEPA):

Recupero Gemelli Zero-Shot: COJEPA ha ottenuto le migliori prestazioni nel recupero di gemelli monooculari (MZ) al rank 1 (Recall@1 = 0,84), superando pure JEPA (0,26) e pure CO (0,78). Ciò dimostra che l'obiettivo combinato cattura con successo la somiglianza genetica e l'identità del soggetto.
Segmentazione di Tumori Cerebrali: Sul dataset out-of-distribution BraTS 2024, COJEPA ha eguagliato le prestazioni di pure CO nel regime di probe congelato (Dice $\approx$ 0,66–0,67) e ha ottenuto risultati comparabili a JEPA dopo il fine-tuning end-to-end (Dice $\approx$ 0,71). Ciò indica che il termine contrastivo non degrada la predittività strutturale locale.
Regressione dell'Età: Sul dataset OpenBHB, COJEPA ha raggiunto il miglior MAE (Mean Absolute Error) di fine-tuning di 2,55 anni. Notevolmente, ha mostrato una superiore efficienza dei dati nel regime di probe congelato con basse frazioni di label (5% di label) rispetto a CO.
Analisi dello Spazio delle Caratteristiche: L'analisi delle componenti principali (PCA) degli embedding ha rivelato che COJEPA utilizza lo spazio latente in modo più efficiente (varianza spiegata cumulativa più piatta) rispetto a CO o JEPA, con una chiara separazione delle strutture anatomiche.

Significato e Rivendicazioni

Gli autori affermano che COJEPA riesce a colmare il divario tra due proprietà complementari di rappresentazioni utili: la predittività locale (catturare le dipendenze statistiche della struttura anatomica locale) e la specificità globale (discriminabilità a livello di soggetto).

L'articolo sostiene che, mentre gli obiettivi puramente predittivi (JEPA) catturano una struttura sufficiente per il recupero grossolano dell'identità (es. gemelli MZ), essi non riescono a produrre caratteristiche globali sufficientemente discriminanti per distinzioni più fini (es. gemelli DZ). Al contrario, mentre gli obiettivi puramente contrastivi (CO) eccellono nell'allineamento globale, potrebbero mancare della struttura locale fine necessaria per task come la segmentazione senza un esteso fine-tuning. Combinando questi obiettivi, COJEPA produce rappresentazioni che sono simultaneamente discriminanti e strutturate localmente.

Gli autori osservano che il modello raggiunge prestazioni downstream competitive nonostante sia stato addestrato su un dataset relativamente piccolo (N=2286) rispetto alle tipiche scale SSL, suggerendo l'efficienza del framework proposto. Concludono che le rappresentazioni apprese catturano le variazioni morfologiche rilevanti per l'invecchiamento cerebrale e la somiglianza genetica come proprietà emergenti dell'obiettivo di pre-training, senza richiedere una supervisione demografica o genetica esplicita.