Sintesi Tecnica: Together, Then Apart (TTA) per l'Analisi della Sopravvivenza Multimodale

1. Definizione del Problema

L'analisi della sopravvivenza multimodale mira a migliorare la prognosi del cancro integrando dati biomedici eterogenei, specificamente immagini istopatologiche di interi vetrini (WSI) e profili genomici. Mentre gli attuali metodi allo stato dell'arte si affidano spesso all'allineamento delle modalità in uno spazio latente condiviso per catturare le correlazioni cross-modali, gli autori identificano un limite critico: il collasso da sovra-allineamento (over-alignment collapse).

Un allineamento aggressivo forza segnali eterogenei (ad esempio, pattern morfologici spaziali nelle WSI e variazioni sparse a livello genico) in una singola rappresentazione prematuramente. Questo processo può sopprimere l'evidenza specifica della modalità che è critica per la previsione della sopravvivenza. Le osservazioni empiriche indicano che tale sovra-allineamento può causare prestazioni inferiori dei modelli multimodali rispetto ai solidi baseline a singola modalità (particolarmente i modelli basati solo su WSI), diluendo i segnali distintivi e riducendo la diversità rappresentativa. I metodi esistenti che tentano di disaccoppiare le rappresentazioni condivise e specifiche trattano spesso questi obiettivi in modo indipendente, mancando di un principio unificato per incoraggiare congiuntamente l'accordo semantico preservando al contempo l'identità della modalità.

2. Metodologia: Il Framework TTA

Gli autori propongono Together, Then Apart (TTA), un framework di apprendimento di rappresentazioni basato sul principio secondo cui i modelli efficaci devono prima scoprire pattern condivisi tra le modalità e poi preservare i segnali specifici della modalità. Il framework consiste di quattro componenti principali:

2.1 Tokenizzazione

• WSI: Le immagini vengono divise in patch e codificate utilizzando un encoder di immagini pre-addestrato (ad es., UNI o ResNet50) per generare token patologici.
• Genomica: I profili di espressione genica sono aggregati in token a livello di pathway (ad es., Hallmark pathways) per creare fattori genomici compatti e interpretabili.

2.2 La fase "Together": Allineamento dei Prototipi guidato da UOT

In questa fase, entrambe le modalità vengono allineate a un insieme condiviso di prototipi ($K$ vettori apprendibili) per catturare strutture comuni legate alla sopravvivenza.

• Trasporto Ottimo Sbilanciato (UOT): Inve al posto del diretto accoppiamento token-to-token, il modello mappa i token di entrambe le modalità verso la banca di prototipi condivisa usando l'UOT. Ciò consente ai token incerti o rumorosi di rimanere diffusi o di essere instradati verso un "pozzo" (sink) invece di forzare un abbinamento prematuro.
• Massa del Curriculum ($\rho$): Per gestire l'instabilità dell'addestramento, viene impiegata una strategia di curriculum in cui la massa totale trasportata ai prototipi reali ($\rho$) viene aumentata gradualmente da un valore piccolo fino a 1.0. Ciò assicura che, nelle prime fasi dell'addestramento, il modello sia tollerante all'incertezza, mentre nelle fasi successive si imponga un abbinamento decisivo.
• Assegnazione Congiunta: I token patologici e genomici vengono concatenati e assegnati ai prototipi condivisi tramite un singolo piano di trasporto, permettendo all'evidenza cross-modale di interagire sotto una geometria unificata.
• Supervisione a Livello di Istanza: Gli assegnamenti UOT fungono da pseudo-label morbidi per regolarizzare le predizioni token-prototipo tramite una perdita di cross-entropy ($\mathcal{L}_{instance}$).

2.3 La fase "Apart": Diversificazione Contrastiva

Dopo l'allineamento, il modello separa esplicitamente le modalità per preservare le loro caratteristiche uniche e prevenire il collasso rappresentativo.

• Ancore Specifiche della Modalità: Vengono introdotti ancore apprendibili ($a^p$ per la patologia, $a^g$ per la genomica) per servire come identificatori di modalità.
• Raffinamento delle Ancore: Un modulo di self-attention leggero raffina i token dei prototipi appendendo l'ancora specifica della modalità, assicurando che le rappresentazioni mantengano l'identità della modalità.
• Regolarizzazione Contrastiva: Una perdita di tipo InfoNCE ($\mathcal{L}_{contrast}$) viene applicata per incoraggiare le feature a rimanere vicine alla propria ancora di modalità e rimanere distanti dall'ancora dell'altra modalità. Ciò impedisce alle modalità di collassare in una rappresentazione omogenea.

2.4 Testa di Predizione

Le correnti di modalità raffinate vengono combinate utilizzando un modulo di co-attenzione (stile transformer) che permette alla patologia di interrogare la genomica e viceversa a livello di prototipo. La rappresentazione congiunta risultante viene mappata a un punteggio di rischio di sopravvivenza tramite una testa lineare, addestrata con la verosimiglianza parziale di Cox ($\mathcal{L}_{surv}$).

L'obiettivo totale di addestramento è:
$$\mathcal{L}_{total} = \mathcal{L}_{surv} + \lambda_{contrast}\mathcal{L}_{contrast} + \lambda_{inst}\mathcal{L}_{instance}$$

3. Contributi Chiave

1. Identificazione del Collasso da Sovra-Allineamento: Il paper evidenzia come un allineamento cross-modale aggressivo possa sopprimere i segnali specifici della modalità, portando a un degrado delle prestazioni rispetto ai baseline a singola modalità.
2. Il Framework TTA: Un'architettura innovativa che operazionalizza il principio "Together-Then-Apart". Esso bilancia l'allineamento cross-modale (tramite prototipi condivisi e UOT) con la distintività specifica della modalità (tramite ancore e regolarizzazione contrastiva).
3. Meccanismo di Allineamento Robusto: L'uso del trasporto ottimale sbilanciato con uno schema di massa del curriculum permette al modello di gestire corrispondenze rumorose, eterogeneità intra-campione e squilibrio tra le modalità in modo efficace.
4. Interpretabilità: Le strutture dei prototipi apprese rivelano pattern cross-modali interpretabili associati agli esiti clinici.

4. Risultati Sperimentali

Gli autori hanno valutato TTA su cinque coorti di cancro TCGA (BLCA, BRCA, STAD, CRC, KIRC) utilizzando dati accoppiati WSI e genomici.

• Performance: TTA ha raggiunto l'Indice di Concordanza (C-Index) complessivo più elevato di 0,693, superando il secondo miglior metodo multimodale (MMP) del 2,6% e superando significativamente i baseline unimodali.
• Studi di Ablazione:
  • Rimuovere la fase "Apart" ha causato un calo significativo delle prestazioni sulla coorte CRC (da 0,685 a 0,587), dimostrando che preservare i segnali specifici della WSI è cruciale quando i segnali morfologici sono dominanti.
  • Sia la fase "Together" (allineamento) che la fase "Apart" (diversificazione) sono state mostrate come complementari; abilitarle entrambe ha prodotto un miglioramento del 5,0% rispetto al baseline senza queste fasi.
  • Lo schema della massa del curriculum ($\rho$) e gli assegnamenti morbidi UOT sono stati critici per la stabilità e le prestazioni rispetto al clustering rigido (KMeans) o al trasporto a massa fissa.
• Stratificazione: L'analisi di Kaplan-Meier ha confermato una separazione statisticamente significativa tra i gruppi ad alto rischio e a basso rischio in tutte e cinque le coorti ($p < 0,05$).

5. Significato e Rivendicazioni

Il paper sostiene che i modelli di sopravvivenza multimodali efficaci non dovrebbero forzare i segnali eterogenei in uno spazio di rappresentazione singolo indiscriminatamente. Invece, dovrebbero adottare una strategia che prima allinea le modalità per catturare strutture prognostiche condivise e poi separa le modalità per mantenere le evidenze distintive e specifiche della modalità.

Gli autori posizionano TTA come una soluzione alla tensione tra l'allineamento cross-modale e la preservazione dell'informazione specifica della modalità. Dimostrando miglioramenti consistenti rispetto ai recenti metodi allo stato dell'arte in diversi tipi di cancro, il lavoro suggerisce che bilanciare l'allineamento semantico condiviso con la distintività specifica della modalità sia un principio di progettazione critico per l'apprendimento di rappresentazioni biomediche multimodali. Il codice è reso disponibile per facilitare ulteriori ricerche in questa direzione.