Bridging the Modality Bottleneck in Pathology MIL through Virtual Molecular Staining

Riepilogo Tecnico: Colmare il Collo di Bottiglia della Modalità nell'MIL di Patologia tramite Colorazione Molecolare Virtuale

Enunciato del Problema
In patologia computazionale, l'Apprendimento Multi-Istanza (MIL) è il framework dominante per l'analisi di immagini di vetrini interi (WSI). Le pipeline MIL standard consistono tipicamente in un encoder di patch congelato (un modello fondazionale di patologia), un layer di proiezione per patch e un aggregatore a livello di vetrino. Sebbene encoder e aggregatori siano stati ottimizzati estesamente, il layer di proiezione rimane un collo di bottiglia significativo. I modelli fondazionali attuali sono pre-addestrati principalmente sulla morfologia H&E e sui referti di patologia, organizzando le caratteristiche tissutali lungo assi morfologici. Tuttavia, molti endpoint clinici critici — come lo stato dei biomarcatori, la risposta al trattamento e la sopravvivenza — sono governati da stati molecolari non pienamente catturati dalla sola morfologia. Regioni istologicamente simili possono corrispondere a programmi molecolari distinti, creando un "collo di bottiglia della modalità" in cui i modelli basati solo sulla morfologia non riescono a distinguere casi molecularmente diversi. I tentativi esistenti di iniettare segnali molecolari richiedono spesso il fine-tuning dell'encoder o il ri-pre-addestramento di modelli fondazionali con obiettivi vision-omics, il che vincola la rappresentazione a specifici checkpoint del modello e comporta elevati costi computazionali.

Metodologia: Trasformazione di Colorazione Informata Molecolarmente (MIST)
Gli autori propongono MIST, una sostituzione plug-and-play per il layer di proiezione MIL standard che colma il divario modale trascrizionale senza richiedere la trascrittomica spaziale (ST) durante l'inferenza. MIST opera costruendo "colorazioni molecolari virtuali" durante l'addestramento utilizzando dati ST e H&E accoppiati, che vengono poi applicati alle caratteristiche solo H&E durante l'inferenza.

Il metodo procede in quattro fasi chiave:

1. Apprendimento di Prototipi Cross-Modali: Utilizzando dati ST-H&E accoppiati (dal dataset HEST-1k), il metodo clusterizza i profili di espressione genica per identificare concetti molecolari distinti. Crucialmente, i prototipi risultanti sono centroidi calcolati nello spazio delle caratteristiche morfologiche (dal modello fondazionale congelato) ma ancorati da cluster di espressione genica. Ciò permette a ciascun prototipo di codificare la firma morfologica di un programma molecolare specifico.
2. Assegnazione Soft delle Patch: Per ogni patch in una WSI, il modello calcola affinità soft verso questi prototipi molecolari. A differenza del clustering hard, ciò permette a una patch di attivare simultaneamente più prototipi, riflettendo la realtà biologica di programmi molecolari co-espressi all'interno di una singola regione tissutale.
3. Trasformazioni a Rango Basso Condizionate dal Prototipo: Ciascun prototipo induce una specifica "vista" dell'embedding della patch tramite una trasformazione residua a rango basso. Ciò mimetizza la natura fisica della colorazione, dove un colorante viene aggiunto sopra il tessuto sottostante. La trasformazione utilizza una base a rango basso condivisa ($V$) tra tutti i prototipi, con matrici di modulazione specifiche per prototipo ($U_k$), garantendo che la trasformazione rimanga efficiente e ancorata ad assi morfologici comuni.
4. Miscelazione Residua: La rappresentazione finale della patch è una somma pesata dell'embedding originale e delle viste colorate, dove i pesi sono determinati dalle affinità dei prototipi. Questa struttura residua preserva la morfologia H&E originale come riferimento stabile mentre integra prior molecolari.

Contributi Chiave

• Prospettiva del Collo di Bottiglia della Modalità: Il documento identifica il layer di proiezione MIL come un punto di intervento modulare dove i prior molecolari possono essere iniettati per superare i limiti dei modelli fondazionali basati solo sulla morfologia, distinto dai colli di bottiglia focalizzati sulla capacità.
• Colorazione Molecolare Virtuale: MIST introduce un meccanismo per utilizzare prior trascrittomici spaziali durante l'addestramento per riorganizzare le caratteristiche H&E lungo assi definiti dai geni, richiedendo solo immagini H&E durante l'inferenza. Ciò evita la necessità di ri-addestrare o eseguire fine-tuning sul modello fondazionale di patologia congelato.
• Adattamento Cross-Modale: Ancorando i prototipi derivati dai geni nello spazio morfologico, MIST crea un modulo di adattamento riutilizzabile che rimane efficace mentre l'ecosistema dei modelli fondazionali di patologia evolve.

Risultati Sperimentali
MIST è stato valutato su 23 task downstream e 8 diversi aggregatori MIL (inclusi ABMIL, CLAM, TransMIL e altri) utilizzando un encoder UNI2-h congelato.

• Miglioramenti delle Prestazioni: MIST ha migliorato 240 configurazioni su 256 rispetto al layer di proiezione lineare standard, producendo un guadagno medio di prestazioni del +3,5%.
• Miglioramenti Specifici per Task:
  • Predizione della Sopravvivenza: +5,2% di guadagno medio (Indice di Concordia).
  • Sottotipizzazione Tissutale: +3,3% di guadagno medio (Accuratezza Bilanciata/$\kappa$ Pesato).
  • Predizione dei Biomarcatori: +2,6% di guadagno medio (AUROC).
• Studi di Ablazione: Sostituire i prototipi derivati dai geni con vettori casuali o clusterizzazione solo H&E ha ridotto significativamente le prestazioni, confermando che i guadagni derivano da prior molecolari cross-modali piuttosto che da una maggiore capacità del modello. Anche la struttura a rango basso e le connessioni residue si sono rivelate scelte progettuali critiche.
• Interpretabilità: La validazione spaziale su vetrini HEST tenuti da parte ha dimostrato che MIST può inferire distribuzioni molecolarmente significative direttamente dalla morfologia H&E. L'analisi patologica ha confermato che le affinità dei prototipi si allineano con stati tissutali distinti (ad es. normale vs tumorale, alveolare vs squamoso) senza supervisione esplicita da annotazioni patologiche.

Significato e Affermazioni
Il documento afferma che MIST affronta efficacemente il collo di bottiglia della modalità nella patologia computazionale disaccoppiando la supervisione molecolare dal processo di addestramento dell'encoder. Operando a livello del layer di proiezione, MIST permette di integrare prior molecolari nelle pipeline di modelli fondazionali congelati in modo riutilizzabile ed efficiente dal punto di vista computazionale. Gli autori sostengono che il layer di proiezione rappresenti sia un collo di bottiglia di capacità che uno di modalità; mentre metodi come MAMMOTH affrontano la capacità, MIST affronta il divario modale. I risultati suggeriscono che prior informati molecularmente sono particolarmente benefici per task in cui stati molecolari guidano gli esiti (sopravvivenza, biomarcatori) e per aggregatori più deboli che faticano a estrarre segnali sufficienti dalla sola morfologia. Il lavoro dimostra che le affinità di prototipi cross-modali possono catturare programmi molecolari spazialmente coerenti e patologicamente significativi dalle sole immagini H&E, offrendo una via verso una patologia informata molecularmente senza la necessità di costosi saggi molecolari durante l'inferenza.