Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis

1. Enunciato del Problema

La patologia digitale utilizza immagini di interi vetrini (WSI) per la diagnosi e la prognosi del cancro, ma l'analisi di queste immagini gigapixel presenta sfide significative:

• Supervisione Debole: Le WSI sono tipicamente etichettate solo a livello di vetrino, richiedendo l'Apprendimento Multi-Istanza (MIL) in cui un vetrino è trattato come un "bag" di patch di immagini.
• Mancanza di Bias Induttivo: I framework MIL esistenti spesso trattano le WSI come collezioni non strutturate di patch, scartando le semantica morfologiche critiche (es. nidi tumorali, stroma) e la geometria spaziale. Ciò porta a un sovradattamento sul rumore di fondo e a un fallimento nell'allineare le caratteristiche visive con conoscenze diagnostiche di alto livello.
• Divario Multimodale: Mentre i clinici integrano segnali visivi con la storia clinica, i modelli computazionali raramente sfruttano guide semantiche di alto livello (es. descrizioni testuali cliniche). Gli approcci multimodali attuali spesso falliscono nel colmare efficacemente il divario semantico, trattando il testo come un segnale passivo piuttosto che come un modulatore attivo delle caratteristiche visive.

2. Metodologia: Il Framework HPDP

Gli autori propongono Priori di Dominio Gerarchici Basati su Prototipi (HPDP), un framework multimodale unificato progettato per iniettare conoscenza morfologica e semantica strutturata nella pipeline MIL. Il framework è composto da tre componenti principali:

A. Pipeline di Elaborazione delle Informazioni

• Visivo: Le WSI sono preelaborate in patch non sovrapposte. Un encoder ResNet-50 estrae le caratteristiche a livello di patch.
• Spaziale: Le coordinate $(x, y)$ di ogni patch sono registrate per preservare la disposizione geometrica del microambiente tissutale.
• Priori di Dominio: Viene applicato il clustering K-means non supervisionato alle caratteristiche delle patch per identificare centroidi morfologici rappresentativi (es. vasi, cellule, stroma). Questi fungono da "Esperti Priori".
• Testuale: Un Grande Modello Linguistico (LLM) genera descrizioni testuali cliniche coerenti dalle WSI sottocampionate per fornire ancoraggi semantici di alto livello.

B. Moduli Chiave

1. Codificatore Posizionale Sinusoidale (SPE):

   • Affronta la negligenza della disposizione spaziale nel MIL standard.
   • Mappa le coordinate normalizzate delle patch in embedding ad alta dimensionalità utilizzando funzioni seno e coseno (ispirato ai Transformer).
   • Questi embedding spaziali sono fusi con le caratteristiche visive tramite addizione elemento per elemento, assicurando che il modello percepisca le distanze relative e l'architettura tissutale.

2. Sistema di Prototipi Ancorati Morfologicamente (MAPS):

   • Scompone l'apprendimento della rappresentazione a livello di vetrino in due percorsi complementari per bilanciare stabilità strutturale e plasticità specifica del compito:
     • Esperti Priori: Inizializzati tramite clustering K-means (non supervisionato) per rappresentare categorie morfologiche canoniche. Sono ottimizzati utilizzando una perdita ausiliaria per allinearsi a questi prototipi "insegnanti" fissi, assicurando che il modello rispetti la conoscenza di dominio stabilita.
     • Esperti Adattivi: Parametri apprendibili ottimizzati tramite supervisione end-to-end per estrarre pattern discriminativi sottili e specifici del compito che i cluster predefiniti potrebbero non cogliere.
   • Meccanismo: Utilizza la Similarità del Coseno per il routing semantico (Esperti Priori) e il Prodotto Scalare per l'estrazione sensibile alla magnitudine (Esperti Adattivi).

3. Allineamento Gerarchico Cross-Modale (HCMA):

   • Colma il divario visivo-linguistico utilizzando il testo generato dall'LLM come "controllore semantico".
   • Fase 1 (Modulazione Semantica Globale): Utilizza la Modulazione Lineare delle Caratteristiche (FiLM) per ricalibrare dinamicamente i prototipi visivi in base all'embedding testuale globale. Ciò sopprime i canali visivi irrilevanti e amplifica quelli rilevanti per la diagnosi.
   • Fase 2 (Propagazione del Contesto Strutturale): Impiega l'Attention Multi-Head dove i prototipi originali agiscono come Query e le caratteristiche modulate agiscono come Chiavi/Valori. Ciò garantisce che la rappresentazione finale mantenga una struttura visiva robusta pur essendo profondamente allineata con la semantica clinica.

C. Funzione Obiettivo

Il modello è addestrato end-to-end con una perdita totale composta da:

• Perdita Specifica del Compito: Cross-Entropy per la classificazione o Perdita di Rischi Proporzionali di Cox per l'analisi di sopravvivenza.
• Perdita di Supervisione dei Prototipi: Una perdita contrastiva che forza gli "Esperti Priori" apprendibili ad allinearsi con i centroidi derivati dal K-means fisso, imponendo il priori di dominio.

3. Contributi Chiave

1. Framework Innovativo: Propone HPDP, che sinergizza in modo unico i priori morfologici derivati dal K-means con la guida semantica generata dall'LLM, colmando efficacemente l'apprendimento guidato dai dati e la conoscenza di dominio definita dagli esperti.
2. Sistema di Prototipi Ancorati Morfologicamente (MAPS): Introduce un sistema a doppio esperto (Priori Fissi + Adattivi) accoppiato a un Codificatore Posizionale Sinusoidale per catturare simultaneamente semantica morfologica e contesto geometrico.
3. Allineamento Gerarchico Cross-Modale (HCMA): Sviluppa un modulo a due fasi che utilizza il testo dell'LLM per modulare attivamente le caratteristiche visive, assicurando che l'attenzione sia guidata dal ragionamento diagnostico di alto livello piuttosto che da statistiche di basso livello.
4. Validazione Completa: Dimostra prestazioni all'avanguardia (SOTA) su sette coorti di cancro diverse sia per la diagnosi (sottotipizzazione) che per la prognosi (stratificazione del rischio di sopravvivenza).

4. Risultati Sperimentali

Il framework è stato valutato su sette dataset (inclusi TCGA-Lung, Camelyon16, BRACS e una coorte interna di Cancro del Polmone) coprendo compiti di classificazione e sopravvivenza.

• Prestazioni di Classificazione: HPDP ha ottenuto risultati SOTA in Accuratezza, AUC e F1-score.
  • Sul dataset LCEM (predizione della mutazione EGFR), HPDP ha raggiunto un AUC del 83,64%, superando il secondo classificato (PMIL all'82,29%) e mostrando una stabilità superiore rispetto ai modelli basati su Transformer come TransMIL, che hanno sofferto di cali di prestazioni su dati eterogenei.
  • Su BRACS (sottotipizzazione fine), HPDP ha raggiunto un F1-score leader del 65,61%.
• Analisi di Sopravvivenza: HPDP ha raggiunto un C-index medio complessivo di 0,6577.
  • Sulla coorte LCEM, ha raggiunto un C-index di 0,6985, superando le baseline specializzate basate su grafi (DM-GNN) e basate su prototipi (ProtoSurv).
• Generalizzazione Zero-Shot: In un esperimento zero-shot (addestrato su LCEM, testato su TCGA-LUAD senza fine-tuning), HPDP ha mantenuto prestazioni robuste (AUC 75,50%, C-index 0,5954), mentre altri modelli hanno sofferto di collasso del modello o degrado significativo delle prestazioni.
• Interpretabilità: La visualizzazione delle mappe di calore dell'attenzione ha mostrato che HPDP si concentra precisamente sulla morfologia tumorale e sui confini ground-truth, evitando la "dispersione dell'attenzione" osservata nei modelli MIL standard. Le visualizzazioni t-SNE hanno confermato una migliore separazione delle caratteristiche e una ridotta varianza intra-classe.

5. Significato

• Colmare il Divario della "Scatola Nera": Ancorando l'apprendimento a prototipi morfologici interpretabili e testo clinico, HPDP si allontana dai modelli di deep learning opachi verso un sistema di supporto diagnostico "a scatola bianca" che imita il ragionamento del patologo.
• Robustezza allo Shift di Dominio: L'integrazione della codifica geometrica (SPE) e dell'allineamento semantico (HCMA) permette al modello di generalizzare tra diversi istituti e protocolli di colorazione, un collo di bottiglia critico per il dispiegamento clinico.
• Utilità Clinica: Il framework fornisce non solo una previsione, ma una rappresentazione contestualmente raffinata che si allinea con la letteratura medica, migliorando la fiducia e facilitando l'adozione nei flussi di lavoro di oncologia di precisione.
• Direzione Futura: Il lavoro evidenzia il potenziale dell'uso degli LLM come modulatori attivi nell'imaging medico, suggerendo una strada verso associazioni causali tra semantica testuale e pattern di patologia visiva.