Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Sintesi Tecnica: Saggi, Fusione e Affidabilità delle Rappresentazioni di Modelli Fondativi per l'Analisi Multimodale del Cancro

Definizione del Problema
I modelli fondativi (FM) sono emersi come potenti estrattori di rappresentazioni per i dati medici, tuttavia la loro generalizzabilità a dataset del mondo reale sotto spostamento di distribuzione (distribution shift) rimane poco esplorata. Sebbene le valutazioni precedenti di modelli fondativi per patologia e trascrittomica (ad es. CONCH, UCE) mostrino risultati promettenti, esse sono spesso condotte su benchmark pubblici che potrebbero sovrapporsi ai corpora di pre-addestramento. I dataset reali industriali, come quelli provenienti da fonti oncologiche commerciali, seguono spesso pipeline di raccolta dati e distribuzioni differenti. Questo articolo affronta tre lacune critiche: (1) se le rappresentazioni dei FM si trasferiscono in modo affidabile a dati clinici fuori distribuzione (OOD); (2) se la fusione multimodale di dati di immagini e omica produce guadagni coerenti rispetto ai baseline unimodali; e (3) l'affidabilità di queste pipeline, specificamente riguardo alla quantificazione dell'incertezza e alla calibrazione in contesti diagnostici ad alto rischio.

Metodologia
Lo studio utilizza due coorti commerciali in-house (IH) reali: IH-BC (carcinoma mammario) e IH-NSCLC (carcinoma polmonare non a piccole cellule). Questi dataset, derivati dal database clinico-molecolare Flatiron Health-Caris Life Sciences, forniscono coppie di immagini H&E a intero vetrino (WSI) e profili trascrittomici (espressione genica TPM RNA). I dati sono suddivisi in set di addestramento, calibrazione, validazione e test (rapporto 7:3:1:1).

Il flusso di lavoro sperimentale consiste in tre fasi:

1. Probing Unimodale:

   • Rappresentazioni d'Immagine: Vengono valutati quattro modelli fondativi di patologia a livello di tile: CONCH, UNI, MUSK e Virchow.
   • Rappresentazioni Omiche: Si confrontano tre metodi: un FM trascrittomico (UCE), un autoencoder variazionale (scVI) e un baseline classico di riduzione della dimensionalità (PCA).
   • Task a Valle: Sono definiti otto task di classificazione, inclusi la predizione del sito di biopsia, l'identificazione del sottotipo molecolare, lo stato dei biomarcatori (PR, PIK3CA, LOH, TMB) e l'identificazione del sito tumorale.
   • Apprendimento: Le prestazioni unimodali sono valutate utilizzando il Multiple Instance Learning (HEMIL) per le immagini e i Multilayer Perceptrons (GeneMLP) per l'omica.

2. Fusione Multimodale:

   • Sono implementate tre strategie di fusione per combinare le rappresentazioni accoppiate di immagine e omica:
     • CONTACT: Concatenazione delle feature omiche con ogni embedding di tile d'immagine, seguita da un encoder di fusione.
     • MCAT: Un trasformatore di co-attenzione che scambia informazioni tra i token di immagine e omica prima del pooling MIL.
     • LateMIL: Un approccio di fusione tardiva che combina i logit indipendenti di WSI e i logit omici tramite una somma pesata.

3. Analisi dell'Affidabilità (Trustworthiness):

   • Conformal Prediction (CP): La conformal prediction split viene applicata a tutte le pipeline selezionate per generare set di predizione con garanzie di copertura marginale ($\alpha = 0.10$).
   • Metriche: La valutazione include la copertura empirica, la dimensione media del set, il tasso di singleton e il "tasso di salvataggio" (la frequenza con cui l'etichetta reale viene recuperata nel set di predizione quando la predizione top-1 è errata).

Risultati Chiave

• Prestazioni Unimodali:

  • I modelli fondativi d'immagine ottengono prestazioni competitive su dati OOD, sebbene i risultati varino significativamente in base alla difficoltà del task (ad es. AUC elevata >0.9 su IH-BC Biopsy Site vs ~0.64 su IH-NSCLC Biopsy Site).
  • Le rappresentazioni omiche forniscono segnali complementari. Notevolmente, il baseline classico PCA spesso supera i modelli fondativi trascrittomici appresi (UCE, scVI) in diversi task, raggiungendo l'AUC più alta su LOH, PR, PIK3CA, Subtype e TMB. Ciò suggerisce che la costruzione di modelli fondativi trascrittomici efficaci rimanga una sfida aperta rispetto ai metodi statistici classici per catturare le perturbazioni biologiche.

• Fusione Multimodale:

  • La fusione non è universalmente benefica. I metodi multimodali (LateMIL, MCAT, CONTACT) superano i baseline unimodali solo quando nessuna singola modalità domina il segnale predittivo.
  • Quando una modalità trasporta il segnale dominante (ad es. GeneMLP/PCA su NSCLC-TMB), la fusione può effettivamente degradare le prestazioni rispetto al miglior modello unimodale.
  • LateMIL dimostra le prestazioni più coerenti tra i task rispetto a CONTACT e MCAT.

• Affidabilità e Incertezza:

  • La conformal prediction raggiunge la copertura media al livello o sopra il target nominale di 0.90 per tutti i task.
  • La Difficoltà del Task Guida la Dimensione del Set: I task NSCLC (Biopsy Site, Tumor Site) mostrano una sovra-copertura (0.93–0.94) con dimensioni medie del set elevate (2.5+) e tassi di singleton vicini allo zero, riflettendo la difficoltà intrinseca di distinguere le sottoregioni polmonari. Al contrario, i task BC mostrano una copertura più stretta vicino al target con set di dimensioni minori (~2.0).
  • Agnosticismo dell'Architettura: Il comportamento della conformal (copertura e dimensione del set) è ampiamente robusto alla scelta del modello di backbone; la difficoltà del task, piuttosto che l'architettura del modello, governa le caratteristiche del set di predizione.
  • Tasso di Salvataggio (Rescue Rate): Nei casi in cui la predizione puntuale fallisce, la diagnosi reale viene recuperata nel 72.6% - 87.3% dei casi, validando la rete di sicurezza fornita dall'inferenza consapevole dell'incertezza.

Significato e Rivendicazioni
L'articolo sostiene che le rappresentazioni dei modelli fondativi possono trasferirsi ragionevolmente bene a dati oncologici commerciali inediti e reali, ma la loro utilità è altamente dipendente dal task. Un contributo primario è la scoperta che la fusione multimodale non garantisce guadagni di prestazione e può essere dannosa se una modalità fornisce già un segnale dominante. Inoltre, lo studio evidenzia come i metodi classici come PCA possano superare i moderni modelli fondativi trascrittomici in specifici contesti clinici.

Per quanto riguarda l'affidabilità, gli autori sostengono che passare dalle singole predizioni puntuali ai set di conformal prediction sia critico per il supporto clinico. Questo approccio assicura che anche quando la predizione top-1 di un modello è errata, la diagnosi corretta è raramente scartata, riducendo così il rischio di errori silenziosi nella collaborazione uomo-IA. Il lavoro sottolinea che, sebbene l'architettura del modello sia importante, la difficoltà intrinseca del compito clinico è il driver primario di incertezza e dimensione del set di predizione.