Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Technische Samenvatting: Probing, Fusie en Betrouwbaarheid van Foundation Model Representaties voor Multimodale Kankeranalyse

Probleemstelling
Foundation models (FMs) zijn opgekomen als krachtige extractoren van representaties voor medische data, maar hun generaliseerbaarheid naar real-world datasets onder distributieverschuiving blijft onderbelicht. Hoewel eerdere evaluaties van pathologie- en transcriptoom-FMs (bijv. CONCH, UCE) veelbelovend zijn, worden deze vaak uitgevoerd op publieke benchmarks die mogelijk overlappen met de pretraining-corpus. Real-world industriële datasets, zoals die uit commerciële oncologische bronnen, volgen vaak andere datacollectie-pipelines en distributies. Dit paper adresseert drie kritieke hiaten: (1) of FM-representaties betrouwbaar overdragen naar out-of-distribution (OOD) klinische data; (2) of multimodale fusie van beeld- en omics-data consistente winst oplevert ten opzichte van unimodale baselines; en (3) de betrouwbaarheid van deze pipelines, specifiek met betrekking tot onzekerheidskwantificering en kalibratie in klinische settings met een hoog risico.

Methodologie
De studie maakt gebruik van twee real-world, in-house (IH) commerciële cohorten: IH-BC (borstkanker) en IH-NSCLC (niet-kleincellige longkanker). Deze datasets, afkomstig uit de Flatiron Health-Caris Life Sciences Clinical-Molecular Database, bieden gekoppelde whole-slide H&E-beelden en transcriptoomprofielen (TPM RNA genexpressie). De data is gesplitst in trainings-, kalibratie-, validatie- en testsets (7:3:1:1 ratio).

De experimentele workflow bestaat uit drie stadia:

1. Unimodale Probing:

   • Beeldrepresentaties: Vier tile-level pathologie foundation models worden geëvalueerd: CONCH, UNI, MUSK en Virchow.
   • Omics-representaties: Drie methoden worden vergeleken: een transcriptoom FM (UCE), een variational autoencoder (scVI) en een klassieke dimensionaliteitsreductie baseline (PCA).
   • Downstream Taken: Acht classificatietaken zijn gedefinieerd, inclusief biopsieplaats-voorspelling, moleculaire subtype-identificatie, biomarker-status (PR, PIK3CA, LOH, TMB) en tumorlocatie-identificatie.
   • Leren: Unimodale prestaties worden beoordeeld met behulp van Multiple Instance Learning (HEMIL) voor beelden en Multilayer Perceptrons (GeneMLP) voor omics.

2. Multimodale Fusie:

   • Drie fusiestrategieën worden geïmplementeerd om gekoppelde beeld- en omics-representaties te combineren:
     • CONTACT: Concatenatie van omics-features met elke beeld-tile embedding, gevolgd door een fusie-encoder.
     • MCAT: Een co-attention transformer die informatie uitwisselt tussen beeld- en omics-tokens vóór de MIL-pooling.
     • LateMIL: Een late-fusion benadering die onafhankelijke WSI-logits en omics-logits combineert via een gewogen som.

3. Betrouwbaarheidsanalyse:

   • Conformal Prediction (CP): Split conformal prediction wordt toegepast op alle geselecteerde pipelines om voorspellingssets te genereren met marginale dekking garanties ($\alpha = 0.10$).
   • Metrieken: Evaluatie omvat empirische dekking, gemiddelde setgrootte, singleton rate en "rescue rate" (de frequentie waarmee het ware label wordt teruggevonden in de voorspellingsset wanneer de top-1 puntvoorspelling incorrect is).

Belangrijkste Resultaten

• Unimodale Prestaties:

  • Beeld-FMs bereiken competitieve prestaties op OOD-data, hoewel de resultaten significant variëren per taakmoeilijkheid (bijv. hoge AUC >0.9 op IH-BC Biopsy Site versus ~0.64 op IH-NSCLC Biopsy Site).
  • Omics-representaties bieden complementaire signalen. Opvallend genoeg presteert de klassieke PCA-baseline vaak beter dan geleerde transcriptoom foundation models (UCE, scVI) op verschillende taken, waarbij het de hoogste AUC behaalt op LOH, PR, PIK3CA, Subtype en TMB taken. Dit suggereert dat het bouwen van effectieve transcriptoom-FMs nog steeds een open uitdaging is vergeleken met klassieke statistische methoden voor het vangen van biologische perturbaties.

• Multimodale Fusie:

  • Fusie is niet universeel voordelig. Multimodale methoden (LateMIL, MCAT, CONTACT) presteren alleen beter dan unimodale baselines wanneer geen enkele modaliteit het voorspellende signaal domineert.
  • Wanneer één modaliteit het dominante signaal draagt (bijv. GeneMLP/PCA op NSCLC-TMB), kan fusie de prestaties zelfs verslechteren ten opzichte van het beste unimodale model.
  • LateMIL vertoont de meest consistente prestaties over taken heen vergeleken met CONTACT en MCAT.

• Betrouwbaarheid en Onzekerheid:

  • Conformal prediction bereikt een gemiddelde dekking gelijk aan of boven de nominale 0.90 doelstelling over alle taken.
  • Taakmoeilijkheid stuurt Setgrootte: NSCLC-taken (Biopsy Site, Tumor Site) vertonen overdekking (0.93–0.94) met grote gemiddelde setgroottes (2.5+) en een bijna nul singleton rate, wat de intrinsieke moeilijkheid weerspiegelt van het onderscheiden van longsubregio's. Daarentegen vertonen BC-taken een strakkere dekking dichter bij het doel met kleinere setgroottes (~2.0).
  • Architectuur-agnosticisme: Het conformal gedrag (dekking en setgrootte) is grotendeels robuust tegen de keuze van het backbone model; taakmoeilijkheid, in plaats van modelarchitectuur, bepaalt de kenmerken van de voorspellingsset.
  • Rescue Rate: In gevallen waarin de puntvoorspelling faalt, wordt de ware diagnose in 72.6% tot 87.3% van de gevallen teruggevonden binnen de voorspellingsset, wat het veiligheidsnet van onzekerheid-bewuste inferentie valideert.

Significantie en Claims
Het paper claimt dat foundation model-representaties redelijk goed kunnen overdragen naar ongeziene, real-world commerciële oncologische data, maar dat hun nut sterk taakafhankelijk is. Een primaire bijdrage is de bevinding dat multimodale fusie geen prestatiewinst garandeert en nadelig kan zijn als één modaliteit al een dominant signaal biedt. Bovendien benadrukt de studie dat klassieke methoden zoals PCA specifiele klinische contexten kunnen overtreffen met moderne transcriptoom foundation models.

Wat betreft betrouwbaarheid, betogen de auteurs dat de verschuiving van enkelvoudige puntvoorspellingen naar conformal prediction sets cruciaal is voor klinische ondersteuning. Deze aanpak zorgt ervoor dat zelfs wanneer de top-1 voorspelling van een model fout is, de correcte diagnose zelden wordt weggegooid, waardoor het risico op stille fouten in mens-AI samenwerking wordt verminderd. Het werk onderstreept dat hoewel modelarchitectuur ertoe doet, de inherente moeilijkheid van de klinische taak de primaire drijfveer is van onzekerheid en voorspellingssetgrootte.