Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Résumé Technique : Sondage, Fusion et Fiabilité des Représentations de Modèles de Fondation pour l'Analyse Multimodale du Cancer

Énoncé du Problème
Les modèles de fondation (FM) sont apparus comme de puissants extracteurs de représentations pour les données médicales, pourtant leur généralisabilité aux jeux de données du monde réel sous l'effet de décalages de distribution reste peu explorée. Bien que les évaluations antérieures des FM de pathologie et de transcriptomique (ex. CONCH, UCE) soient prometteuses, elles sont souvent menées sur des benchmarks publics qui peuvent chevaucher le corpus de pré-entraînement. Les jeux de données industriels réels, tels que ceux provenant de sources d'oncologie commerciales, suivent souvent des pipelines de collecte et des distributions de données différents. Cet article aborde trois lacunes critiques : (1) si les représentations des FM transfèrent de manière fiable vers des données cliniques hors distribution (OOD) ; (2) si la fusion multimodale de données d'imagerie et d'omique produit des gains cohérents par rapport aux bases unimodales ; et (3) la fiabilité de ces pipelines, spécifiquement concernant la quantification de l'incertitude et le calibrage dans des contextes de diagnostic à enjeux élevés.

Méthodologie
L'étude utilise deux cohortes commerciales réelles et internes (IH) : IH-BC (cancer du sein) et IH-NSCLC (cancer du poumon non à petites cellules). Ces jeux de données, dérivés de la base de données clinique-moléculaire Flatiron Health-Caris Life Sciences, fournissent des images de lames entières H&E appariées à des profils transcriptomiques (expression génique TPM RNA). Les données sont divisées en ensembles d'entraînement, de calibration, de validation et de test (ratio 7:3:1:1).

Le flux de travail expérimental consiste en trois étapes :

1. Sondage Unimodal :

   • Représentations d'Images : Quatre modèles de fondation de pathologie au niveau des tuiles sont évalués : CONCH, UNI, MUSK et Virchow.
   • Représentations d'Omics : Trois méthodes sont comparées : un FM transcriptomique (UCE), un auto-encodeur variationnel (scVI), et une ligne de base classique de réduction de dimensionnalité (PCA).
   • Tâches Aval : Huit tâches de classification sont définies, incluant la prédiction du site de biopsie, l'identification du sous-type moléculaire, le statut de biomarqueur (PR, PIK3CA, LOH, TMB) et l'identification du site tumoral.
   • Apprentissage : La performance unimodale est évaluée en utilisant l'apprentissage par instance multiple (HEMIL) pour les images et des perceptrons multicouches (GeneMLP) pour l'omique.

2. Fusion Multimodale :

   • Trois stratégies de fusion sont implémentées pour combiner les représentations appariées image et omique :
     • CONTACT : Concatenation des caractéristiques d'omique avec chaque plongement (embedding) de tuile d'image, suivie d'un encodeur de fusion.
     • MCAT : Un transformateur de co-attention qui échange des informations entre les jetons (tokens) d'image et d'omique avant le regroupement (pooling) MIL.
     • LateMIL : Une approche de fusion tardive combinant les logits indépendants des WSI et des omics via une somme pondérée.

3. Analyse de la Fiabilité :

   • Prédiction Conforme (CP) : La prédiction conforme partitionnée est appliquée à tous les pipelines sélectionnés pour générer des ensembles de prédiction avec des garanties de couverture marginale ($\alpha = 0,10$).
   • Métriques : L'évaluation inclut la couverture empirique, la taille moyenne de l'ensemble, le taux de singleton et le "taux de sauvetage" (la fréquence à laquelle la véritable étiquette est récupérée dans l'ensemble de prédiction lorsque la prédiction ponctuelle top-1 est incorrecte).

Résultats Clés

• Performance Unimodale :

  • Les FM d'images atteignent des performances compétitives sur les données OOD, bien que les résultats varient considérablement selon la difficulté de la tâche (ex. AUC élevée >0,9 sur le site de biopsie IH-BC contre ~0,64 sur le site de biopsie IH-NSCLC).
  • Les représentations d'omics fournissent des signaux complémentaires. Notamment, la ligne de base classique PCA surpasse souvent les modèles de fondation transcriptomiques appris (UCE, scVI) sur plusieurs tâches, atteignant l'AUC la plus élevée sur les tâches LOH, PR, PIK3CA, Sous-type et TMB. Cela suggère que la construction de FM transcriptomiques efficaces reste un défi ouvert par rapport aux méthodes statistiques classiques pour capturer les perturbations biologiques.

• Fusion Multimodale :

  • La fusion n'est pas universellement bénéfique. Les méthodes multimodales (LateMIL, MCAT, CONTACT) surpassent les bases unimodales uniquement lorsqu'aucune modalité ne domine le signal prédictif.
  • Lorsque une modalité porte le signal dominant (ex. GeneMLP/PCA sur NSCLC-TMB), la fusion peut réellement dégrader la performance par rapport au meilleur modèle unimodal.
  • LateMIL démontre la performance la plus cohérente à travers les tâches par rapport à CONTACT et MCAT.

• Fiabilité et Incertitude :

  • La prédiction conforme atteint une couverture moyenne égale ou supérieure à la cible nominale de 0,90 pour toutes les tâches.
  • La Difficulté de la Tâche Pilote la Taille de l'Ensemble : Les tâches NSCLC (Site de biopsie, Site tumoral) présentent une sur-couverture (0,93–0,94) avec des tailles d'ensembles moyennes élevées (2,5+) et des taux de singleton proches de zéro, reflétant la difficulté intrinsèque de distinguer les sous-régions pulmonaires. Inversement, les tâches BC montrent une couverture plus serrée proche de la cible avec des ensembles plus petits (~2,0).
  • Agnosticisme de l'Architecture : Le comportement de la prédiction conforme (couverture et taille de l'ensemble) est largement robuste au choix du modèle de base ; la difficulté de la tâche, plutôt que l'architecture du modèle, régit les caractéristiques de l'ensemble de prédiction.
  • Taux de Sauvetage : Dans les cas où la prédiction ponctuelle échoue, le diagnostic réel est récupéré dans l'ensemble de prédiction dans 72,6 % à - 87,3 % des cas, validant le filet de sécurité fourni par l'inférence consciente de l'incertitude.

Signification et Revendications
L'article affirme que les représentations des modèles de fondation peuvent transférer raisonnablement bien vers des données d'oncologie commerciales réelles et inédites, mais que leur utilité est hautement dépendante de la tâche. Une contribution primaire est la découverte que la fusion multimodale ne garantit pas de gains de performance et peut être préjudiciable si une modalité fournit déjà un signal dominant. De plus, l'étude souligne que les méthodes classiques telles que PCA peuvent surpasser les modèles de fondation transcriptomiques modernes dans des contextes cliniques spécifiques.

Concernant la fiabilité, les auteurs soutiennent que passer des prédictions ponctuelles uniques aux ensembles de prédiction conforme est critique pour le support clinique. Cette approche garantit que même lorsque la prédiction top-1 d'un modèle est erronée, le diagnostic correct est rarement écarté, réduisant ainsi le risque d'erreurs silencieuses dans la collaboration humain-IA. Le travail souligne que si l'architecture du modèle compte, la difficulté inhérente de la tâche clinique est le principal moteur de l'incertitude et de la taille de l'ensemble de prédiction.