Unifying Multiple Foundation Models for Advanced Computational Pathology

1. Problématique et Contexte

La pathologie computationnelle (CPath) a connu des avancées majeures grâce aux modèles de fondation (Foundation Models) pré-entraînés sur de vastes ensembles de données d'images histologiques (WSI - Whole Slide Images). Des modèles tels que Virchow, UNI, et H-Optimus-1 ont démontré une grande capacité de transfert vers diverses tâches cliniques.

Cependant, plusieurs limitations critiques persistent :

• Variabilité des performances : Aucun modèle unique ne surpasse systématiquement les autres sur l'ensemble des tâches (diagnostic, pronostic, moléculaire), car leurs performances dépendent fortement de la composition de leurs données d'entraînement (souvent propriétaires et non partageables).
• Limites de l'approche par distillation hors ligne (Offline Distillation) : Les tentatives précédentes pour combiner ces modèles (ex: GPFM) reposent sur une distillation hors ligne. Cette méthode nécessite un jeu de données de distillation dédié, un réentraînement complet du modèle étudiant à chaque ajout d'un nouveau modèle enseignant, et souffre d'un manque de flexibilité pour l'adaptation à des tâches spécifiques.
• Barrières d'accès aux données : La nature fermée des données d'entraînement des meilleurs modèles empêche la communauté scientifique d'agréger continuellement la diversité des données pour améliorer les modèles de base.

2. Méthodologie : Le modèle Shazam

Les auteurs proposent Shazam, un modèle d'ensemble unifié conçu pour intégrer de manière en ligne (online) et adaptative plusieurs modèles de fondation pré-entraînés, sans nécessiter l'accès à leurs données d'entraînement ni un pré-entraînement massif.

L'architecture de Shazam repose sur quatre composantes clés :

• Extraction multi-ensembles et multi-échelles :

  • Shazam utilise cinq modèles enseignants de pointe (UNI 2, Virchow2, H-optimus-1, Prov-Gigapath, Phikon-v2) comme extracteurs de caractéristiques figés (frozen).
  • Pour chaque modèle, des caractéristiques sont extraites à trois niveaux de profondeur sémantique : bas niveau (détails morphologiques), niveau intermédiaire (organisation tissulaire) et haut niveau (contexte global).

• Alignement et Fusion par Mixture of Experts (MoE) :

  • Les caractéristiques de tous les enseignants sont concaténées et passées à travers un mécanisme de gating (un MLP simple) qui calcule des poids adaptatifs pour chaque expert.
  • Contrairement à une simple concaténation, un module Mixture-of-Experts (MoE) organise ces caractéristiques pondérées en une matrice, permettant au modèle d'apprendre quelles sources d'information sont les plus pertinentes pour une tâche donnée.
  • Des couches d'auto-attention sont appliquées sur ces caractéristiques fusionnées pour modéliser les interactions entre les différents enseignants et les différentes échelles sémantiques.

• Distillation en ligne (Online Distillation) :

  • Un modèle étudiant (student) est entraîné pour prédire la tâche cible tout en étant supervisé par les enseignants via une fonction de perte de distillation multi-niveaux.
  • Cette perte combine une distance cosinus et une perte de Huber élément par élément, alignant les représentations de l'étudiant sur celles des enseignants à chaque échelle (bas, moyen, haut). Cela permet de consolider les forces complémentaires sans réentraînement complet des enseignants.

• Agrégation pour les tâches WSI :

  • Pour les analyses au niveau de la lame entière (WSI), un mécanisme d'apprentissage par plusieurs instances basé sur l'attention (ABMIL) agrège les patchs en une représentation de la lame avant la fusion finale.

3. Contributions Clés

1. Intégration en ligne et évolutive : Shazam permet d'intégrer de nouveaux modèles de fondation dès leur disponibilité sans réentraînement coûteux ni besoin de données d'entraînement originales, contrairement aux méthodes de distillation hors ligne.
2. Fusion adaptative multi-échelles : L'approche combine non seulement plusieurs modèles, mais aussi plusieurs niveaux de représentation sémantique, capturant à la fois les détails fins et le contexte global.
3. Généralisation robuste : Le modèle est conçu pour surmonter les biais spécifiques aux tissus ou aux institutions présents dans les modèles individuels en exploitant la complémentarité des experts.
4. Validation exhaustive : Évaluation sur 30 benchmarks couvrant quatre catégories majeures : prédiction de transcriptomique spatiale, pronostic de survie, classification de patchs (tile-level) et réponse aux questions visuelles (VQA).

4. Résultats Expérimentaux

Shazam a été évalué sur une large gamme de tâches et a démontré une supériorité constante par rapport aux meilleurs modèles individuels :

• Performance Globale : Sur 30 benchmarks, Shazam obtient un score de classement moyen de 1,17, se classant premier sur 26 tâches. Le modèle suivant, Virchow2, obtient un score moyen de 3,20.
• Prédiction de Transcriptomique Spatiale (HEST-1k) : Shazam surpasse tous les modèles de base sur les 8 types d'organes testés (PCC moyen amélioré de 0,08 à 0,17). Il capture avec précision les motifs spatiaux hétérogènes (ex: expression de IDH1 dans les glandes tumorales dysplasiques) que les modèles individuels manquent.
• Pronostic de Survie (TCGA) : Sur 10 cohortes de cancer, Shazam atteint un C-index moyen de 0,666, surpassant le meilleur modèle individuel (H-optimus-1 à 0,642). L'amélioration est statistiquement significative (p=0,007) et permet une stratification claire des patients à haut et bas risque.
• Classification de Patchs (Tile-level) : Sur 11 jeux de données (incluant PCAM, PanCancer-TIL, CRC-100K), Shazam obtient le meilleur score global (F1 moyen de 0,852 sur PanCancer-TIL, surpassant Virchow2 de ~1%).
• Visual Question Answering (PathVQA) : Avec une précision de 0,575, Shazam dépasse les modèles de base, démontrant que la fusion de représentations visuelles hétérogènes améliore le raisonnement multimodal, même sans entraînement explicite sur des paires image-texte pour les enseignants.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la modélisation de la pathologie computationnelle :

• Passage des modèles monolithiques aux systèmes modulaires : Au lieu de chercher à entraîner un seul modèle "parfait" sur des données inaccessibles, Shazam propose une architecture compositionnelle qui assemble les meilleurs experts existants.
• Viabilité clinique : La méthode offre une stratégie pratique pour exploiter les avancées rapides des modèles de fondation sans les contraintes légales et techniques liées au partage de données propriétaires.
• Évolutivité : L'approche "en ligne" permet une mise à jour continue des capacités du système à mesure que de nouveaux modèles de fondation sont publiés, assurant la pérennité et l'amélioration continue des outils d'aide au diagnostic.

En conclusion, Shazam démontre que l'intégration adaptative de modèles pré-entraînés via une fusion de caractéristiques multi-niveaux et une distillation en ligne constitue une voie prometteuse pour atteindre une généralisation robuste et une performance supérieure dans l'analyse histopathologique complexe.