🤖 AI

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

Cet article propose un cadre de pré-entraînement basé sur la distillation qui exploite des modèles de fondation au niveau de la diapositive (TITAN et CARE) comme enseignants pour initialiser des réseaux d'apprentissage par instances multiples, surmontant ainsi la rareté des données et améliorant les performances sur 15 ensembles de données de référence, particulièrement dans les scénarios de sondage linéaire et de peu d'exemples.

Auteurs originaux : Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

Publié 2026-07-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingxi Fu, Jiawen Li, Renao Yan, Jiali Hu, Qiehe Sun, Tian Guan, Yonghong He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de résoudre un mystère colossal, mais au lieu d'examiner un seul indice, on vous remet une carte géante et haute résolution de toute une ville. Cette carte est si détaillée qu'elle montre chaque brique de chaque bâtiment, chaque feuille sur chaque arbre et chaque fissure dans le trottoir. Dans le monde de la science médicale, cette « carte de la ville » est une image numérique d'un échantillon de tissu prélevé sur un patient, appelée Image de Coupe Entière (WSI - Whole Slide Image). Ces images sont si immenses qu'aucun cerveau humain (ni aucun ordinateur) ne peut examiner chaque brique à la fois. Pour résoudre le mystère — comme déterminer si un patient a un cancer — les scientifiques utilisent une astuce ingénieuse appelée Apprentissage par Instances Multiples (MIL - Multiple Instance Learning). Voyez le MIL comme une équipe de détectives juniors qui examinent chacun un petit quartier (une portion de l'image) puis rapportent leurs conclusions à une équipe de chefs de file. Le chef combine ensuite tous ces rapports pour rendre le verdict final.

Le problème est qu'auparavant, chaque fois que l'équipe voulait résoudre un nouveau type de mystère (comme un autre type de cancer ou une mutation génétique spécifique), elle devait embaucher une toute nouvelle équipe de détectives juniors et un nouveau chef, les entraîner à partir de zéro en utilisant seulement une poignée de vieux dossiers, et espérer qu'ils ne s'embrouillent pas. C'était comme essayer d'apprendre à jouer aux échecs, puis immédiatement essayer d'apprendre à jouer au Go, et ensuite immédiatement essayer d'apprendre le poker, sans jamais pratiquer les bases au préalable. L'équipe était souvent dépassée, faisait des erreurs ou se contentait de mémoriser les quelques exemples dont elle disposait au lieu d'apprendre les véritables règles. Cette publication pose une question simple : et si nous pouvions donner à ces détectives juniors et à leurs chefs un coup de pouce en leur enseignant d'abord les règles générales du jeu, en utilisant la sagesse de « maîtres détectives » qui ont déjà étudié des millions de cas ?

La Grande Idée : Apprendre des Maîtres

Cet article présente une nouvelle façon d'entraîner ces équipes d'IA médicales en utilisant une technique appelée distillation de connaissances. Imaginez que vous ayez deux détectives maîtres légendaires : l'un nommé TITAN et l'autre nommé CARE. Ces maîtres sont des modèles d'IA énormes et super intelligents qui ont déjà étudié des milliers d'images de coupes entières et appris à repérer des motifs que les humains pourraient manquer. Ils sont comme Sherlock Holmes et Hercule Poirot du monde de la pathologie numérique. Cependant, ces maîtres sont aussi très lourds et lents ; ils demandent beaucoup de puissance informatique pour fonctionner, ce qui les rend difficiles à utiliser dans les hôpitaux du quotidien.

Les auteurs de cet article ont trouvé un plan ingénieux : au lieu d'essayer de faire fonctionner directement les maîtres lourds, utilisons-les comme professeurs pour entraîner un groupe de modèles étudiants légers et rapides (les agrégateurs MIL). Les étudiants sont petits et efficaces, parfaits pour un diagnostic rapide, mais ils doivent apprendre à penser comme les maîtres. Les chercheurs ont mis en place une salle de classe où les étudiants regardent les mêmes fragments de tissus que les maîtres. Les maîtres ne donnent pas seulement à l'étudiant la réponse finale ; ils partagent leurs « sentiments » sur les données — la façon dont ils regroupent les indices et ce qu'ils jugent important. Les étudiants tentent d'imiter ces sentiments, apprenant à organiser l'information exactement comme le font les experts.

La Recette Secrète : Équilibrer les Enseignants

C'est ici que cela devient un peu délicat. TITAN et CARE sont deux types d'experts différents. TITAN est excellent pour comprendre l'« ambiance » générale de la coupe entière, tandis que CARE est un expert pour remarquer des détails moléculaires et des formes spécifiques. Parfois, un enseignant peut être très confiant et rigoureux dans ses réponses, tandis qu'un autre est un peu plus dispersé. Si les étudiants se contentaient d'écouter celui qui criait le plus fort, ils pourraient s'embrouiller.

Pour corriger cela, les auteurs ont inventé une règle spéciale appelée Perte de Distillation Normalisée par Dispersion Angulaire (Angular Dispersion Normalized Distillation Loss). En langage clair, c'est comme un arbitre dans un débat qui s'assure que les deux enseignants sont entendus équitablement. Si un enseignant est très « groupé » (ses réponses sont toutes très similaires et serrées), l'arbitre ajuste le score pour que cet enseignant ne domine pas la leçon. Si l'autre enseignant est plus « étalé », l'arbitre lui accorde un peu plus de poids. Cela garantit que les étudiants apprennent un mélange équilibré de la sagesse des deux maîtres, plutôt que de simplement copier un style.

Ce Qu'Ils Ont Trouvé : Petits Modèles, Grands Succès

Les chercheurs ont testé cette idée sur 15 tâches médicales différentes, allant de la prédiction de l'agressivité d'une tumeur à la détection de mutations génétiques spécifiques. Ils ont comparé leurs nouveaux étudiants « pré-entraînés » à deux autres groupes : des étudiants entraînés à partir de zéro (sans aide) et les maîtres lourds eux-mêmes.

Les résultats étaient passionnants. Dans presque tous les tests, les étudiants qui ont appris des maîtres ont bien mieux performé que ceux entraînés à partir de zéro.

Le test de « Sondage Linéaire » (Linear Probing) : Cela revient à figer le cerveau de l'étudiant après l'entraînement et à n'ajouter qu'une simple couche de questions-réponses. Même avec leurs cerveaux gelés, les étudiants pré-entraînés ont souvent surpassé les maîtres massifs ! Par exemple, sur des tâches liées aux tumeurs cérébrales, les étudiants se sont améliorés de plus de 23 % par rapport au meilleur enseignant.
Le test « Few-Shot » (Apprentissage à partir de peu d'exemples) : C'est la partie la plus impressionnante. Imaginez donner à l'étudiant seulement 1, 2 ou 4 exemples d'une nouvelle maladie pour apprendre. Dans ces scénarios de « few-shot », les étudiants pré-entraînés étaient comme des super-héros. Ils pouvaient apprendre de nouvelles tâches avec très peu de données, alors que les étudiants entraînés à partir de zéro luttaient ou échouaient complètement. Sur certaines tâches, l'amélioration était de l'ordre de 20 points de pourcentage lorsqu'il n'y avait que quelques exemples disponibles.

Pourquoi Cela Importe

L'article suggère que cette méthode change la donne pour l'IA médicale. Il prouve que vous n'avez pas besoin d'un supercalculateur pour effectuer un diagnostic si vous entraînez correctement le modèle au préalable. En utilisant la « sagesse » de grands modèles de fondation lourds pour enseigner à des modèles plus petits et plus rapides, les médecins peuvent obtenir des résultats précis et fiables, même lorsqu'ils disposent de très peu d'échantillons de patients. C'est comme donner à un jeune détective une bibliothèque de cas résolus avant même qu'il ne mette les pieds sur une scène de crime. L'article ne prétend pas que cela résout tous les problèmes de la médecine, mais il suggère fortement que cette approche de « distillation » rend les modèles d'IA légers beaucoup plus fiables, stables et prêts pour une utilisation en conditions réelles, surtout dans les situations où les données sont rares.

Résumé Technique : Pré-entraînement de réseaux d'Apprentissage par Instances Multiples avec Distillation Multi-Enseignants à partir de Modèles Fondations de Pathologie

Énoncé du Problème

L'Apprentissage par Instances Multiples (MIL - Multiple Instance Learning) s'est imposé comme le paradigme dominant pour l'analyse des images de lames entières (WSI - Whole Slide Images) en pathologie computationnelle. Dans ce cadre, une lame est traitée comme un « sac » d'instances au niveau des patchs, où un encodeur de tuiles gelé extrait des caractéristiques, et un agrégateur MIL apprend à combiner ces instances en une prédiction au niveau de la lame. Malgré la diversité des architectures d'agrégation (par exemple, basées sur l'attention, les Transformers, les graphes ou les modèles d'espace d'état), une limitation fondamentale persiste : les agrégateurs MIL existants sont généralement entraînés à partir de zéro pour chaque tâche en aval.

Cette approche « à partir de zéro » repose sur un nombre limité de labels au niveau de la lame pour apprendre simultanément des représentations d'instances discriminantes et des stratégies d'agrégation efficaces. Par conséquent, ces modèles souffrent souvent d'une optimisation instable, d'un surapprentissage de corrélations spécieuses et d'une faible transférabilité entre les tâches. Bien que l'analyse d'images naturelles ait adopté avec succès le paradigme « pré-entraînement puis ajustement » (pretrain-then-fine-tune) utilisant des jeux de données à grande échelle (ex: ResNet, ViT), l'application de cela au MIL en pathologie se heurte à deux barrières critiques :

Rareté des Données : Contrairement aux images de niveau tuile qui peuvent être découpées en millions, les jeux de données de haute qualité disponibles publiquement au niveau de la lame sont limités à des milliers ou des dizaines de milliers d'échantillons, ce qui est insuffisant pour entraîner des modèles fondations à partir de zéro.
Capacité du Modèle : Les agrégateurs MIL conventionnels sont des modules légers et spécifiques à une tâche avec peu de paramètres. Ils manquent de la capacité nécessaire pour bénéficier du pré-entraînement supervisé classique, comme le font les grands encodeurs, et l'ajustement direct de grands encodeurs de lames pour diverses tâches cliniques peut être coûteux en termes de calcul et instable pour l'optimisation.

Méthodologie

Les auteurs proposent un cadre de distillation multi-enseignants pour pré-entraîner des agrégateurs MIL légers en transférant la connaissance de grands modèles fondations de pathologie pré-entraînés. Le cœur de la méthode consiste à utiliser deux encodeurs de lames de pointe, TITAN et CARE, comme modèles « enseignants » complémentaires pour guider l'entraînement de divers modèles « étudiants » d'architectures MIL.

1. Configuration de la Distillation Multi-Enseignants

Enseignants :
- TITAN : Fournit des sémantiques de lames entières généralistes et transférables, apprises via un pré-entraînement multimodal à grande échelle.
- CARE : Offre des représentations régionales informées par la morphologie et la biologie moléculaire.
- La combinaison de ces enseignants fournit des signaux de supervision diversifiés, réduisant le biais inhérent à la dépendance à une seule représentation.
Étudiants : Neuf architectures MIL diverses (incluant ABMIL, CLAM, TransMIL, WiKG, DAGMIL, GDFMIL, 2DMamba, AMDMIL et AEMIL) servent d'étudiants. Les modèles étudiants sont initialisés avec des poids aléatoires et entraînés pour imiter les plongements (embeddings) de lames produits par les enseignants gelés.
Construction des Données : Pour éviter l'irrégularité computationnelle des lames entières (WSI), le pré-entraînement est effectué sur des régions d'intérêt (ROI) à haute résolution du jeu de données TCGA-UT-8K. Chaque ROI est divisée en une grille régulière de $16 \times 16$ patchs (soit 256 patchs), garantissant des tailles de lots cohérentes et une consommation de mémoire stable.

2. Perte de Distillation Normalisée par Dispersion Angulaire (Perte ADN)

Un défi central de la distillation multi-enseignants est que différents enseignants peuvent présenter des niveaux de concentration variables dans leurs distributions de représentation sur l'hypersphère. Si un enseignant produit des plongements étroitement regroupés tandis qu'un autre est plus dispersé, leurs signaux de supervision peuvent avoir des échelles différentes, entraînant un équilibrage imparfait de l'optimisation.

Pour y remédier, les auteurs introduisent la Perte de Distillation Normalisée par Dispersion Angulaire (Perte ADN).

Mécanisme : La perte mesure la distance angulaire entre la prédiction de l'étudiant et la cible de l'enseignant. Crucialement, cette erreur est normalisée par la dispersion angulaire courante ( $\sigma_k$ ) de la distribution de représentation de l'enseignant spécifique.
Formule : Pour un enseignant $k$ , la perte est calculée comme suit :
$L^{(k)}_{distill} = \frac{1}{B} \sum_{i=1}^{B} \frac{\Theta^{(k)}_i}{\sigma_k + \epsilon}$
où $\Theta^{(k)}_i$ est la distance angulaire, et $\sigma_k$ est l'écart-type estimé des plongements de l'enseignant autour de leur centre de mise à jour.
Effet : Cette normalisation garantit qu'un enseignant ayant des plongements étroitement regroupés (petit $\sigma_k$ ) ne domine pas les mises à jour de gradient simplement parce que l'amplitude brute de son erreur est faible. Elle équilibre l'influence des enseignants ayant des caractéristiques de représentation différentes.

3. Adaptation en Aval

Après le pré-entraînement, les têtes de projection spécifiques à l'enseignant sont supprimées. Les poids de l'agrégateur MIL pré-entraînés ( $\theta^*$ ) servent d'initialisation réutilisable pour les tâches en aval. Les auteurs évaluent deux protocoles d'adaptation :

Ajustement de tous les paramètres (Full-Parameter Fine-tuning) : L'agrégateur MIL et la tête de classification spécifique à la tâche sont tous deux mis à jour à l'aide des labels de lame en aval.
Sondage Linéaire (Linear Probing) : L'agrégateur MIL pré-entraîné est gelé, et seule la tête de classification linéaire est entraînée, évaluant directement la qualité des représentations de lame apprises.

Contributions Clés

Pré-entraînement MIL Réalisable : Le papier démontre une voie pratique pour pré-entraîner des agrégateurs MIL légers malgré la rareté des données étiquetées à grande échelle au niveau de la lame, en exploitant la distillation de connaissances à partir de modèles fondations existants.
Cadre Multi-Enseignants : Il introduit un cadre qui utilise des connaissances complémentaires de TITAN et CARE, montrant que la combinaison d'enseignants hétérogènes peut produire une meilleure généralisation qu'une distillation à enseignant unique.
Perte ADN : La proposition de la Perte Normalisée par Dispersion Angulaire répond au défi spécifique de l'équilibrage des signaux de supervision provenant d'enseignants ayant des distributions de représentation différentes.
Évaluation Complète : La méthode est systématiquement évaluée sur 15 tâches en aval à travers 6 jeux de données de référence, couvrant la sous-typologie du cancer, la prédiction de biomarqueurs et la détection de mutations.

Résultats Expérimentaux

Les auteurs ont mené des expériences approfondies comparant leurs modèles MIL pré-entraînés par distillation à :

Des modèles entraînés à partir de zéro.
L'ajustement direct des modèles enseignants (TITAN et CARE).

Principales Conclusions :

Gains de Performance : L'initialisation par pré-entraînement améliore systématiquement les agrégateurs MIL par rapport à un entraînement à partir de zéro. Cela est particulièrement évident dans les scénarios de sondage linéaire et de few-shot (apprentissage à partir de peu d'exemples).
Surpasser les Enseignants : Dans de nombreux cas, les agrégateurs MIL légers pré-entraînés surpassent les lourds encodeurs de lames des enseignants (TITAN et CARE) lorsqu'ils sont adaptés aux tâches en aval, suggérant que la connaissance distillée est efficacement compressée et spécialisée pour la tâche d'agrégation.
Efficacité Few-Shot : Dans les contextes de few-shot (1 à 16 exemples par classe), les modèles initialisés par distillation montrent des gains significatifs (jusqu'à 20,55 points de pourcentage sur BRACS-Coarse) par rapport à l'entraînement à partir de zéro, soulignant une meilleure efficacité des données et une stabilité d'optimisation.
Agnosticisme de l'Architecture : Les bénéfices ont été observés à travers diverses architectures (attention, Transformer, graphe, espace d'état), bien que certaines architectures (comme GDFMIL et 2DMamba) aient montré des performances plus variables selon la tâche et le protocole d'adaptation.
Efficacité de la Mémoire : Contrairement aux grands modèles fondations qui souffrent d'une explosion de la mémoire à mesure que le nombre de patchs augmente, les agrégateurs MIL légers maintiennent une utilisation de la mémoire stable, même avec un grand nombre de patchs (ex: 30k patchs), ce qui les rend scalables pour l'analyse de lames gigapixels.

Signification et Revendications

Le papier affirme que ce travail fournit une alternative pratique à l'entraînement conventionnel du MIL à partir de zéro. En transférant les priors de niveau lame des grands modèles fondations vers des agrégateurs légers via la distillation, l'approche permet :

Des Priors de Niveau Lame Transférables : Les modèles MIL peuvent acquérir des représentations stables et généralisables sans nécessiter de jeux de données massifs pour leur propre pré-entraînement.
Efficacité : Les modèles résultants restent efficaces sur le plan computationnel et scalables, adaptés aux environnements cliniques disposant de ressources de calcul ou de budgets d'annotation limités.
Robustesse : La méthode améliore la vitesse de convergence et réduit le surapprentissage, en particulier dans les régimes de données rares comme le few-shot learning.

Les auteurs positionnent ce travail comme une étape vers le remodelage de la pathologie computationnelle en rendant le paradigme « pré-entraînement puis ajustement » accessible au MIL, une composante critique de l'analyse des lames entières qui était auparavant limitée à un entraînement à partir de zéro. Des travaux futurs suggèrent de passer à l'échelle supérieure pour les données de pré-entraînement et d'évaluer le cadre sur une gamme encore plus large de tâches en aval.