M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

Titre

M-IDoL : Décomposition de l'information pour l'apprentissage de représentations spécifiques à la modalité et diversifiées dans les modèles de fondation médicale.

1. Le Problème : L'Ambiguïté de l'Information

Les modèles de fondation médicale (MFMs) actuels visent à apprendre des représentations universelles à partir d'images médicales multimodales pour se généraliser à diverses tâches cliniques. Cependant, la majorité de ces modèles souffrent d'un problème fondamental appelé ambiguïté de l'information.

• Cause : Les MFMs existants utilisent généralement un apprentissage contrastif unifié (Contrastive Learning - CL) qui maximise l'information mutuelle entre des vues augmentées d'images de différentes modalités (rayons X, fond d'œil, dermatoscopie, etc.) dans un seul espace d'embedding.
• Conséquence : Cette approche force le modèle à apprendre des représentations "partagées" qui maximisent la redondance inter-modale. Cela dilue la spécificité de chaque modalité (par exemple, les détails fins d'une lésion cutanée vs les opacités pulmonaires) et réduit la diversité intra-modalement (la capacité à distinguer des nuances subtiles au sein d'une même modalité). Le résultat est une fusion confuse des modalités dans un espace commun, nuisant aux performances de diagnostic fin.

2. Méthodologie : Décomposition de l'Information et MoE

Pour résoudre ce problème, les auteurs proposent M-IDoL, un modèle de fondation auto-supervisé qui introduit une stratégie de décomposition de l'information. L'objectif est de maximiser l'information mutuelle intra-modalement tout en éliminant la redondance partagée inter-modale.

A. Formulation Théorique

Au lieu d'estimer directement l'information mutuelle multivariée (difficile et instable), M-IDoL reformule l'objectif d'apprentissage en deux termes basés sur l'entropie :

1. Maximisation de l'entropie inter-modale ($H(X|Z)$) : S'assurer que la représentation $X$ d'une image contient des informations qui ne sont pas prévisibles à partir des représentations $Z$ d'autres modalités. Cela force la séparation des modalités.
2. Minimisation de l'incertitude intra-modalement ($H(X|Y, Z)$) : Réduire l'incertitude prédictive entre deux vues augmentées ($X$ et $Y$) d'une même image, une fois les informations des autres modalités ($Z$) prises en compte. Cela encourage le modèle à se concentrer sur les statistiques d'imagerie stables et les détails sémantiques fins propres à la modalité, plutôt que sur le bruit d'augmentation.

B. Architecture Technique : Projecteur MoE (Mixture of Experts)

Pour implémenter cette décomposition sans étiquettes de modalités explicites, M-IDoL utilise un projecteur MoE (Mixture of Experts) après l'encodeur visuel :

• Composants : Un routeur et $N$ experts (où $N$ correspond au nombre de modalités, ici 5).
• Fonctionnement : Le routeur assigne dynamiquement chaque image à un expert spécifique (sous-espace latent) correspondant à sa modalité.
• Deux fonctions de perte principales :
  1. Perte de cohérence de routage ($L_{route}$) : Elle force les vues augmentées d'une même image à être routées vers le même expert, tout en assurant une répartition équilibrée des experts (via l'algorithme Sinkhorn-Knopp). Cela pousse les représentations de modalités différentes vers des sous-espaces MoE distincts, maximisant ainsi $H(X|Z)$.
  2. Perte contrastive intra-modalement ($L_{cst}$) : Basée sur InfoNCE, elle rapproche les représentations de vues augmentées d'une même image au sein du même sous-espace expert. Cela minimise $H(X|Y, Z)$ en réduisant le bruit d'augmentation tout en préservant la diversité sémantique fine.

L'objectif global est la somme de ces deux pertes : $L_{M-IDoL} = L_{route} + L_{cst}$.

3. Contributions Clés

• Nouvelle approche de décomposition : Introduction d'une stratégie théorique pour éliminer la redondance partagée dans l'apprentissage contrastif unifié, transformant un problème d'estimation d'information mutuelle complexe en objectifs d'entropie gérables.
• Architecture MoE adaptative : Conception d'un projecteur MoE qui apprend à séparer automatiquement les modalités sans nécessiter d'étiquettes de modalités pendant l'entraînement préliminaire, permettant une spécialisation visuelle adaptative.
• Performance supérieure : Démonstration que la séparation explicite des modalités améliore à la fois la spécificité inter-modale et la diversité intra-modalement, surpassant les modèles unifiés et même certains modèles spécifiques à une modalité.

4. Résultats Expérimentaux

Le modèle a été pré-entraîné sur 1,15 million d'images médicales non étiquetées couvrant 5 modalités (Radiographie, Fond d'œil, OCT, Dermatologie, Histopathologie).

• Benchmark : Évalué sur 21 tâches cliniques en aval (classification, segmentation, détection).
• Comparaison avec les modèles spécifiques : M-IDoL a surpassé ou égalé les modèles de pointe spécifiques à une modalité (ex: RETFound pour l'ophtalmologie, Virchow pour la pathologie) sur la plupart des jeux de données, prouvant qu'un modèle unifié peut atteindre une granularité fine comparable aux modèles spécialisés.
• Comparaison avec les MFMs unifiés : M-IDoL a dépassé de manière significative (plus de 6% sur certains jeux de données) les modèles unifiés existants comme UniMed, LVM-Med et UniMiss+.
• Visualisation (t-SNE) : Les visualisations montrent une séparation nette des clusters entre les modalités (spécificité) et une structure fine à l'intérieur de chaque cluster (diversité), contrairement aux modèles unifiés classiques où les modalités sont mélangées.

5. Signification et Impact

M-IDoL représente une avancée majeure pour les modèles de fondation en médecine. Il démontre que l'unification des modalités ne doit pas se faire au prix de la perte d'information spécifique. En introduisant la décomposition de l'information, le papier propose un cadre théorique et pratique pour apprendre des représentations qui sont à la fois universelles (grâce à l'apprentissage sur toutes les modalités) et spécifiques (grâce à la séparation des sous-espaces). Cela permet d'améliorer la robustesse et la précision des modèles d'IA médicale pour des tâches de diagnostic complexes nécessitant une compréhension fine des nuances visuelles propres à chaque type d'imagerie.