K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging

Le papier présente K-MaT, un cadre d'apprentissage par prompt qui utilise le transport optimal de Gromov-Wasserstein pour transférer les structures décisionnelles des modèles vision-langage biomédicaux vers des modalités d'imagerie de faible qualité sans nécessiter d'images d'entraînement, surmontant ainsi les limitations des méthodes actuelles et atteignant des performances de pointe sur plusieurs tâches médicales.

L'essentiel

🏥 Le Problème : L'Expert qui oublie tout en changeant de salle

Imaginez un médecin expert (notre modèle d'intelligence artificielle) qui a passé des années à étudier des scanners 3D ultra-précis (les images "haut de gamme" comme le CT ou l'IRM). Il est un génie pour détecter des tumeurs sur ces images détaillées.

Le problème ? On lui demande soudainement de travailler dans un dispensaire de campagne où l'on n'a que des radiographies simples ou des échographies (les images "bas de gamme"). Ces images sont floues, moins détaillées et ressemblent très peu aux scanners.

Si on demande à notre expert de s'adapter directement :

1. Soit il devient confus et fait des erreurs bêtes.
2. Soit il essaie de trouver des indices dans les radiographies qui ressemblent à ceux des scanners, mais qui n'existent pas. Il "hallucine" et oublie tout ce qu'il savait vraiment sur la maladie. C'est ce qu'on appelle l'oubli catastrophique : il perd sa sagesse médicale pour essayer de s'adapter à un outil qu'il ne maîtrise pas.

💡 La Solution : K-MaT (Le Pont de Connaissance)

Les chercheurs ont créé K-MaT pour résoudre ce problème. Imaginez-le comme un traducteur diplomatique très intelligent qui aide l'expert à garder ses connaissances tout en apprenant à utiliser le nouveau matériel, sans jamais avoir vu de nouvelles photos de dispensaire (c'est ce qu'on appelle le "zero-shot").

Voici comment K-MaT fonctionne, étape par étape, avec des analogies simples :

1. Le Dictionnaire Commun (Ancrage de Connaissance)

Au lieu de laisser l'expert deviner à quoi ressemble une tumeur sur une échographie, K-MaT lui donne un livre de médecine écrit par une IA très savante (un LLM).

• L'analogie : Imaginez que l'expert a un manuel qui dit : "Une tumeur maligne ressemble à une pierre irrégulière avec des bords pointus". Ce texte est le même, que ce soit sur un scanner ou une échographie.
• Le rôle de K-MaT : Il attache (ou "ancre") les nouvelles instructions de l'expert à ce texte médical fiable. Ainsi, même si l'image change, la signification de la maladie reste la même. L'expert ne peut pas s'éloigner de la vérité médicale.

2. La Danse des Formes (Transport Optimal FGW)

C'est la partie la plus magique. K-MaT ne se contente pas de comparer les images. Il compare la structure des relations entre les maladies.

• L'analogie : Imaginez un orchestre. Sur le scanner (haut de gamme), les instruments jouent une symphonie complexe. Sur l'échographie (bas de gamme), les instruments sont différents et le son est plus simple.
  • Les méthodes habituelles essaient de copier la mélodie exacte, ce qui échoue.
  • K-MaT utilise une technique appelée Transport Optimal. Il dit : "Peu importe le son, si le violon est à gauche du piano sur le scanner, alors le violon doit rester à gauche du piano sur l'échographie."
• Il force la structure des nouvelles connaissances à mimer la structure des anciennes connaissances. Il préserve la "géographie" des maladies : la relation entre "cancer du sein" et "kyste bénin" reste la même, même si les images sont floues.

3. Le Résultat : Un Expert Polyvalent

Grâce à cette méthode, l'expert :

• Garde son diplôme de spécialiste du scanner (il ne l'oublie pas).
• Apprend à lire les échographies en se basant sur la logique médicale (le texte) et la structure des relations (la danse), sans avoir besoin de milliers de nouvelles photos d'échographies pour s'entraîner.

🏆 Pourquoi c'est une révolution ?

Dans les tests, les anciennes méthodes (comme CoOp) agissaient comme un étudiant qui, en changeant de salle d'examen, paniquait et obtenait 27 % de bonnes réponses. K-MaT, lui, a obtenu 38 % (et bien plus sur d'autres tâches), en maintenant une performance stable.

En résumé :
K-MaT est comme un guide touristique intelligent qui, au lieu de vous montrer des photos du nouveau pays (les images bas de gamme), vous donne une carte mentale précise basée sur la géographie réelle (le texte médical) et vous apprend à naviguer en vous assurant que les montagnes restent des montagnes, même si elles sont dessinées avec des crayons différents.

C'est une façon élégante de dire : "Ne changez pas votre cerveau, changez juste votre façon de voir le monde en respectant la logique profonde de ce que vous savez."

Résumé technique

1. Problématique

Le domaine de l'imagerie médicale par apprentissage profond souffre d'une dégradation significative des performances lors des transferts inter-modaux (cross-modal transfer). Les modèles entraînés sur des modalités de haute qualité (sources, ex. : IRM, CT) échouent souvent à généraliser vers des modalités de première ligne plus accessibles mais de qualité inférieure (cibles, ex. : radiographie, échographie).

• Le défi principal : Les modèles tendent à développer des "raccourcis" spécifiques à la modalité (modality-specific shortcuts) et subissent un oubli catastrophique (catastrophic forgetting) des connaissances diagnostiques sémantiques partagées lorsqu'ils sont adaptés aux modalités cibles.
• Limites des approches existantes : Les méthodes d'apprentissage par prompt (comme CoOp, BiomedCoOp) optimisées uniquement sur la modalité source finissent par surapprendre les statistiques visuelles de cette source, perdant ainsi la capacité de diagnostiquer correctement sur la modalité cible, surtout dans un régime zero-shot strict (sans images d'entraînement de la modalité cible).

2. Méthodologie : K-MaT

Les auteurs proposent K-MaT (Knowledge-Anchored Manifold Transport), un cadre d'apprentissage par prompt conçu pour transférer les structures décisionnelles d'une modalité haute vers une modalité basse sans utiliser d'images d'entraînement de la modalité basse.

Le modèle repose sur un backbone VLM biomédical gelé (BiomedCLIP) et introduit trois mécanismes clés :

A. Factorisation des Prompts

Pour chaque classe $i$ et modalité $m$ (Haute $H$ ou Basse $L$), le prompt textuel est factorisé en vecteurs contextuels appris :
$$t_{i,m} = [v^1_{i,m}, v^2_{i,m}, v^3_{i,m}, v^4_{i,m}, c_i]$$
Cela permet d'apprendre des contextes spécifiques à la classe (CSC) et spécifiques à la modalité (MSC), évitant ainsi l'interférence entre les modalités.

B. Ancrage Sémantique (Space Anchoring)

Pour empêcher les prompts appris de dériver vers des statistiques purement visuelles et oublier le sens clinique :

• Un grand modèle de langage (LLM) génère automatiquement des descriptions textuelles cliniques pour chaque classe.
• Ces descriptions servent de prototypes textuels fixes ($\bar{p}_{i,m}$).
• Une perte d'ancrage ($L_{anc}$) est introduite pour minimiser la distance euclidienne entre les embeddings de prompts appris et ces prototypes LLM, assurant que les connaissances restent ancrées dans la sémantique clinique.

C. Alignement de Variété par Transport Optimal (FGW)

C'est le cœur de l'innovation pour le transfert inter-modal :

• L'objectif est d'aligner la variété (manifold) des prompts de la modalité basse sur celle de la modalité haute, qui est ancrée par les connaissances textuelles.
• Les auteurs utilisent le Transport Optimal Fused Gromov-Wasserstein (FGW).
• Cette méthode agit comme un régularisateur structurel : elle force la structure relationnelle géométrique des prompts de la modalité basse à refléter strictement celle de la modalité haute.
• Contrairement aux méthodes classiques, cela permet de transférer la structure décisionnelle sans avoir besoin d'images visuelles de la modalité basse pendant l'entraînement.

Fonction de perte globale :
$$L = L_{ce} + \lambda_{anc}L_{anc} + \lambda_{fgw}L_{fgw}$$
Où $L_{ce}$ est la perte d'entropie croisée sur les données de la modalité haute, et les termes $\lambda$ pondèrent l'ancrage et l'alignement.

3. Contributions Clés

1. Stratégie de transfert asymétrique strict zero-shot : Utilisation exclusive de données visuelles haute qualité et de descriptions textuelles générées par LLM, éliminant le besoin de données d'entraînement visuelles pour la modalité cible.
2. Contrainte d'ancrage sémantique : Utilisation de prototypes textuels LLM pour prévenir la dérive sémantique et l'oubli catastrophique des connaissances générales.
3. Alignement de variété par FGW : Une nouvelle fonction objectif qui aligne la géométrie relationnelle des prompts cibles sur la source, préservant les structures diagnostiques partagées.
4. Validation robuste : Démonstration sur quatre benchmarks inter-modaux complexes (Dermoscopie $\to$ Clinique, Mammographie $\to$ Échographie, CT $\to$ Radiographie thoracique).

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre paires de jeux de données médicaux. K-MaT a surpassé tous les états de l'art (BiomedCLIP, CoOp, CoCoOp, BiomedCoOp).

• Performance globale : K-MaT atteint une moyenne harmonique (H) de 44,1 % pour la précision (contre 42,0 % pour BiomedCoOp) et 36,2 % pour le macro-F1.
• Cas critique (Imagerie mammaire) :
  • Les méthodes standards comme CoOp s'effondrent sur la modalité basse (Échographie), chutant à 27,0 % de précision (oubli catastrophique).
  • K-MaT maintient une précision de 38,4 % sur la modalité basse tout en conservant une bonne performance sur la source, obtenant un score H de 50,3 %.
• Analyse d'ablation :
  • L'ajout de l'ancrage ($L_{anc}$) améliore la fidélité sémantique.
  • L'ajout du FGW ($L_{fgw}$) est crucial pour restaurer la structure décisionnelle, augmentant significativement la performance sur la modalité cible.
  • La modularisation des contextes (CSC/MSC) est essentielle pour éviter l'interférence entre modalités.

5. Signification et Conclusion

K-MaT représente une avancée majeure pour le déploiement de modèles VLM médicaux dans des environnements réels où les données de haute qualité sont rares ou coûteuses, mais où les modalités de première ligne sont omniprésentes.

• Impact : La méthode permet un déploiement zero-shot efficace en préservant la connaissance diagnostique fondamentale tout en s'adaptant aux contraintes physiques des nouvelles modalités.
• Limitations : L'amélioration absolue sur les modalités basses reste modeste par rapport au zero-shot pur (BiomedCLIP), et la méthode est sensible aux écarts visuels extrêmes entre modalités qui ne peuvent être comblés uniquement par l'ancrage textuel.
• Perspectives : Les travaux futurs visent à intégrer des signaux visuels plus fiables pour renforcer la stabilité du transfert.

En résumé, K-MaT propose une solution élégante au problème de l'oubli catastrophique en utilisant le transport optimal pour "transporter" la structure de décision d'un domaine riche en données vers un domaine pauvre, sans jamais voir les données de ce dernier.