MedSteer: Counterfactual Endoscopic Synthesis via Training-Free Activation Steering

Le papier présente MedSteer, un cadre d'entraînement gratuit utilisant le guidage d'activation pour synthétiser des images endoscopiques contrefactuelles qui modifient uniquement un concept clinique tout en préservant la structure anatomique, surpassant ainsi les méthodes existantes en génération et en amélioration de la détection de polypes.

L'essentiel

🏥 Le Problème : Le "Recyclage" des Images Médicales

Imaginez que vous êtes un médecin qui veut apprendre à un robot à reconnaître des polypes (de petites excroissances) dans l'intestin. Pour bien apprendre, le robot a besoin de voir des milliers de photos : certaines avec des polypes, d'autres sans.

Le problème, c'est qu'il est très difficile de trouver des photos parfaites où seul le polype change.

• Si vous prenez une photo d'un patient A avec un polype et une photo d'un patient B sans polype, le robot va aussi apprendre les différences entre les deux patients (la couleur de la peau, la forme de l'intestin, la lumière). C'est comme essayer d'apprendre à reconnaître une pomme rouge en comparant une pomme sur une table en bois et une pomme sur un tapis vert. Le robot va se tromper en pensant que la table est importante !

Les ordinateurs actuels (les modèles d'IA générative) peuvent créer des images, mais si vous leur demandez de changer "polype" en "normal", ils tout recommencent de zéro. C'est comme si vous demandiez à un chef de cuisine de transformer un plat de pâtes en salade : il jette tout et recrée un nouveau plat. La forme, la sauce et le décor changent complètement. Le robot perd alors le contexte anatomique.

🚀 La Solution : MedSteer, le "Télécommande de Réalité"

Les auteurs proposent MedSteer, une méthode magique qui permet de modifier une image médicale sans tout casser. Imaginez que l'IA est un orchestre symphonique complexe jouant une partition (l'image).

1. L'ancienne méthode (Inversion) : C'est comme essayer de réécrire une note dans une partition déjà jouée en effaçant le papier. On fait des erreurs, la musique devient fausse, et le reste de l'orchestre se décale.
2. La méthode MedSteer : C'est comme avoir une télécommande qui peut modifier un seul instrument (le polype) pendant que l'orchestre joue, sans toucher aux autres musiciens (l'anatomie, le fond, la texture).

🔍 Comment ça marche ? (L'Analogie du "Boussole Médicale")

MedSteer fonctionne en trois étapes simples, sans avoir besoin d'entraîner l'IA à nouveau (ce qui est long et coûteux) :

1. Trouver la "Boussole" (L'Estimation de la Vecteur)

L'IA regarde deux phrases très similaires :

• Phrase A : "Une image d'un polype teinté."
• Phrase B : "Une image d'un polype (sans teinture)."

En comparant comment l'IA "pense" pour ces deux phrases, elle trace une flèche invisible (un vecteur) qui pointe exactement vers la différence : la teinture. C'est comme si elle trouvait la boussole qui indique uniquement "où se trouve la teinture" dans l'esprit de l'IA.

2. Le "Vol Guidé" (Le Pilotage)

Quand l'IA va créer une nouvelle image, elle suit un chemin (une trajectoire) pour dessiner l'intestin.

• Normalement, elle dessine tout naturellement.
• Avec MedSteer, à chaque étape du dessin, on prend cette boussole et on dit : "Hé, on veut enlever la teinture !"
• L'IA ajuste alors uniquement les pixels liés à la teinture, en suivant la boussole, tout en laissant le reste de l'image (la forme de l'intestin, les plis, la lumière) exactement comme il était.

3. Le Résultat : Des Jumeaux Parfaits

Le résultat est une paire d'images "contre-factuelles" :

• Image 1 : Un polype teinté.
• Image 2 : Le même polype, mais sans teinture.
  Tout est identique, sauf la couleur. C'est comme si vous aviez pris une photo, puis vous aviez utilisé un filtre photo pour changer la couleur, mais en 3D et en gardant la structure parfaite.

🎯 Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé MedSteer sur des images réelles d'endoscopie (caméras dans l'intestin) et ont obtenu des résultats incroyables :

• Précision chirurgicale : Contrairement aux autres méthodes qui "floutent" ou déforment l'image, MedSteer garde l'anatomie intacte à 100%. C'est comme changer la couleur d'une voiture sans changer sa forme.
• Apprentissage des médecins : Quand ils ont utilisé ces images pour entraîner un détecteur de polypes, la précision a bondi de 90% à 97,5%. Cela prouve que le robot a appris à voir la maladie, et non pas juste les différences de fond.
• Suppression de la teinture : Ils ont même réussi à enlever la teinture bleue utilisée par les chirurgiens pour mieux voir les tissus, ce qui est impossible avec les méthodes actuelles qui mélangent tout.

💡 En Résumé

MedSteer, c'est comme avoir un stylo correcteur intelligent pour les images médicales. Au lieu de tout effacer et de redessiner (ce qui crée des erreurs), il efface uniquement ce que vous voulez (la maladie ou la teinture) et laisse le reste de l'image parfaitement intact.

C'est une révolution pour l'IA médicale car cela permet de créer des données d'entraînement parfaites, sans avoir besoin de milliers de photos réelles, et sans risque de tromper le robot avec des détails inutiles.

Résumé technique

1. Problématique

L'analyse d'images endoscopiques souffre d'un défi majeur : entraîner des détecteurs de pathologies qui se concentrent sur les caractéristiques spécifiques de la maladie plutôt que sur des facteurs confondants (anatomie, texture, arrière-plan).

• Limites des approches actuelles :
  • Ré-prompting (Re-prompting) : Changer le texte d'une image générée (ex: de "polype" à "normal") redémarre toute la trajectoire de génération, modifiant l'anatomie et le fond, ce qui rend les paires d'images non comparables.
  • Édition basée sur l'inversion (Inversion-based) : Les méthodes existantes utilisent l'inversion DDIM pour partir d'une image source. Cette approche est une approximation qui introduit des erreurs de reconstruction et un "drift" (dérive) structurel, empêchant une préservation parfaite de l'anatomie non ciblée. De plus, certaines méthodes nécessitent des annotations de masques par région.

L'objectif est de générer des paires d'images contrefactuelles (une pathologique, une saine) où seule la pathologie change, tandis que le reste de l'image (anatomie, texture, arrière-plan) reste strictement identique, sans nécessiter d'images sources ni de réentraînement.

2. Méthodologie : MedSteer

MedSteer est un cadre de travail sans entraînement (training-free) qui utilise le "steering" (pilotage) des activations dans un transformateur de diffusion (DiT) figé.

A. Estimation du Vecteur de Pathologie (Offline)

1. Conception de prompts contrastifs : Pour chaque concept clinique (ex: "polype teinté" vs "polype"), le système génère des paires de prompts positifs et négatifs en variant le contexte et les graines aléatoires.
2. Extraction de vecteurs : Le modèle figé effectue des passes avant. Les caractéristiques de l'attention croisée (Cross-Attention - CA) sont collectées, moyennées sur plusieurs graines et tokens spatiaux.
3. Calcul du vecteur : Un vecteur unitaire de pathologie ($v_{l,t}$) est obtenu en soustrayant et normalisant la différence entre les moyennes des caractéristiques des prompts positifs et négatifs. Ce vecteur capture la différence sémantique pure attribuable à la pathologie, indépendamment de l'image spécifique.

B. Pilotage Spatial Sélectif (SSPS) lors de l'Inférence

Contrairement aux méthodes d'inversion, MedSteer génère les deux images (source et contrefactuelle) à partir de zéro avec la même graine de bruit.

• Intervention : Lors de la génération de l'image contrefactuelle, le système intervient sur les sorties de l'attention croisée à des couches spécifiques ($L_s$ à $L_e$).
• Porte de similarité cosinus (CSG) : Au lieu de soustraire un scalaire global, le système calcule la similarité cosinus (ou le produit scalaire) entre l'activation de chaque token visuel ($h_{l,t}$) et le vecteur de pathologie ($v_{l,t}$).
  • Seuls les tokens fortement alignés avec la pathologie sont ciblés.
  • La mise à jour de l'activation se fait par : $h'_{l,t} = h_{l,t} - \alpha \cdot \sigma_{l,t} \cdot v_{l,t}$.
• Résultat : Cela supprime la composante alignée avec la pathologie tout en préservant les composantes orthogonales (anatomie, texture). Comme les deux branches partagent la même graine de bruit, toute différence structurelle non désirée est éliminée par construction.

3. Contributions Clés

1. Mécanisme de steering sans entraînement : Une approche qui ne nécessite ni fine-tuning, ni images sources, ni annotations de masques. Elle fonctionne directement sur les étiquettes de classes médicales entrelacées.
2. Génération contrefactuelle "Inversion-Free" : Création de paires d'images à partir d'une même trajectoire de bruit, garantissant une préservation structurelle parfaite des éléments non ciblés.
3. Interprétabilité spatiale intégrée : La porte de similarité cosinus ($\sigma_{l,t}$) fournit une carte visuelle explicite de l'endroit et du moment où le modèle modifie l'image à chaque étape de diffusion, ce qui manque aux approches basées sur l'inversion.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les jeux de données Kvasir v3 et HyperKvasir.

• Détection de polypes en aval :
  • L'augmentation des données avec MedSteer a permis d'atteindre un AUC de 0,9755 (avec ViT), surpassant largement le ré-prompting (0,9083) et les méthodes d'édition basées sur l'inversion (PnP : 0,9518, h-Edit : 0,9312). Cela confirme que la structure contrefactuelle préservée améliore l'apprentissage des caractéristiques pathologiques.
• Génération contrefactuelle (Taux de retournement) :
  • MedSteer a obtenu des taux de flip (changement de classe) de 0,800, 0,925 et 0,950 pour trois paires de concepts cliniques, surpassant les baselines.
  • La préservation de l'arrière-plan (mesurée par Bg-LPIPS, Bg-SSIM, Bg-PSNR) est nettement supérieure, car il n'y a pas d'erreur de reconstruction DDIM.
• Désentanglement de la teinture (Dye Disentanglement) :
  • Dans un scénario où un polype est teinté et qu'il n'existe pas de contrepartie "non teinte" dans les données d'entraînement, MedSteer a réussi à retirer la teinture avec un taux de détection de teinture (DDR) de 25% (contre 80-90% pour les autres méthodes), tout en préservant la morphologie du polype.

5. Signification et Impact

MedSteer représente une avancée significative pour l'IA médicale générative :

• Fiabilité clinique : En garantissant que seules les caractéristiques pathologiques changent, il permet de créer des données d'entraînement de haute qualité pour des détecteurs robustes, évitant les biais liés à l'anatomie.
• Efficacité et Accessibilité : Le fait d'être "training-free" le rend applicable même avec des données médicales annotées rares, car il n'a pas besoin de réentraîner le modèle de diffusion.
• Interprétabilité : La capacité à visualiser où et comment la pathologie est supprimée offre un niveau de transparence crucial pour l'adoption clinique de l'IA.

En résumé, MedSteer résout le compromis entre la modification de concepts et la préservation structurelle dans la synthèse d'images endoscopiques, offrant une méthode supérieure pour la génération de données contrefactuelles et l'augmentation de données.