When Background Matters: Breaking Medical Vision Language Models by Transferable Attack

1. Problématique et Contexte

Les modèles de vision-langage (VLM) sont de plus en plus utilisés dans le diagnostic clinique pour interpréter des images médicales complexes et générer des rapports experts. Cependant, leur robustesse face aux attaques adverses reste largement inexplorée, ce qui pose des risques critiques pour la sécurité des patients.

Les travaux existants souffrent de plusieurs limitations :

• Attaques non transférables ou peu discrètes : Les attaques transférables issues d'images naturelles introduisent souvent des distorsions visibles, facilement détectables par les cliniciens sur des images médicales (souvent en niveaux de gris ou à palette étroite).
• Objectifs secondaires : De nombreuses recherches se concentrent sur le vol de modèle ou le fine-tuning adversarial plutôt que sur la compromission directe de l'intégrité du diagnostic.
• Manque d'attaques "boîte noire" réalistes : Il n'existe pas de méthode capable de générer des attaques furtives, transférables et fonctionnant en boîte noire (sans accès aux paramètres du modèle cible) qui induisent des diagnostics erronés mais cliniquement plausibles.

L'objectif de cet article est de combler ce vide en exploitant une vulnérabilité fondamentale : le mécanisme d'attention visuelle des modèles, en particulier leur tendance à se focaliser sur des indices non diagnostiques (le fond) lorsqu'ils sont perturbés.

2. Méthodologie : MedFocusLeak

MedFocusLeak est une attaque multimodale noire (black-box) hautement transférable conçue pour détourner le raisonnement diagnostique des VLM médicaux. Elle repose sur quatre principes techniques clés :

A. Restriction aux zones non diagnostiques (Background Constrained Perturbation)

Contrairement aux attaques traditionnelles qui perturbent l'image entière, MedFocusLeak utilise MedSAM (Segment Anything Model médical) pour segmenter et masquer les régions d'intérêt clinique (foreground). Les perturbations sont strictement confinées aux zones de fond non diagnostiques. Cela garantit que les modifications sont imperceptibles visuellement et ne dégradent pas la qualité de l'image médicale essentielle.

B. Représentation Adversariale Multimodale

L'attaque ne se contente pas de modifier l'image. Elle génère une graine adversariale multimodale :

1. Texte : Un prompt adversarial cible est généré (via un LLM comme GPT-4) pour définir un diagnostic erroné mais plausible.
2. Image : Une image perturbée est créée en superposant des perturbations coordonnées sur le fond.
3. Optimisation conjointe : L'algorithme alterne entre l'optimisation des perturbations d'image (via la descente de gradient projetée) et la modification des tokens de texte (par substitution gourmande) pour maximiser la disruption des représentations de fusion croisée (image-texte) tout en préservant la cohérence sémantique.

C. Mécanisme de Distraction de l'Attention (Attention-Shift Loss)

C'est le cœur de l'innovation. L'attaque introduit une fonction de perte spécifique (Attention Distraction Loss) qui force le modèle à déplacer son attention visuelle des régions pathologiques critiques vers les zones de fond perturbées.

• La perte calcule le rapport entre l'attention accordée au fond (perturbé) et celle accordée au premier plan (diagnostique).
• En minimisant cette perte, l'attaque incite le modèle à ignorer les preuves pathologiques réelles et à se fier aux indices visuels artificiels introduits dans le fond, conduisant à un diagnostic incorrect.

D. Évaluation Unifiée

Les auteurs introduisent un cadre d'évaluation avec de nouvelles métriques :

• MTR (Medical Text Adversarial Score) : Évalue la plausibilité clinique de l'erreur générée (via un juge LLM).
• AvgSim : Mesure la similarité visuelle entre l'image originale et l'image perturbée (finesse de l'attaque).
• MAS (Medical Attack Score) : Une métrique unifiée combinant MTR et AvgSim pour récompenser les attaques à la fois efficaces et furtives.

3. Résultats Expérimentaux

Les expériences ont été menées sur six modalités d'imagerie médicale (Radiographie, CT, IRM, Dermoscopie, Mammographie, Échographie) et six modèles VLM (modèles open-source comme QwenVL et InternVL, modèles spécialisés comme MedVLM-R1, et modèles fermés comme GPT-5 et Gemini 2.5 Pro).

• Performance Supérieure : MedFocusLeak surpasse systématiquement les méthodes de référence (AttackVLM, M-Attack, FOA-Attack, etc.).
  • Sur InternVL-8B, le score MAS atteint 0.670 contre 0.523 pour le meilleur concurrent.
  • Sur GPT-5, le score MAS est de 0.400, soit presque le double du meilleur baseline (0.225).
• Transférabilité : L'attaque fonctionne efficacement sur des modèles qu'elle n'a jamais vus durant l'entraînement (transfert de modèles substituts vers des modèles cibles fermés).
• Furtivité : Les perturbations restent imperceptibles, avec un score de similarité moyenne (AvgSim) élevé (> 0.85), ce qui signifie que les cliniciens humains ne remarquent pas la modification de l'image.
• Robustesse aux Défenses : L'attaque résiste à des transformations défensives courantes comme le bruit gaussien et la compression JPEG (Comdefend).
• Études de Cas : L'article montre des exemples où un diagnostic de tumeur potentielle est inversé en "image normale", ou où une lésion bénigne est classée comme un mélanome malin, démontrant le danger potentiel de telles erreurs.

4. Contributions Clés

1. Première étude systématique des attaques adverses transférables dans le contexte spécifique des VLM médicaux sous hypothèse de boîte noire réaliste.
2. Proposition de MedFocusLeak, un cadre d'attaque multimodal qui manipule l'attention du modèle via des perturbations de fond, garantissant la furtivité visuelle tout en induisant des erreurs de raisonnement critiques.
3. Développement d'un cadre d'évaluation unifié (MTR, AvgSim, MAS) et d'une évaluation humaine par des experts médicaux, révélant une faiblesse critique dans les capacités de raisonnement des VLM cliniques modernes.

5. Signification et Impact

Ce travail met en lumière une vulnérabilité fondamentale des systèmes d'IA médicale : leur dépendance excessive à des indices visuels contextuels (le fond) qui peuvent être manipulés pour détourner l'attention du modèle.

• Sécurité Clinique : Il démontre que des attaques furtives peuvent induire des diagnostics erronés potentiellement mortels sans alerter les cliniciens humains, soulignant l'urgence de développer des défenses robustes.
• Défense Proactive : En rendant publique cette vulnérabilité et le code associé, les auteurs visent à catalyser le développement de modèles plus sûrs et à prévenir l'exploitation malveillante de ces failles.
• Limites : L'auteur note que le coût computationnel est plus élevé que les baselines et que l'efficacité dépend de la capacité à segmenter correctement le fond (ce qui peut être difficile sur certaines modalités comme les lames de pathologie où le fond est limité).

En conclusion, MedFocusLeak prouve que la sécurité des VLM médicaux ne peut être garantie uniquement par la robustesse de l'image, mais doit également prendre en compte la vulnérabilité des mécanismes d'attention et de raisonnement multimodal face à des perturbations subtiles et ciblées.