Triggering hallucinations in model-based MRI reconstruction via adversarial perturbations

Cette étude démontre que les modèles génératifs utilisés pour la reconstruction d'images IRM sont hautement vulnérables à de petites perturbations adverses qui provoquent des hallucinations indétectables par les métriques de qualité traditionnelles, soulignant ainsi la nécessité de développer de nouvelles méthodes de détection et d'entraînement robuste.

L'essentiel

🧠 Le Problème : L'IA qui "rêve" trop

Imaginez que vous allez chez le médecin pour une IRM (une photo très précise de l'intérieur de votre corps). Souvent, pour aller plus vite et éviter que vous restiez trop longtemps dans la machine, les médecins ne prennent pas toutes les données possibles. C'est comme essayer de reconstituer un puzzle en ayant seulement la moitié des pièces.

Pour combler les trous, ils utilisent des Intelligences Artificielles (IA) très puissantes. Ces IA sont comme des artistes géniaux : elles regardent les pièces manquantes et "devinent" ce qui devrait s'y trouver pour rendre l'image belle et nette.

Le problème ? Parfois, ces IA sont trop créatives. Au lieu de simplement deviner, elles inventent des choses qui n'existent pas. C'est ce qu'on appelle une hallucination.

• Analogie : C'est comme un restaurateur qui, en voyant une photo floue d'un visage, décide d'ajouter une moustache parce que ça lui semble "cohérent", alors que la personne n'en a pas. En médecine, si l'IA invente une tumeur ou efface une fracture, le diagnostic sera faux et dangereux pour le patient.

🎭 L'Expérience : Comment faire "rêver" l'IA ?

Les chercheurs de cet article (Suna, Yvan et Jonathan) se sont demandé : "À quel point ces IA sont-elles fragiles ? Peut-on les tromper facilement pour qu'elles inventent des choses ?"

Pour répondre, ils ont créé une attaque invisible.

• L'analogie du bruit de fond : Imaginez que vous écoutez une chanson. Si vous ajoutez un tout petit peu de bruit blanc (un chuchotement inaudible), l'oreille humaine ne le remarque pas. Mais si vous le faites avec une fréquence très précise, cela peut faire chanter faux un chanteur professionnel.
• Ce qu'ils ont fait : Ils ont ajouté un "bruit" mathématique imperceptible aux données brutes de l'IRM (avant même que l'image ne soit dessinée). Ce bruit ressemble à du hasard, mais il est calculé pour piéger l'IA.

Le résultat est effrayant :
En ajoutant ce tout petit bruit, ils ont réussi à faire apparaître des détails totalement faux sur l'image reconstruite.

• Sur un cerveau : l'IA a dessiné un sillon (un pli du cerveau) qui n'existait pas.
• Sur un genou : l'IA a effacé une déchirure du ménisque qui était pourtant bien là.
  L'IA a été "coaxée" (poussée) à halluciner juste avec un souffle de données.

🕵️‍♂️ Le Détective : Peut-on repérer le mensonge ?

La question suivante était cruciale : "Si l'IA a halluciné, peut-on le savoir en regardant les chiffres de qualité de l'image ?"

Habituellement, pour vérifier si une photo est bonne, on utilise des règles mathématiques (comme la netteté ou la ressemblance avec une image de référence).

• L'expérience : Les chercheurs ont comparé les images "normales" et les images "piégées" (avec hallucinations) en utilisant ces règles classiques.
• La mauvaise nouvelle : Les règles classiques ont échoué. Les images piégées avaient des scores de qualité presque identiques aux images normales. C'est comme si un faux tableau de maître était si bien peint qu'un expert ne pouvait pas le distinguer du vrai en regardant juste la brillance de la peinture.

Cela signifie qu'aujourd'hui, il n'existe pas de méthode simple pour dire "Attention, cette image médicale contient un mensonge de l'IA".

💡 La Conclusion et la Solution

Ce papier nous dit deux choses importantes :

1. Fragilité : Les IA médicales actuelles sont très instables. Un petit bruit, une interférence électromagnétique ou une erreur de mesure peut suffire à les faire halluciner.
2. Urgence : On ne peut pas se fier aux méthodes actuelles pour détecter ces erreurs.

La solution proposée ?
Au lieu de simplement essayer de "détecter" le mensonge (ce qui est très dur), il faut entraîner l'IA à résister au mensonge.

• Analogie : C'est comme un vaccin. On expose l'IA à des milliers de "faux" bruits et d'erreurs pendant son entraînement pour qu'elle apprenne à ne pas se laisser tromper. C'est ce qu'on appelle l'entraînement adversaire.

En résumé, cette étude est un signal d'alarme : nos outils d'imagerie médicale sont de plus en plus puissants, mais ils sont aussi de plus en plus sujets à des illusions dangereuses qu'il est très difficile de repérer. Il faut maintenant les rendre plus robustes avant de les utiliser partout.

Résumé technique

1. Problématique

L'article aborde un problème critique dans l'imagerie médicale moderne : la fiabilité des modèles génératifs (basés sur l'apprentissage profond) utilisés pour reconstruire des images de résonance magnétique (IRM) à partir de données sous-échantillonnées.

• Le contexte : Les scanners IRM accélèrent l'acquisition des données (pour réduire le temps d'examen et le coût), ce qui conduit à des problèmes d'inversion linéaire mal posés. Les méthodes classiques (comme FISTA) sont théoriquement garanties, mais les méthodes basées sur des réseaux de neurones (comme UNet et VarNet) offrent une meilleure qualité visuelle.
• Le danger : Ces modèles génératifs sont sujets aux « hallucinations ». Ils peuvent insérer des structures anatomiques qui n'existent pas dans le patient original ou effacer des pathologies réelles. Dans un contexte médical, cela peut entraîner des diagnostics erronés et mettre en danger la vie des patients.
• Le vide de recherche : Il n'existe actuellement aucune méthode efficace pour détecter ces hallucinations, et la communauté manque d'outils pour quantifier la vulnérabilité de ces modèles face à de petites perturbations.

2. Méthodologie

Les auteurs proposent une attaque par perturbation adverse ciblée conçue pour provoquer délibérément des hallucinations dans les reconstructions IRM.

• Formulation de l'attaque :
  L'objectif est de trouver une perturbation $\delta$ ajoutée aux données brutes de l'espace-k ($z$) qui soit imperceptible à l'œil nu mais qui force le modèle de reconstruction $F$ à générer une image cible $y_t$ contenant un artefact spécifique.
  Le problème d'optimisation résolu est le suivant :
  $$\delta^* = \arg \min_{\delta} \frac{\|m \odot (F(z + \delta) - y_t)\|_2^2}{\|m\|_1} + \frac{\|(1 - m) \odot (F(z + \delta) - F(z))\|_2^2}{\|1 - m\|_1}$$
  Sous la contrainte $\|\delta\|_\infty \le \varepsilon$, où :

  • $m$ est un masque binaire définissant la région de l'hallucination.
  • $y_t$ est l'image cible (l'image originale avec un trait blanc ajouté au centre).
  • Le premier terme force l'insertion de l'artefact dans la zone ciblée.
  • Le second terme assure que le reste de l'image reste fidèle à la reconstruction originale (pour éviter une dégradation globale visible).
  • $\varepsilon$ est le budget de perturbation (très faible, ici $10^{-6}$).

• Implémentation :

  • L'algorithme utilise une méthode itérative inspirée de BIM (Basic Iterative Method).
  • Les perturbations sont appliquées uniquement sur la partie réelle des données de l'espace-k (complexes), car cela s'est avéré suffisant.
  • L'attaque est agnostique au type d'hallucination : elle peut insérer n'importe quel motif (lignes, formes, voire des pathologies réelles d'autres images) tant qu'il peut être rendu efficacement.

• Cadre d'évaluation :

  • Données : Jeu de données fastMRI (images du genou et du cerveau).
  • Modèles attaqués : UNet et E2E-VarNet (End-to-End Variational Network).
  • Métriques : PSNR (Rapport signal sur bruit de crête), NRMSE (Erreur quadratique moyenne normalisée) et SSIM (Indice de similarité structurelle).

3. Contributions Clés

1. Algorithme d'attaque ciblé : Développement d'une méthode capable d'insérer des détails spécifiques (hallucinations) dans des reconstructions IRM via des perturbations imperceptibles dans l'espace-k.
2. Preuve de fragilité : Démonstration que les modèles de pointe (UNet, VarNet) sont extrêmement instables face à de minuscules perturbations, ce qui suggère que le bruit naturel pourrait déjà suffire à générer des hallucinations.
3. Échec des métriques traditionnelles : Mise en évidence du fait que les métriques de qualité d'image standards (PSNR, NRMSE, SSIM) ne permettent pas de distinguer une reconstruction fiable d'une reconstruction contenant des hallucinations.
4. Base pour la détection et la robustesse : Proposition d'un outil pour créer des jeux de données d'entraînement contenant des hallucinations, nécessaires pour entraîner des détecteurs ou améliorer la robustesse par entraînement adversarial.

4. Résultats Expérimentaux

• Succès de l'attaque : L'attaque a réussi à insérer des lignes artificielles dans les reconstructions avec un budget de perturbation extrêmement faible ($\varepsilon = 10^{-6}$). Visuellement, les données d'entrée perturbées sont indiscernables des données originales.
• Impact sur les métriques de reconstruction :
  • Les métriques calculées sur les paires d'images reconstruites (originale vs perturbée) montrent une dégradation significative (baisse du PSNR, augmentation du NRMSE, baisse du SSIM).
  • Cependant, les distributions de ces métriques pour les images "propres" et les images "hallucinées" se chevauchent presque totalement.
• Indétectabilité : L'expérience a consisté à comparer les reconstructions du modèle profond avec celles d'un algorithme classique (Total Variation - TV). Les auteurs ont constaté qu'il est impossible de détecter la présence d'une hallucination en se basant uniquement sur les écarts de PSNR, NRMSE ou SSIM entre la reconstruction profonde et la reconstruction classique. Les distributions des métriques se superposent trop pour permettre une séparation fiable.
• Effets collatéraux : L'analyse qualitative montre que l'insertion d'un détail artificiel provoque souvent d'autres distorsions biologiquement plausibles en dehors de la zone ciblée, augmentant le risque de diagnostic erroné.

5. Signification et Implications

• Risque clinique : La stabilité des modèles d'IRM basés sur l'apprentissage profond est remise en question. Le fait que de simples perturbations (ou du bruit naturel) puissent induire des hallucinations signifie que ces modèles ne sont pas encore prêts pour un déploiement clinique sans garde-fous.
• Limites des approches actuelles : Les métriques de qualité d'image traditionnelles sont inadéquates pour valider la fiabilité diagnostique des reconstructions génératives.
• Voies futures :
  • Il est nécessaire de développer des méthodes de détection certifiées basées sur des principes mathématiques (comme la théorie du compressed sensing) plutôt que sur des apprentissages de détecteurs qui peuvent être contournés.
  • L'entraînement adversarial (utilisant cet algorithme d'attaque pour renforcer le modèle) est suggéré comme une piste pour réduire la prévalence des hallucinations.
  • La recherche doit se concentrer sur la création de mécanismes capables de signaler l'instabilité d'une reconstruction avant qu'elle ne soit utilisée pour un diagnostic.

En conclusion, cet article met en lumière une vulnérabilité fondamentale des modèles d'IA en imagerie médicale, démontrant que l'amélioration de la qualité visuelle ne garantit pas la fiabilité diagnostique, et appelle à une refonte des méthodes de validation et de défense contre les perturbations.