🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

L'article présente GHOST, une méthode automatique qui génère des images naturelles sans objet en optimisant les plongements d'images pour induire et exposer activement les vulnérabilités d'hallucination des modèles de langage multimodaux, atteignant ainsi des taux de réussite nettement plus élevés que les approches précédentes tout en servant également d'outil pour améliorer la robustesse des modèles grâce au réglage fin.

Auteurs originaux : Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : L'IA « Trop Imaginative »

Imaginez que vous avez un assistant robot très intelligent capable de regarder des photos et de décrire ce qu'il voit. Il est excellent pour la plupart des choses, mais il a un bug bizarre : parfois, il voit des choses qui n'existent pas.

Si vous lui montrez la photo d'une banane sur une assiette, il pourrait affirmer avec assurance : « Oui, je vois un couteau à côté de la banane », alors qu'il n'y a aucun couteau. Dans le monde de l'IA, c'est ce qu'on appelle une hallucination. C'est comme une personne qui a tellement envie de faire plaisir ou qui est tellement habituée à certains schémas qu'elle invente des détails pour combler les vides.

L'Ancienne Méthode : Vérifier une Liste Statique

Auparavant, les chercheurs essayaient de trouver ces erreurs en montrant à l'IA une liste fixe de photos (comme un test à choix multiples). Ils demandaient : « Vois-tu un couteau ? » et regardaient si l'IA se trompait.

La Faille : C'est comme tester un conducteur uniquement sur un parking spécifique et vide. Vous pourriez manquer le fait qu'il panique lorsqu'il voit un ballon rouge rouler dans la rue. Les anciens tests étaient trop rigides et ne pouvaient pas trouver de nouvelles ou de bizarres façons dont l'IA pouvait échouer.

La Nouvelle Solution : GHOST (L'Artiste du « Tour de Magie »)

Les auteurs présentent GHOST (Generating Hallucinations via Optimizing Stealth Tokens). Voyez GHOST comme un magicien qui ne se contente pas de montrer une photo à l'IA ; il peint une nouvelle image spécifiquement conçue pour piéger l'IA et lui faire voir un fantôme.

Voici comment fonctionne GHOST, étape par étape :

1. L'Optimisation de l'« Encre Invisible »

GHOST part d'une photo normale (comme la banane sur l'assiette). Il veut faire croire à l'IA qu'il y a un couteau.

Au lieu de dessiner un couteau (ce qui serait évident pour un humain), GHOST travaille dans un « langage secret » appelé embeddings. Imaginez cela comme l'état de rêve interne de l'IA.
GHOST modifie cet état de rêve de manière infime. Il ajoute des indices d'« encre invisible ». Peut-être change-t-il légèrement la courbe de la tige de la banane pour qu'elle ressemble légèrement à un manche de couteau pour l'IA, mais pour un humain, elle ressemble toujours exactement à une banane.

2. Le « Traducteur » (Le Mapper)

Il y a un problème : l'IA qui regarde l'image (le MLLM) parle une langue différente de l'IA qui peint l'image (le Modèle de Diffusion).

GHOST construit un traductur (appelé mapper). Ce traducteur prend les « ajustements de rêve secrets » du peintre et les traduit en instructions que le peintre peut comprendre, sans avoir besoin de demander de l'aide à l'observateur (le MLLM) chaque seconde. Cela rend le processus extrêmement rapide.

3. Le « Peintre de Rêves » (Diffusion)

Une fois les instructions secrètes prêtes, GHOST utilise un Modèle de Diffusion (un type d'IA qui crée des images à partir de bruit) pour peindre l'image finale.

Il part de la photo originale de la banane et « débruite » doucement l'image en fonction des instructions secrètes.
Le Résultat : L'image finale semble 100 % naturelle pour un humain. C'est toujours une banane sur une assiette. Mais pour l'IA, les changements subtils dans l'éclairage ou la forme sont suffisants pour qu'elle s'écrie : « JE VOIS UN COTEAU ! »

Pourquoi est-ce une avancée majeure ?

L'article revendique trois victoires majeures grâce à GHOST :

C'est un Maître Détective :
- Les anciennes méthodes trouvaient environ 1 % des cas d'hallucination.
- GHOST en a trouvé plus de 28 %. C'est comme passer d'un détecteur de métaux qui rate 99 % des pièces à un détecteur qui en trouve presque toutes.
C'est un Piège Universel (Transférabilité) :
- GHOST peut piéger une IA (comme Qwen) puis montrer cette même image « piégée » à une IA totalement différente (comme GPT-4o).
- Le Résultat : La seconde IA hallucine aussi ! Cela prouve que les différentes IA partagent les mêmes angles morts. C'est comme trouver un type spécifique d'illusion d'optique qui trompe à la fois vos yeux et ceux de votre ami, même si vous avez une vision différente.
C'est un Remède, Pas Juste un Test :
- Les auteurs n'ont pas seulement utilisé GHOST pour casser des choses ; ils l'ont utilisé pour les réparer.
- Ils ont pris les images « piégées » créées par GHOST et les ont montrées à l'IA avec la bonne réponse (« Non, il n'y a pas de couteau »).
- Le Résultat : L'IA est devenue meilleure pour ne plus halluciner à l'avenir. C'est comme montrer à un étudiant les questions pièges exactes auxquelles il a mal répondu pour qu'il puisse apprendre la bonne réponse.

L'Essentiel à Retenir

GHOST est un outil qui crée automatiquement des « photos pièges » pour tester la résistance des systèmes de vision par IA. Il prouve que les modèles d'IA actuels sont fragiles et peuvent être facilement trompés par des changements subtils et naturels. Mais plus important encore, il fournit un moyen de trouver ces faiblesses et d'entraîner l'IA pour la rendre plus fiable, garantissant que lorsqu'elle dit qu'elle voit un couteau, elle voit réellement un couteau.

Résumé Technique : GHOST – Génération d'images induisant des hallucinations pour les LLM multimodaux

Problématique

Les modèles de langage de grande taille multimodaux (MLLM) souffrent d'hallucinations d'objets, un mode de défaillance où le modèle prédit incorrectement la présence d'un objet absent de l'image d'entrée. Les méthodes d'évaluation actuelles reposent sur des benchmarks statiques avec des scénarios visuels fixes et des ensembles d'images curatés. Ces approches limitent l'analyse à des scénarios connus, échouant à découvrir les vulnérabilités spécifiques aux modèles ou les schémas d'hallucination imprévus. De plus, les méthodes existantes pour découvrir les hallucinations manquent souvent d'une manière systématique pour évaluer quels types d'images déclenchent des erreurs ou reposent sur des pipelines gourmands en ressources qui ne parviennent pas à découpler efficacement l'optimisation de la génération d'images.

Méthodologie : GHOST

Les auteurs introduisent GHOST (Generating Hallucinations via Optimizing Stealth Tokens), un pipeline entièrement automatique et non supervisé conçu pour tester la résistance des MLLM en synthétisant des images qui induisent des hallucinations sans pour autant insérer l'objet cible.

Architecture Centrale

GHOST opère par l'optimisation dans l'espace d'embedding d'image plutôt que dans l'espace des pixels, en utilisant un modèle de diffusion pour générer l'image finale. Le pipeline se compose de trois composants principaux :

Mappeur d'Espace d'Embedding ( $\Pi$ ) :
Pour combler le fossé entre l'encodeur de vision du MLLM cible ( $V_M$ ) et l'espace d'embedding CLIP utilisé par le modèle de diffusion, GHOST emploie un perceptron multicouche (MLP) léger. Ce mappeur est entraîné pour aligner les embeddings CLIP avec les tokens visuels du MLLM via une perte d'erreur quadratique moyenne (MSE). Ce découplage permet une optimisation efficace sans nécessiter une rétropropagation à travers l'ensemble du pipeline MLLM et de diffusion simultanément.
Objectif d'Optimisation :
Étant donné une image d'entrée $X_v$ (dépourvue de l'objet cible $t$ ) et une requête de prompt $X_q$ (ex: « Voyez-vous un $t$ ? »), GHOST optimise un embedding CLIP $c$ pour satisfaire trois contraintes :
- Proximité : L'embedding optimisé $c$ doit rester proche de l'embedding de l'image originale $c_0$ (régularisé via une pénalité $\ell_2$ ) pour préserver la sémantique de haut niveau.
- Absence de Sémantique de l'Objet : L'embedding ne doit pas encoder l'objet cible lui-même. Cela est imposé en pénalisant la similitude cosinus entre $c$ et un « embedding compositionnel » dérivé de diverses descriptions textuelles de l'objet cible (incluant des descriptions directes, des modèles génériques et des légendes COCO extraites).
- Induction d'Hallucination : L'embedding doit maximiser la probabilité que le MLLM produise un token de réponse « Oui ». La perte adversaire est définie par $-\log p(y^* | X_q, \Pi(c))$ , où $y^*$ est le token cible.
Diffusion Guidée :
Une fois qu'un embedding $c$ satisfait le seuil d'hallucination, il conditionne un modèle de diffusion latente (spécifiquement Stable Diffusion unCLIP). Contra à la génération standard à partir de bruit, GHOST démarre le processus de diffusion inverse à partir d'un latent partiellement bruité de l'image originale. Cela garantit que l'image générée conserve l'intégrité structurelle de l'entrée tout en introduisant des indices sémantiques subtils et trompeurs.
- Filtrage : Un détecteur d'objets à vocabulaire ouvert (OWLv2) strict filtre les images générées. Si le détecteur identifie l'objet cible, l'échantillon est rejeté. Le succès est défini uniquement lorsque le MLLM hallucine l'objet alors que le détecteur confirme son absence.

Contributions Clés

Génération Active de Cas de Défaillance : Contrairement aux benchmarks statiques, GHOST synthétise activement des images qui exposent des angles morts spécifiques des modèles, révélant des déclencheurs visuels nouveaux et imprévus pour l'hallucination.
Optimisation Découplée : En mappant les embeddings CLIP vers l'espace de vision du MLLM, GHOST évite les goulots d'étranglement computationnels de l'optimisation de pixels de bout en bout, atteignant une accélération de 5x par rapport aux méthodes antérieures comme DASH.
Perturbations au Niveau Sémantique : La méthode introduit des indices subtils au niveau sémantique (ex: modifier la tige d'une banane pour qu'elle ressemble au tranchant d'un couteau) qui sont perceptibles pour les humains comme des variations naturelles mais suffisants pour pousser le modèle au-delà de la frontière de décision.
Transférabilité : La méthode démontre que les images induisant des hallucinations optimisées pour un modèle se transfèrent souvent à d'autres, révélant des vulnérabilités systémiques à travers différentes architectures de MLLM.

Résultats Expérimentaux

Les auteurs ont évalué GHOST sur trois MLLM open-source : Qwen2.5-VL, LLaVA-v1.6, et GLM-4.1V-Thinking.

Taux de Succès : GHOST a atteint des taux de succès d'hallucination compris entre 28,1 % et 32,4 % sur les modèles testés. En revanche, la méthode de pointe précédente, DASH, n'a obtenu que 0,1 % sur le même jeu de données basé sur COCO.
Transférabilité : Les images optimisées pour Qwen2.5-VL ont induit des hallucinations dans GPT-4o à un taux de 66,5 %, et dans d'autres modèles (LLaMA3.2, Aya, Gemini) à des taux allant de 42 % à 72 %, indiquant des modes de défaillance partagés.
Qualité d'Image : Les métriques quantitatives (FID) et l'évaluation humaine ont confirmé que les images générées sont de haute qualité et visuellement naturelles. Les annotateurs humains sont convenus que l'objet cible était absent dans 86–89 % des images GHOST, ce qui est comparable aux méthodes de diffusion de base.
Atténuation : Le fine-tuning de Qwen2.5-VL sur les images synthétiques générées par GHOST a amélioré la robustesse sur les benchmarks d'hallucination en aval (POPE et CHAIR) tout en maintenant les capacités de vision-langage générales (VQAv2, légende COCO).

Signification et Revendications

Le papier positionne GHOST comme un outil à la fois diagnostique et correctif pour construire des systèmes multimodaux fiables.

Diagnostique : Il révèle que les MLLM s'appuient sur des corrélations spécieuses et des indices visuels subtils plutôt que sur une détection d'objets robuste, exposant des vulnérabilités que les benchmarks statiques ne voient pas.
Correctif : Les auteurs démontrent que l'entraînement sur ces cas de défaillance synthétiques peut atténuer les hallucinations, suggérant une voie pour améliorer la robustesse des modèles.
Scalabilité : En découplant l'optimisation du générateur d'images, GHOST offre un cadre évolutif pour tester la résistance des futurs MLLM, y compris les modèles basés sur le raisonnement comme GLM-4.1V-Thinking, où il a réussi à déplacer la trajectoire de raisonnement du modèle pour justifier des objets inexistants.

Les auteurs reconnaissent des limites, notant que la méthode dépend de modèles de diffusion capables de conditionnement par embedding d'image (comme unCLIP) et que l'accent actuel est mis principalement sur les hallucinations centrées sur les objets, bien que des expériences préliminaires suggèrent une applicabilité aux hallucinations d'attributs et de relations.