💬 NLP

REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations

L'article présente REALISTA, un nouveau cadre d'attaque adversariale qui génère des prompts réalistes induisant des hallucinations en optimisant des combinaisons continues de directions d'édition sémantiquement équivalentes dans l'espace latent, surmontant ainsi les limites des méthodes discrètes et continues existantes pour cibler efficacement à la fois les modèles open-source et les modèles de raisonnement à grande échelle.

Auteurs originaux : Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le « Tour de Magie » de la Confusion de l'IA

Imaginez que vous avez un perroquet très intelligent et bien entraîné (le Modèle de Langage à Grande Échelle, ou LLM). Vous lui posez une question simple : « Combien font 2 plus 2 ? » Il répond avec assurance : « 4. »

Maintenant, imaginez que vous posez exactement la même question, mais en la reformulant légèrement : « Si vous combinez deux pommes avec deux autres pommes, combien en avez-vous ? » Un humain normal répondrait toujours « 4 ». Mais ce perroquet intelligent devient soudainement confus et dit : « 5. »

Ceci est appelé une hallucination. Le papier se demande : Pourquoi le perroquet se confond-il simplement parce que nous avons changé les mots, même si le sens est exactement le même ?

Pour le découvrir, les chercheurs doivent tromper le perroquet. Mais ils ne peuvent pas simplement crier des bêtises ou raconter une histoire fausse, car cela changerait la donne. Ils doivent trouver un « sortilège magique » (un prompt adversaire) qui sonne parfaitement naturel et signifie exactement la même chose que la question originale, mais qui, d'une manière ou d'une autre, brise le cerveau du perroquet.

Le Problème : Deux Mauvaises Façons de Tromper le Perroquet

Avant ce papier, les chercheurs ont essayé deux méthodes principales pour tromper l'IA, et toutes deux présentaient des défauts :

L'Approche « Discrète » (L'Échange de Dictionnaire) :
Imaginez essayer de réécrire la question en échangeant des mots dans un thésaurus. Vous changez « combinez » en « fusionnez », « pommes » en « oranges ».
- Le Bon : Cela sonne humain et conserve le sens.
- Le Mauvais : C'est comme essayer de peindre un chef-d'œuvre en utilisant seulement 10 couleurs spécifiques. Vous êtes limité aux mots que vous avez dans votre dictionnaire. Vous risquez de manquer la parfaite combinaison de mots qui briserait l'IA.
L'Approche « Continue » (La Boue Numérique) :
Imaginez essayer de modifier la question en apportant de minuscules ajustements numériques invisibles aux « pensées » internes de l'IA (son espace latent).
- Le Bon : Vous avez une liberté infinie pour ajuster les pensées.
- Le Mauvais : Lorsque vous retransformez ces pensées ajustées en mots, elles sortent souvent comme des bêtises ou du charabia (comme « S!mpl&fy (2 + 5)2 −4@2 »). L'IA comprend le charabia, mais ce n'est pas un test réaliste car les vrais humains ne parlent pas ainsi.

La Solution : REALISTA (L'Approche « Lego »)

Les auteurs ont créé une nouvelle méthode appelée REALISTA. Imaginez-la comme construire avec des briques Lego à l'intérieur du cerveau de l'IA.

Les Briques Lego (Directions d'Édition) :
Au lieu de deviner des mots au hasard ou du bruit numérique aléatoire, REALISTA construit d'abord un ensemble spécial de « briques Lego ». Chaque brique représente une manière spécifique et valide de reformuler une phrase sans changer son sens.
- Exemple : Une brique pourrait être « rendre le ton plus formel ». Une autre pourrait être « poser la question sous forme d'interrogation au lieu d'une affirmation ». Une autre pourrait être « ajouter un peu de dramatisation ».
- Crucialement, ces briques sont dépendantes de l'entrée. Si vous posez une question sur les mathématiques, les briques sont des outils de reformulation mathématique. Si vous posez une question sur l'histoire, ce sont des outils de reformulation historique.
Mélanger les Briques (Optimisation Continue) :
Maintenant, au lieu de choisir une seule brique, REALISTA utilise les mathématiques pour déterminer le mélange parfait de ces briques. Il se demande : « Si j'utilise 10 % de la brique 'formel', 5 % de la brique 'drame' et 2 % de la brique 'question', l'IA va-t-elle se confondre ? »
- Cela permet une recherche fluide et infinie (comme mélanger des couleurs de peinture) plutôt qu'une recherche limitée et saccadée (comme choisir dans un menu).
Le Filet de Sécurité (La Contrainte Simplexe) :
Pour s'assurer que le résultat ne se transforme pas en charabia, REALISTA attache le mélange à une « laisse de sécurité ». Il garantit que la quantité totale de changement est faible et que les briques sont uniquement ajoutées (jamais soustraites d'une manière qui briserait la logique). Cela garantit que la phrase finale sonne toujours comme si un humain l'avait écrite et signifie toujours la même chose que l'originale.

Comment Cela Fonctionne en Pratique

Départ : Vous donnez au système une question normale (par exemple, « Quelle est la capitale de la France ? »).
Traduction : Le système traduit cette question dans le « langage de pensée » interne de l'IA (espace latent).
Construction : Il examine son ensemble de Lego personnalisé (le dictionnaire d'édition) pour cette question spécifique.
Optimisation : Il mélange mathématiquement les briques Lego pour trouver la combinaison qui fait répondre à l'IA « La capitale de la France est Londres » (une hallucination) tout en gardant la question naturelle.
Décodage : Il retransforme les « pensées » mélangées en français.
Résultat : Vous obtenez une question comme : « Pourriez-vous me dire, de manière directe, quelle ville sert de siège principal du gouvernement pour la France ? »
- Cela sonne naturel.
- Cela signifie la même chose.
- Mais l'IA, pour une raison quelconque, pense que la réponse est « Londres ».

Pourquoi Cela Compte (Selon le Papier)

Le papier montre que REALISTA est supérieur aux méthodes précédentes sur deux points :

Taux de Succès : Il trompe l'IA plus souvent que les anciennes méthodes de « échange de dictionnaire ».
Réalisme : Il ne produit pas de charabia comme les anciennes méthodes de « boue numérique ».

Plus important encore, le papier affirme que cette méthode fonctionne même sur les modèles de « Raisonnement » avancés (les IA les plus intelligentes et les plus complexes) qui ignorent généralement les astuces simples. Elle peut trouver la reformulation spécifique et subtile qui pousse même l'IA la plus intelligente à halluciner, prouvant que ces modèles restent fragiles face à des variations réalistes et humaines d'une question.

En résumé : REALISTA est un outil qui trouve la manière parfaite et naturelle de reformuler une question pour confondre une IA, en mélangeant des « ingrédients de reformulation » d'une manière mathématiquement précise, garantissant que le résultat est à la fois efficace et réaliste.

Résumé Technique : REALISTA

Énoncé du Problème

Les modèles de langage de grande taille (LLM) présentent des hallucinations même lorsqu'ils répondent à des requêtes utilisateurs bénignes. Comprendre les mécanismes qui déclenchent ces défaillances nécessite des attaques adverses réalistes satisfaisant deux contraintes critiques :

Équivalence Sémantique : Le prompt adversarial doit préserver l'intention sémantique originale du prompt bénin.
Cohérence Sémantique : Le prompt adversarial doit être fluide et ressembler à un langage humain.

Les méthodes existantes échouent à satisfaire simultanément ces contraintes. Les attaques par prompts discrets (par exemple, SECA) préservent le réalisme sémantique mais sont limitées à un espace de recherche discret et parcimonieux, restreignant la diversité des attaques. Les attaques continues dans l'espace latent explorent un espace plus riche mais se décodent souvent en prompts incompréhensibles ou sémantiquement distincts de l'original, violant ainsi la contrainte d'équivalence. Le défi central consiste à permettre une exploration large dans l'espace latent tout en imposant strictement le réalisme sémantique.

Méthodologie : REALISTA

Les auteurs proposent REALISTA (Realistic Latent Adversarial Attacks), un cadre qui formule l'induction d'hallucinations comme un problème d'optimisation contrainte dans l'espace latent du LLM. La méthode comble le fossé entre les approches discrètes et continues grâce aux composants suivants :

1. Dictionnaire d'Édition Dépendant de l'Entrée

Au lieu d'optimiser des vecteurs latents arbitraires, REALISTA construit un dictionnaire de directions d'édition interprétables spécifiques à chaque prompt d'entrée $x_0$ .

Sélection de Concepts : En utilisant une procédure d'optimisation de concepts (s'appuyant sur WordNet et un évaluateur basé sur un LLM), la méthode sélectionne un ensemble diversifié de mots-clés conceptuels pertinents pour l'entrée.
Directions Latentes : Pour chaque concept sélectionné, une reformulation sémantiquement équivalente $x^{(i)}_{SE}$ est générée. L'encodeur $\phi$ les mappe vers des représentations latentes, et la direction d'édition est définie comme $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$ .
Dictionnaire : L'ensemble de ces directions forme le dictionnaire $D$ , qui engendre un sous-espace de transformations préservant la sémantique.

2. Optimisation Continue sur un Simplexe

L'attaque est formulée comme la recherche d'un vecteur optimal de force d'édition $\delta$ tel que la représentation latente adverse $z$ soit :
$z = z_0 + D\delta$
où $z_0 = \phi(x_0)$ . Le problème d'optimisation est :
$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{sous} \quad \delta \in \Delta_\varepsilon$

Objectif : Minimiser la perte d'hallucination (par exemple, la probabilité logarithmique négative d'une réponse incorrecte ou un score d'hallucination provenant d'un juge).
Contrainte : $\delta$ est contraint à un simplexe mis à l'échelle ( $\delta \succeq 0, \|\delta\|_1 \le \varepsilon$ ). Cela impose la parcimonie et la non-négativité, garantissant que la perturbation est une combinaison convexe douce d'éditions préservant la sémantique plutôt qu'un déplacement arbitraire important.

3. Décodeur et Garde-fou Sémantique

Reconstruction du Prompt : Un opérateur inverse approximatif (décodeur) $\psi$ , implémenté en utilisant le même LLM que l'encodeur, mappe le latent perturbé $z$ de retour vers l'espace des prompts $x = \psi(z)$ .
Algorithme d'Optimisation : Les auteurs emploient la Dynamique de Langevin Projetée (PLD) pour résoudre l'optimisation non convexe. Cela implique :
- Reparamétrisation Gumbel-Softmax : Pour permettre le flux de gradient à travers le processus de décodage discret.
- Exploration Stochastique : L'injection de bruit gaussien pour échapper aux minima locaux dans le paysage d'optimisation plat par morceaux.
- Garde-fou d'Équivalence Sémantique : Pendant l'optimisation, si un prompt candidat $x$ échoue à un test d'équivalence sémantique (réalisé par un LLM instruit), le signal de gradient est rejeté, empêchant l'optimiseur de dériver vers des régions non équivalentes.

Contributions Clés

Dictionnaire d'Édition Dépendant de l'Entrée : Une méthode pour construire un ensemble compact, diversifié et valide de directions d'édition latentes conditionnées au prompt original, permettant une modification continue tout en préservant la sémantique.
Optimisation Contrainte par Simplexe : La formulation de l'induction réaliste d'hallucinations comme un problème d'optimisation continue sur un simplexe mis à l'échelle, équilibrant la flexibilité d'exploration avec les contraintes sémantiques.
Cadre d'Attaque Réaliste : L'intégration du dictionnaire d'édition, de la contrainte de simplexe et du garde-fou sémantique dans l'algorithme REALISTA, qui navigue avec succès dans le compromis entre l'efficacité de l'attaque et le réalisme sémantique.

Résultats Expérimentaux

L'article évalue REALISTA sur des LLM open-source (Llama-3, Qwen-2.5) et des modèles de raisonnement commerciaux (variantes de GPT-5) à travers 16 sujets MMLU.

Taux de Réussite de l'Attaque (ASR) : REALISTA atteint un ASR supérieur ou comparable aux attaques réalistes de l'état de l'art (SOTA) (par exemple, SECA). Par exemple, sur Llama-3-8B, REALISTA atteint un ASR@30 de 93,60 %, surpassant SECA (82,97 %) et LARGO (57,92 %).
Erreurs Sémantiques : Crucialement, REALISTA maintient un faible Taux d'Erreur d'Équivalence Sémantique (SEE) et un faible Taux d'Erreur de Cohérence Sémantique (SCE), comparables à SECA et nettement meilleurs que les bases continues comme LARGO et ICD, qui présentent souvent un SEE proche de 100 %.
Modèles de Raisonnement : REALISTA induit avec succès des hallucinations sur des modèles de raisonnement commerciaux (GPT-5-Nano, GPT-5-Mini) dans des contextes de réponse libre, un scénario où les attaques réalistes précédentes (SECA, LARGO) échouent en raison de leur dépendance à des formats de sortie fixes ou à l'accès aux logits du modèle cible.
Analyse des Concepts : L'analyse des concepts activés révèle que les attaques réussies exploitent principalement des changements structurels et de cadrage (par exemple, inversion de polarité, restructuration logique, cadrage instructionnel) plutôt que l'altération du contenu factuel.

Importance et Revendications

L'article revendique que REALISTA démontre que les attaques par hallucination réalistes sont réalisables même dans des scénarios de déploiement en boîte noire centrés sur le raisonnement. En comblant le fossé entre les paradigmes d'attaque discrets et continus, le cadre fournit un outil plus systématique pour le red-teaming des LLM.

Les auteurs soulignent que leur travail aide à caractériser les modes de défaillance où des prompts lexicalement différents mais sémantiquement équivalents conduisent à des hallucinations. Ils notent que si la méthode améliore l'efficacité de l'induction d'hallucinations (potentiellement en abaissant les barrières à une mauvaise utilisation), son utilité principale réside dans le développement de stratégies de défense plus robustes en révélant comment les modèles échouent sous des perturbations réalistes. Le travail met en évidence l'importance des attaques dans l'espace latent pour évaluer la fiabilité des LLM dans des contextes réalistes où la recherche discrète est insuffisante.