💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

Ce papier propose SECA, une méthode d'attaque adversariale qui génère des modifications de prompts réalistes et sémantiquement cohérentes pour provoquer des hallucinations dans les grands modèles de langage, démontrant ainsi leur vulnérabilité face à des variations plausibles du langage naturel.

Auteurs originaux : Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Publié 2026-02-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Les IA qui rêvent éveillées

Imaginez que vous avez un assistant très intelligent, un peu comme un génie qui a lu tous les livres du monde. C'est ce qu'on appelle un Grand Modèle de Langage (LLM). Il est utilisé pour la médecine, les finances ou l'éducation.

Mais ce génie a un défaut : il hallucine. Parfois, il invente des faits, donne de fausses réponses avec une confiance absolue, comme s'il racontait un mensonge très convaincant.

Le problème, c'est que les chercheurs essayaient de trouver comment "casser" ce génie pour le faire halluciner, mais leurs méthodes étaient trop bizarres. C'était comme si quelqu'un lui parlait dans une langue inventée ou lui donnait des ordres absurdes. Bien sûr, le génie se trompait, mais ce n'était pas très utile : cela ne nous apprenait pas comment il se trompe dans la vraie vie, avec des questions normales.

🛠️ La Solution : SECA (L'Art du Rebranding)

Les auteurs de cet article ont créé une nouvelle méthode appelée SECA.

Imaginez que vous posez une question simple à votre ami : "Combien font 24 divisé par 2 ?" Il répondra "12". C'est facile.

Maintenant, imaginez que vous reformulez la question de manière très créative, mais exactement avec le même sens : "Si je double la valeur d'un nombre et que j'arrive à 24, quel est ce nombre ?"

Pour un humain, c'est la même question. Pour l'IA, c'est aussi la même question... sauf que parfois, l'IA va se tromper !

SECA, c'est l'outil magique qui trouve ces reformulations parfaites.

Semantiquement équivalentes : Le sens ne change pas du tout (c'est toujours la même question).
Cohérentes : La phrase est parfaite, naturelle, sans fautes, comme si un humain l'avait écrite.

🎭 L'Analogie du Caméléon

Pour comprendre comment SECA fonctionne, imaginez un caméléon (l'IA) qui change de couleur pour se cacher.

Les anciennes méthodes (GCG, etc.) : C'était comme si on jetait de la peinture multicolore et de la boue sur le caméléon. Bien sûr, il ne ressemblait plus à rien, mais c'était trop évident. On ne savait pas si c'était parce qu'il était confus ou juste parce qu'il était couvert de boue.
La méthode SECA : C'est comme si on changeait subtilement l'environnement du caméléon. On ne touche pas à sa peau, on ne lui donne pas de boue. On change juste la lumière, l'angle de vue, ou le décor, mais exactement de la même manière que si on regardait la même scène sous un autre angle.
- Si le caméléon change de couleur (hallucine) alors qu'on lui demande la même chose, c'est qu'il est fragile. C'est une faille réelle.

🧠 Comment ça marche ? (Le jeu du "Oui, mais...")

Les chercheurs ont créé un jeu en trois étapes avec deux autres intelligences artificielles (des "assistants") pour aider l'IA cible à se tromper :

Le Propositeur (Le Reformulateur) : C'est un artiste qui prend votre question et la réécrit de 100 façons différentes. Il dit : "Voici une version plus longue, voici une version plus poétique, voici une version plus technique..."
Le Vérificateur (Le Juge) : C'est un garde du corps très strict. Il regarde chaque nouvelle version et dit : "Attends ! Cette version ajoute une information ? Non. Elle enlève quelque chose ? Non. C'est exactement la même question ? Oui. Alors, c'est bon."
Le Testeur (La Cible) : On donne la meilleure version à l'IA cible. Si elle se trompe, on garde cette version. Si elle a raison, on recommence avec une autre reformulation.

Le but est de trouver la reformulation parfaite qui est indiscernable de l'originale pour un humain, mais qui fait basculer l'IA vers une erreur.

📊 Ce qu'ils ont découvert

En testant cette méthode sur des modèles très avancés (comme GPT-4 ou Llama), ils ont découvert des choses surprenantes :

Plus c'est long, plus c'est dangereux : Les IA ont plus de mal à rester concentrées quand la question est reformulée avec beaucoup de mots et de détails, même si le sens est le même. C'est comme si le "bruit" des mots supplémentaires perturbait leur concentration.
Elles sont fragiles : Même les IA les plus intelligentes peuvent être trompées par une simple reformulation, alors qu'elles répondent parfaitement à la question originale.
C'est dangereux pour la vraie vie : Cela montre que dans des domaines comme la médecine ou le droit, si un médecin pose une question complexe et reformulée à une IA, l'IA pourrait donner un conseil faux avec une grande confiance.

🚨 Conclusion : Pourquoi c'est important ?

Cet article ne dit pas "les IA sont nulles". Il dit : "Attention, les IA sont très sensibles à la façon dont on leur parle."

SECA est un outil de sécurité. En trouvant ces failles cachées, les chercheurs peuvent aider les entreprises à construire des IA plus robustes, qui ne se tromperont pas même si on leur pose la question d'une manière inhabituelle. C'est comme tester un pont non seulement avec un camion lourd, mais aussi avec un camion qui roule de manière un peu bizarre, pour s'assurer qu'il ne s'effondrera jamais.

En résumé : SECA est un détective qui apprend à poser des questions "normales" mais "piégées" pour révéler les faiblesses cachées des intelligences artificielles, afin de les rendre plus sûres pour tout le monde.

1. Problématique et Contexte

Les Grands Modèles de Langage (LLM) sont de plus en plus déployés dans des domaines à haut risque (médical, financier, juridique). Cependant, leur fiabilité est compromise par les hallucinations (réponses factuellement incorrectes ou non fidèles au contexte).

Les travaux antérieurs sur les attaques adverses visant à provoquer ces hallucinations souffrent de limitations majeures :

Manque de réalisme : Les méthodes existantes (optimisation au niveau des tokens, agents LLM, recherche en faisceau) génèrent souvent des prompts contenant des tokens nonsensiques, des incohérences grammaticales ou qui modifient le sens original de la question.
Écart avec la réalité : Ces attaques ne reflètent pas les scénarios du monde réel où un utilisateur reformule une question de manière naturelle. Par conséquent, elles offrent peu d'insights sur la vulnérabilité réelle des modèles face à des variations linguistiques plausibles.

L'objectif de cet article est de combler ce vide en développant une méthode capable de générer des attaques réalistes qui sont à la fois sémantiquement équivalentes (même sens, même réponse attendue) et cohérentes (linguistiquement naturelle), tout en réussissant à induire des hallucinations.

2. Méthodologie : SECA

Les auteurs proposent SECA (Semantically Equivalent and Coherent Attacks), une méthode d'attaque de type "ordre zéro" (zeroth-order) qui traite la génération d'attaques comme un problème d'optimisation sous contraintes.

A. Formulation du Problème

Le problème est formulé comme une maximisation de la probabilité de générer une réponse cible erronée ( $y^*$ ), soumise à deux contraintes strictes sur le prompt d'entrée $x$ par rapport au prompt original $x_0$ :

Équivalence Sémantique : Le prompt $x$ doit avoir le même sens que $x_0$ (implication mutuelle, même réponse factuelle, pas d'ajout ou de suppression d'information cruciale).
Cohérence Sémantique : Le prompt $x$ doit être linguistiquement cohérent et naturel (similaire aux données d'entraînement humaines).

Mathématiquement, cela se traduit par :
$\max_x \log P_T(y^* | x)$
$\text{s.t. } SEF(x, x_0) = 1 \quad \text{et} \quad x \in \mathcal{X}_P$
Où $SEF$ est une fonction de vérification binaire et $\mathcal{X}_P$ est l'ensemble des prompts générés par un LLM instructeur.

B. L'Algorithme SECA

Pour résoudre ce problème dans un espace de prompts discret et combinatoire sans accès aux gradients (boîte noire), SECA utilise une approche itérative basée sur trois composants LLM :

Le Propositeur (Proposer LLM - $P$ ) : Un modèle (ex: GPT-4.1-Nano) reçoit des instructions pour réécrire le prompt actuel en produisant $M$ variantes. Pour éviter l'effondrement sémantique (répétition), des instructions aléatoires varient le style, le verbe et la structure tout en exigeant la préservation du sens.
Le Vérificateur de Faisabilité (Feasibility Checker LLM - $F$ ) : Un modèle plus puissant (ex: GPT-4.1-Mini) évalue chaque candidat proposé. Il vérifie rigoureusement les cinq critères d'équivalence sémantique (implication mutuelle, pas d'information superflue, etc.) et rejette les prompts non équivalents.
Sélection de l'Attaque : Parmi les prompts valides, l'algorithme sélectionne ceux qui maximisent la probabilité log de générer le token de réponse incorrect cible ( $y^*$ ). Le processus itère jusqu'à convergence ou atteinte d'un seuil de succès.

Cette approche évite la recherche exhaustive dans l'espace combinatoire en restreignant la recherche uniquement à l'espace des prompts valides et équivalents.

3. Contributions Clés

Formulation d'Optimisation Contrainte : Définition formelle de la génération d'attaques réalistes comme un problème d'optimisation sous contraintes d'équivalence et de cohérence sémantique.
Méthode SECA : Introduction d'une méthode d'ordre zéro préservant les contraintes, utilisant des LLM pour proposer et valider les réécritures, permettant de naviguer efficacement dans l'espace des prompts sans gradients.
Validation Empirique : Démonstration que SECA surpasse les méthodes de l'état de l'art (comme GCG) en termes de taux de réussite, tout en maintenant une équivalence et une cohérence quasi parfaites, là où les autres méthodes échouent.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MMLU (Multiple-Choice Questions) couvrant 16 sujets, avec 7 modèles cibles (Open Source comme Llama-3, Qwen ; Commercial comme GPT-4o-Mini, GPT-4.1).

Taux de Succès d'Attaque (ASR) : SECA atteint un ASR@30 (succès dans 30 essais) nettement supérieur aux prompts originaux et à la méthode GCG (Greedy Coordinate Gradient).
- Exemple : Sur Llama-3-8B, SECA atteint 81,24 % contre 9,86 % pour GCG et 63,52 % pour les prompts bruts.
- Sur les modèles commerciaux (GPT-4o-Mini), SECA augmente le taux de succès de <10 % (prompts bruts) à >30-40 %.
Qualité des Attaques (Équivalence et Cohérence) :
- SEE (Semantic Equivalence Error) : SECA maintient un SEE de 0,00, prouvant que les prompts sont sémantiquement équivalents. En comparaison, GCG a un SEE proche de 1,0 (presque toutes les attaques ne sont pas équivalentes).
- SCE (Semantic Coherence Error) : SECA a un SCE très faible (proche de 0), indiquant des prompts naturels, tandis que GCG génère des prompts incohérents (SCE > 1000).
Analyse des Hallucinations : La majorité des hallucinations induites sont de type factuel (fausses informations) ou fidélité (mauvaise interprétation de l'entrée).
Corrélation Linguistique : Les prompts réussis par SECA sont généralement plus verbeux et possèdent une diversité lexicale plus élevée (Type-Token Ratio plus élevé) que les prompts originaux, suggérant que cette complexité linguistique accrue obscurcit l'intention de base et piège le modèle.

5. Signification et Impact

Vulnérabilité Réelle : L'article démontre que même les modèles les plus avancés (y compris les modèles commerciaux fermés) sont sensibles à des variations de prompts qui sont parfaitement naturelles et sémantiquement identiques aux requêtes originales. Cela remet en question la robustesse des benchmarks actuels.
Nouvelle Méthodologie de Test : SECA fournit un outil essentiel pour le "Red Teaming" (tests d'intrusion) des LLM, permettant d'évaluer la fiabilité dans des scénarios réalistes plutôt que dans des scénarios artificiels.
Implications pour la Sécurité : La capacité à induire des hallucinations factuelles avec des prompts cohérents pose un risque majeur pour les déploiements en santé, finance et éducation, où la confiance dans la réponse est critique.
Outils Ouverts : Les auteurs ont rendu le code et le framework disponibles publiquement pour faciliter la recherche sur la robustesse des LLM.

En conclusion, SECA établit un nouveau standard pour l'évaluation des hallucinations des LLM, prouvant que la simple reformulation naturelle d'une question suffit à déstabiliser des modèles pourtant performants, et offrant une méthode efficace pour identifier ces failles avant leur exploitation malveillante.