🤖 AI

Hallucination as Exploit: Evidence-Carrying Multimodal Agents

Ce papier présente les Agents Multimodaux Porteurs de Preuve (ECA), une architecture sécurisée qui prévient les échecs d'autorisation dus aux hallucinations en exigeant que les appels d'outils soient validés par rapport à des certificats de preuve externes typés plutôt que de se fier aux affirmations perceptuelles non vérifiées du modèle.

Auteurs originaux : Guijia Zhang, Hao Zheng, Harry Yang

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guijia Zhang, Hao Zheng, Harry Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant personnel très intelligent, mais légèrement crédule. Cet assistant peut examiner des captures d'écran, lire des e-mails et naviguer sur le web pour vous aider à effectuer des tâches telles que l'envoi d'argent, le clic sur des boutons ou l'extraction de données.

Le problème est que cet assistant hallucine parfois. Il pourrait vous dire avec assurance : « Je vois un bouton indiquant 'Envoyer 500 $ à mon ami' », alors qu'en réalité, ce bouton n'existe pas, ou qu'il s'agit en fait d'un piège tendu par un pirate informatique.

Par le passé, si l'assistant commettait une erreur, il s'agissait simplement d'une « mauvaise réponse ». Mais lorsque cet assistant est connecté à de véritables outils (comme un virement bancaire ou un client de messagerie), une hallucination n'est plus seulement une erreur : elle devient une faille de sécurité. L'assistant croit à un fait faux, et parce qu'il y croit, il exécute une action dangereuse.

Ce document présente un nouveau système appelé ECA (Agents Multimodaux Porteurs de Preuves) pour résoudre ce problème. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Problème : Le « Manager Crédule »

Considérez un agent IA standard comme un Manager assis dans une pièce.

Le Manager examine un document (l'écran) et déclare : « Je vois un bouton 'Payer' ici. Je vais cliquer dessus. »
Si le document est une fausse image créée par un pirate informatique, le Manager voit toujours un bouton « Payer » car l'IA imagine qu'il est présent.
Le Manager clique alors sur le bouton, et l'argent est volé. Le Manager n'a pas suivi un ordre malveillant ; il a simplement halluciné l'autorisation d'agir.

2. La Solution : L'« Agent Porteur de Preuves »

Les auteurs proposent une nouvelle architecture où le Manager n'est plus le seul à avoir le pouvoir. Ils ajoutent un Garde de Sécurité et un Notaire.

Le Manager (L'IA) : Continue de réfléchir. Il examine l'écran et dit : « Je pense que nous devrions cliquer sur ce bouton. »
Le Notaire (Les Vérificateurs) : Avant que le Manager ne puisse réellement cliquer sur le bouton, un système séparé et strict (le Notaire) vérifie l'écran en utilisant différents outils (comme une loupe pour le texte, un scanner pour le code et une carte pour la mise en page).
Le Certificat : Le Notaire ne se contente pas de dire « D'accord ». Il délivre un certificat numérique. Ce certificat est un reçu dactylographié et immuable qui indique : « Je, le Notaire, confirme qu'un bouton portant l'étiquette 'Payer' existe réellement à ces coordonnées exactes. »

3. La « Porte » (Le Videur)

Il existe une Porte entre le Manager et l'action.

Le Manager ne peut pas ouvrir la porte simplement en disant : « Je crois que le bouton est là. »
La Porte ne s'ouvre que si le Manager présente le Certificat du Notaire.
Si le Manager tente de dire : « J'ai vu un bouton », mais que le Notaire n'a pas émis de certificat à ce sujet, la Porte reste verrouillée. L'action est bloquée.

4. Pourquoi C'est Différent

Ancienne Méthode : La parole de l'IA faisait loi. Si l'IA disait « Je vois un virement bancaire », le système l'exécutait.
Nouvelle Méthode (ECA) : La parole de l'IA n'est qu'une suggestion. Le système n'agit que si des preuves indépendantes (comme une analyse du code réel de la page web) prouvent que la suggestion est vraie.

Les Résultats : Dans quelle mesure cela a-t-il fonctionné ?

Les chercheurs ont testé ce système contre des milliers d'attaques, y compris des pirates tentant de tromper l'IA avec de fausses images, du texte caché et des symboles confus.

Le « Manager Crédule » (Ancienne IA) : A échoué dans près de 100 % des cas. Si l'IA hallucinait une action dangereuse, elle l'exécutait.
La Défense « Par Prompt Seulement » (Demander simplement à l'IA d'être prudente) : A échoué environ 50 % du temps. L'IA était toujours trompée par ses propres hallucinations.
Le Nouveau Système (ECA) :
- Il a bloqué 100 % des actions non sécurisées lors de leurs tests de bout en bout.
- Même lorsque les pirates tentaient de tromper directement le « Notaire » (le vérificateur), le système disposait d'un processus de « durcissement » qui a réduit le taux d'échec à presque zéro (passant de 1,3 % lors des tests initiaux à 0 % lors des tests finaux).
- Il n'a pas empêché l'IA d'accomplir des tâches utiles ; il a permis à 100 % des tâches normales et sûres de se dérouler.

La Grande Conclusion

L'article soutient que nous ne pouvons pas nous fier au « cerveau » de l'IA pour décider s'il est sûr d'agir. L'IA est trop encline à inventer des choses. Au lieu de cela, nous avons besoin d'un contrôle structurel : un système séparé qui vérifie physiquement les faits avant d'autoriser toute action.

C'est comme dire : « Vous ne pouvez pas simplement dire que vous avez un billet pour monter dans l'avion. Vous devez montrer un billet physique imprimé par le système de l'aéroport. » Si vous n'avez pas le billet physique, la porte ne s'ouvre pas, peu importe à quel point vous affirmez avec assurance en avoir un.

Résumé technique : Hallucination comme exploitation : Agents multimodaux porteurs de preuves

1. Énoncé du problème

Les évaluations actuelles des agents multimodaux traitent souvent l'hallucination comme une erreur de qualité de réponse (par exemple, une légende incorrecte) et l'injection de prompt comme un échec de suivi d'instructions. Cependant, lorsqu'un agent multimodal contrôle des outils (par exemple, cliquer, envoyer des e-mails, transférer des fonds), une hallucination peut devenir un échec d'autorisation. Si un modèle perçoit faussement une condition préalable — telle qu'un emplacement de bouton, un e-mail de destinataire ou un champ de document — il peut déclencher un appel d'outil privilégié basé sur une affirmation visuelle non étayée.

Les défenses existantes échouent car elles confondent observation, interprétation, instruction et autorisation en une seule chaîne de texte libre généré par le modèle. Par conséquent, le filtrage des prompts ne peut pas distinguer une injection malveillante d'une fausse croyance du modèle. L'article identifie la Conversion Hallucination-Action (H2AC) comme le mode de défaillance critique : une affirmation perceptuelle non étayée satisfaisant une condition préalable requise pour une action, modifiant ainsi la décision d'exécution de « bloquer » à « autoriser ».

2. Méthodologie : Agents multimodaux porteurs de preuves (ECA)

Les auteurs proposent les Agents multimodaux porteurs de preuves (ECA), une architecture qui sépare l'interprétation des tâches de l'autorisation des actions. L'ECA traite le texte libre généré par le modèle comme une preuve inadmissible pour les prédicats à haute confiance.

Architecture de base

Schémas d'action ( $G_a$ ) : Chaque appel d'outil est décomposé en prédicats spécifiques et critiques pour l'action (par exemple, ui_element, ocr_text, safe_source). Ces schémas définissent les conditions exactes requises pour qu'une action soit sûre.
Vérificateurs contraints : Au lieu de s'appuyer sur le Grand Modèle de Langage Multimodal (MLLM) pour vérifier les faits, l'ECA emploie des vérificateurs séparés et contraints (par exemple, analyseurs DOM, moteurs OCR, analyseurs d'arbres d'accessibilité) pour générer des certificats de preuve typés.
- Un certificat est un enregistrement structuré $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$ contenant le type, la valeur, la région, la source, le vérificateur, la confiance, l'heure et une étiquette de confiance.
- Crucialement, le composant proposant l'action (le MLLM) ne peut pas certifier les faits l'autorisant.
Porte de politique déterministe ( $\Pi$ ) : Une porte évalue l'action proposée par rapport au schéma d'action. Elle accorde l'autorisation uniquement si chaque prédicat requis dans le schéma est correspondu par un certificat ayant le type, la portée, l'étiquette de confiance et la confiance appropriés.
- Autoriser : Tous les prédicats sont étayés par des certificats fiables.
- Demander : La preuve est incomplète mais l'action est réversible.
- Bloquer : La preuve contredit l'action ou la provenance requise fait défaut.

Fondement théorique

Le système repose sur les principes du Contrôle de Flux d'Information. La sécurité du système est décomposée en risques résiduels :

$\epsilon_p$ : Le taux de faux positifs des vérificateurs (certifiant un prédicat faux).
$\delta_{schema}$ : La probabilité que le schéma d'action omette un prédicat critique.
$\delta_{impl}$ : La probabilité d'une contournement d'implémentation.
La probabilité qu'une action non sûre se produise est bornée par la somme de ces résidus, plutôt que par la probabilité que le modèle hallucine.

3. Contributions clés

Formalisation de la H2AC : L'article définit la Conversion Hallucination-Action comme le mécanisme par lequel des affirmations perceptuelles non étayées deviennent une autorité d'action.
Architecture ECA : Une conception novatrice qui impose une « porte de certificat », exigeant des preuves typées pour les prédicats critiques pour l'action plutôt que de s'appuyer sur le texte du modèle.
Évaluation multi-niveaux :
- Red-Teaming adversarial : 1 900 attaques réparties sur 19 catégories visant les vérificateurs DOM, OCR et d'arbres d'accessibilité.
- Exécution dérivée du contenu : Évaluations de bout en bout (E2E) et preuves de concept (PoC) navigateur utilisant une extraction réelle de DOM, OCR et AX.
- Rejeu de certificats Oracle : 7 488 traces utilisant des certificats supposés corrects pour isoler la logique de la porte des erreurs des vérificateurs.
Défense structurelle vs neuronale : Démontre que le verrouillage structurel (ECA) surpasse le jugement neuronal (juges LLM) dans ce modèle de menace.
Durcissement ciblé : Quatre correctifs spécifiques (référencement croisé de la provenance DOM, détection de confusion UTS #39, vérification d'intégrité AX-DOM, durcissement OCR par hachage perceptuel) qui réduisent considérablement les taux de contournement.

4. Résultats expérimentaux

L'article rapporte des résultats sur trois niveaux de preuve, soulignant que le « zéro au niveau de la porte » est une propriété de conception conditionnelle à l'exactitude des vérificateurs.

Red-Teaming des vérificateurs adversariaux :
- Taux initial de contournement de la porte : 15 %.
- Après quatre étapes de durcissement ciblées : 1,3 % (borne supérieure corrigée de Bonferroni 2,3 %).
Bout en bout (E2E) et PoC navigateur :
- Pipeline E2E de 200 tâches : 0 % de taux d'action non sûre (UAR) (borne supérieure de Wilson à 95 % : 2,67 %).
- PoC navigateur de 120 tâches : 0 % UAR (borne supérieure de Wilson à 95 % : 4,3 %).
- Rejeu de parseur réel de 500 actifs : 0 % UAR.
Audit direct HACR :
- Sur un sous-ensemble stratifié de 500 tâches, 100 % des affirmations critiques pour l'action non étayées ont atteint l'exécution pour les agents naïfs, et 49,6 % pour les défenses basées uniquement sur le prompt.
- L'ECA a bloqué 100 % (0/1 103) des affirmations critiques pour l'action non étayées au niveau de la porte de certificat.
Comparaison avec les juges neuronaux :
- Les variantes de juge GPT-5.4 ont atteint des UAR comprises entre 79 % et 99 % sur des tâches non sûres.
- Des sondages adversariaux de style Progent ont montré un UAR de 23,3 % pour le juge contre 0 % pour l'ECA.
- Les juges neuronaux n'ont pas réussi à distinguer efficacement entre les instructions fiables et les conditions préalables hallucinées.

5. Importance et revendications

L'article affirme que polir le monologue de sécurité d'un modèle est un levier faible lorsque des faits hallucinés de documents ou d'interface utilisateur peuvent satisfaire les schémas d'action. La contribution principale est une frontière d'autorisation langage-action qui exige que les affirmations issues du contexte multimodal soient représentées sous forme de prédicats typés avant de pouvoir affecter les privilèges d'outils.

Revendications modestes : Les auteurs déclarent explicitement que l'ECA ne résout pas l'hallucination ni tous les mauvais usages d'agents. L'affirmation de sécurité est conditionnelle : si les schémas omettent des prédicats critiques, les implémentations contournent la porte, ou les vérificateurs certifient des prédicats faux, l'ECA peut échouer.
Résidus auditable : L'avantage de l'ECA est que les défaillances ne sont pas cachées dans des croyances opaques du modèle, mais exposées comme des résidus mesurables ( $\epsilon_p, \delta_{schema}, \delta_{impl}$ ).
Portée : Le travail se concentre sur le chemin d'attaque « fausse condition préalable », qui contourne les classificateurs d'instructions. Il ne revendique pas de robustesse face à de nouvelles attaques de vérificateurs, un déploiement en direct multi-tours à grande échelle, ou des écosystèmes d'outils arbitraires sans réparation de schéma.

En résumé, l'ECA déplace la frontière de confiance du planificateur (le MLLM) vers la couche de preuve (les vérificateurs), convertissant la croyance opaque du modèle en résidus auditable et empêchant les affirmations visuelles non étayées d'autoriser silencieusement des actions privilégiées.