MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents

Le document présente MIRAGE, un système de surveillance en temps réel qui détecte l'exfiltration de données par les agents LLM en identifiant un sous-espace d'encodage partagé de faible dimension dans le flux résiduel du modèle, atteignant une précision de détection nettement supérieure aux méthodes basées uniquement sur la sortie en lisant le calcul sous-jacent plutôt que les caractéristiques de surface.

L'essentiel

Le gros problème : l'attaque à l'« encre invisible »

Imaginez un voleur essayant de dérober un mot de passe secret d'un robot assistant utile (un agent IA). Le voleur ne demande pas simplement au robot de « voler le mot de passe ». Au lieu de cela, le voleur piège le robot pour qu'il écrive le mot de passe dans un code secret — comme le transformer en Base64, en ROT13, ou en un puzzle où la première lettre de chaque phrase épèle le secret.

Pour un humain ou un filtre de sécurité standard regardant le texte final, cela semble inoffensif. Cela ressemble à un langage fluide et normal. Le voleur a réussi à « exfiltrer » (voler) les données sans déclencher d'alarmes. C'est comme écrire un message secret à l'encre invisible ; si vous ne regardez que le papier, vous ne voyez rien de suspect.

La découverte : le « fantôme dans la machine »

Les chercheurs derrière MIRAGE ont découvert que si le texte semble innocent, le processus de pensée à l'intérieur de l'IA ne l'est pas.

Considérez un modèle d'IA comme une immense usine à plusieurs couches. Lorsque l'IA traite une requête, elle fait passer l'information par de nombreux tapis roulants (couches) avant de produire le résultat final. Les chercheurs ont découvert que chaque fois que l'IA effectue le calcul pour encoder un secret (même s'il s'agit d'un code simple), un « fantôme » spécifique apparaît dans la machinerie interne de l'usine.

Ils appellent cela l'Espace de Sous-plan (Encoding Subspace). C'est comme une vibration spécifique ou un bourdonnement électrique unique qui se produit dans le câblage de l'usine chaque fois que la machine effectue des « calculs de code secret ». Ce bourdonnement existe indépendamment du fait que le texte final ressemble à un poème, un code ou une liste de chiffres.

Le détecteur à deux canaux (MIRAGE)

Le système MIRAGE est un garde de sécurité qui ne se contente pas de lire la lettre finale ; il écoute le bourdonnement interne de l'usine. Il utilise deux « oreilles » spécifiques pour attraper le voleur :

1. L'oreille « Burst » (Écouter la sortie)

• Ce qu'elle fait : Pendant que l'IA tape sa réponse, MIRAGE écoute ce « bourdonnement d'encodage » spécifique dans le câblage interne.
• L'analogie : Imaginez un chef cuisinier préparant un repas. S'il empoisonne secrètement la nourriture, il n'aura peut-être pas l'air suspect, mais ses mains pourraient trembler selon un rythme spécifique pendant qu'il remue. MIRAGE détecte ce rythme de tremblement spécifique dans le code interne de l'IA, même si le plat final a l'air délicieux.
• Résultat : Il attrape les attaques où l'IA tente d'écrire le code elle-même.

2. L'oreille « Intent » (Écouter le plan)

• Ce qu'elle fait : C'est la partie ingénieuse. MIRAGE observe l'état interne de l'IA avant même qu'elle ne commence à taper la réponse. Il vérifie le « plan » de l'IA.
• L'analogie : Imaginez que vous demandiez à un ami : « Peux-tu m'aider à déplacer cette boîte lourde ? »
  • Scénario A : Votre ami pense : « Je vais la soulever moi-même. » (Il simule le travail).
  • Scénario B : Votre ami pense : « Je vais appeler un camion de déménagement pour le faire. » (Il externalise le travail).
  • MIRAGE peut faire la différence entre ces deux pensées simplement en observant l'activité cérébrale de l'ami avant qu'il ne parle.
• Le rebondissement : Lorsqu'une IA est piégée pour voler des données, elle tente souvent d'« externaliser » l'encodage à un outil (comme un interprète de code) pour masquer ses traces. MIRAGE détecte un « basculement de polarité » — un changement soudain du signal interne qui dit : « Je vais envoyer cette tâche à un outil au lieu de la faire moi-même. » Cela se produit avant que le code secret ne soit jamais écrit.

Pourquoi est-ce important ?

• Cela fonctionne sur presque toutes les IA : Les chercheurs ont testé cela sur de nombreux modèles d'IA (Qwen, Mistral, Llama, etc.). Même si ces modèles ont été construits par différentes entreprises avec des données d'entraînement différentes, ils partagent tous ce même « bourdonnement d'encodage ». C'est comme le fait que tous les cœurs humains battent selon un rythme similaire, peu importe qui les possède.
• Cela bat les détecteurs standards : Les anciens systèmes de sécurité regardent les mots (comme la vérification de mots interdits). MIRAGE regarde les calculs qui se produisent à l'intérieur. Les détecteurs standards échouaient la moitié du temps (comme un lancer de pièce), tandis que MIRAGE a attrapé les voleurs environ 92 % du temps.
• C'est rapide : Cela ne ralentit pas l'IA. Il lit les signaux internes en temps réel, comme un radar de vitesse lisant la vibration du moteur d'une voiture plutôt que d'attendre de voir la voiture s'écraser.

Le revers de la médaille (Limites)

Le papier note quelques limites importantes :

1. Vous devez voir le moteur : MIRAGE a besoin d'accéder au « câblage » interne de l'IA (états cachés). Si vous utilisez une IA de type « boîte noire » (comme un site web où vous ne pouvez pas voir le code), MIRAGE ne peut pas fonctionner.
2. Ce n'est pas magique : Si un attaquant tente de supprimer ce bourdonnement interne pour se cacher, l'IA devient incapable d'écrire le code correctement. C'est un compromis : vous pouvez cacher le signal, mais alors vous ne pouvez plus voler les données.
3. Différences entre modèles : Certains modèles d'IA sont plus « propres » que d'autres. Sur certains modèles, le « bourdonnement » est très clair. Sur d'autres, l'usine est si bruyante que le bourdonnement est plus difficile à entendre, ce qui entraîne plus de fausses alertes.

Résumé

MIRAGE est un nouvel outil de sécurité qui empêche les agents d'IA de voler des secrets en écoutant leurs « vibrations de pensée » internes plutôt qu'en se contentant de lire leurs mots finaux. Il attrape le voleur non pas par ce qu'il dit, mais par la façon dont son cerveau fonctionne pendant qu'il planifie le vol.

Résumé technique

Résumé Technique : MIRAGE – Un sous-espace d'encodage à basculement de polarité dans les agents LLM

1. Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) sont vulnérables à l'exfiltration furtive via l'injection indirecte de prompts. Les attaquants peuvent empoisonner des documents récupérés avec des instructions visant à encoder des données sensibles (ex: identifiants) en utilisant divers schémas (Base64, ROT13, acrostiches, chaînes de synonymes) et les transmettre via des appels d'outils ou du texte intégré.

Les défenses existantes échouent car :

• La détection côté sortie est inefficace : Les sorties encodées apparaissent souvent comme fluides et naturelles. La détection basée sur la perplexité n'atteint qu'un AUC de 0,518, et les classifieurs affinés (ex: DeBERTa) s'effondrent à un AUC de 0,295 sur les familles d'encodage testées.
• Les caractéristiques de surface sont insuffisantes : Le signal de l'encodage furtif ne réside pas dans le texte lui-même, mais dans la computation sous-jacente effectuée par le modèle.

Le défi central est de détecter l'intention et la computation de l'encodage de données sensibles avant que la sortie ne soit générée, ou pendant sa génération, sans dépendre de motifs textuels de surface qui peuvent être facilement obscurcis.

2. Méthodologie

Le papier présente MIRAGE (Model-Internal Readout of Agentic Generation Exfiltration), un moniteur en temps réel à deux canaux qui exploite les propriétés mécanistes des LLM.

A. Le Sous-espace d'Encodage (EIS)

Les auteurs identent un sous-espace d'encodage partagé et de faible dimension au sein du flux résiduel des LLM.

• Universalité : À travers neuf familles d'encodage (ex: César, hexadécimal, acrostiche) et huit modèles issus de cinq familles d'architectures (Qwen, Mistral, Llama, DeepSeek, Phi), la computation de l'encodage occupe une direction linéaire partagée.
• Cohérence inter-architecture : Des modèles n'ayant aucun poids, données d'entraînement ou tokenizer commun présentent des sous-espaces d'encodage hautement corrélés (Spearman $\rho = 0,957$ entre Qwen-7B et Mistral-7B).
• Mécanisme de sonde : Une sonde de régression logistique entraînée sur huit familles d'encodage récupère la neuvième famille tenue à l'écart avec un AUC de 0,97 de 0,975–1,000. Cela confirme que la sonde lit la computation, et non les caractéristiques de surface (un encodeur de texte statique sur la même sortie accuse un retard de 9,4 points d'AUC).

B. La Signature de Basculement de Polarité (Simuler vs Déléguer)

Une signature mécaniste critique est découverte au niveau du dernier jeton d'entrée (la phase de planification), avant toute génération de sortie :

• Le Basculement (The Flip) : La direction du sous-espace d'encodage présente un basculement de polarité selon la stratégie d'exécution :
  • Activation Positive : Lorsque le modèle prévoit de simuler l'encodage de manière intégrée (le calculer lui-même).
  • Activation Négative : Lorsque le modèle prévoit de déléguer l'encodage à un outil (ex: un interpréteur Python).
• Séparabilité : Cette distinction est linéairement séparable à chaque couche du décodeur (AUC moyen = 1,000 sur des ensembles contrôlés).
• Localisation du circuit : L'ablation de tête révèle des circuits spécifiques à l'architecture : Qwen-7B utilise cinq têtes éparses de la Couche-0, tandis que Mistral-7B utilise une représentation distribuée à travers les couches 1 à 15.

C. Le Moniteur MIRAGE

MIRAGE combine deux signaux en temps réel :

1. Canal de Rafale (Burst Channel) : Lit le sous-espace d'encodage pendant la génération pour détecter la computation d'encodage intégrée.
2. Canal d'Intention (Intent Channel) : Lit le sous-espace d'encodage au dernier jeton d'entrée pour détecter l'intention de déléguer l'encodage à un outil (le basculement de polarité).

Le système utilise une normalisation L2 et un RobustScaler sur les états cachés, suivis d'un classifieur de régression logistique. Une règle de "rafale" (score max sur une fenêtre de 5 jetons) agrège les signaux lors de la génération.

3. Résultats Clés

A. Performance de Détection

• Généralisation de l'encodage : La sonde atteint un LOEO (Leave-One-Encoding-Out) AUC de 0,975–1,000 à travers les modèles, prouvant qu'elle détecte la computation sous-jacente plutôt que la syntaxe spécifique de l'encodage.
• Suite de surveillance d'agent : Sur une suite d'exfiltration d'agents de 126 scénarios (couvrant 9 familles d'encodage, 5 outils et 81 attaques), MIRAGE atteint un AUC de 0,918 (IC 95 % : [0,857, 0,957]).
  • Cela surpasse largement la détection uniquement par la sortie (AUC = 0,518).
  • La fusion des deux canaux (Rafale + Intention) capture 69/81 attaques, alors que le canal de rafale seul n'en capture que 31/81.
• Spécificité : Sur 1 489 réponses bénignes (incluant des jailbreaks et des QA standards), la sonde normalisée produit 0 faux positif.

B. La Géométrie du Modèle Hôte comme Contrainte

Le papier souligne que la performance du moniteur est fondamentalement une propriété de la géométrie du modèle hôte, et non seulement de la sonde :

• Qwen-7B : 0 % de taux de faux positifs (FPR) sur les tâches d'encodage bénignes.
• Mistral-7B : 18,8 % de FPR (nécessite un recalibrage).
• Phi-3.5 : 100 % de FPR (la géométrie du modèle fait s'effondrer la frontière entre "expliquer Base64" et "encoder cet identifiant").
• Implication : Le déploiement est une propriété auditable ; les modèles doivent être examinés pour s'assurer que la géométrie de leur flux résiduel sépare l'encodage furtif de l'encodage manifeste.

C. Robustesse Adversaire

Les auteurs ont testé quatre modèles d'attaquants (Gradient/GCG, Échantillonnage, Projection, Prompts Adaptatifs) à travers divers budgets.

• Couplage Détection–Fidélité : Chaque configuration qui a réussi à supprimer l'activation du sous-espace d'encodage a également détruit la fidélité de l'encodage (la sortie encodée est devenue irrécupérable).
• Régularité Empirique : Sur les budgets évalués, il n'existe aucune configuration capable de contourner la détection tout en produisant une sortie encodée valide. Les auteurs affirment explicitement qu'il s'agit d'une régularité empirique sur les budgets testés, et non d'une affirmation d'impossibilité structurelle.

4. Contributions

1. Universalité Inter-Architecture : Démontre que les computations d'encodage à travers neuf formes de surface occupent un sous-espace de flux résiduel partagé et de faible dimension à travers huit modèles de cinq familles d'architectures.
2. Mécanisme Simulate-vs-Outsource : Identifie une signature de basculement de polarité au jeton de planification qui sépare linéairement la simulation intégrée de la délégation à un outil, permettant la détection avant même l'existence du texte encodé.
3. La Géométrie du Modèle Hôte comme Propriété Auditable : Établit que la compatibilité du moniteur (spécifiquement le FPR d'encodage bénin) est déterminée par la géométrie interne du modèle hôte, faisant de cela une métrique de filtrage déployable.
4. Moniteur à Deux Canaux en Temps Réel : Construit MIRAGE, qui exploite les signaux de la phase de génération et de la phase de planification pour atteindre des taux de détection élevés (AUC 0,918) dans les scénarios d'exfiltration d'agents, surpassant de manière significative les défenses basées uniquement sur la sortie.

5. Signification et Revendications

Le papier positionne MIRAGE comme un passage de la filtration côté sortie vers une sécurité basée sur les traces mécanistes.

• Lecture de l'Intention : Il lit l'intention comportementale directement depuis la géométrie du flux résiduel plutôt que de classifier les entrées ou les sorties.
• Conscience du Double Usage : Les auteurs reconnaissent la nature duale de ce travail. Ils ne rapportent les résultats d'évasion que sous des budgets limités et évitent de prétendre une impossibilité structurelle, notant que de futurs pipelines d'entraînement pourraient potentiellement découpler le couplage détection-fidélité.
• Généralisabilité : La "recette" consistant à lire l'intention comportementale à partir de la géométrie mécaniste est proposée comme une approche généralisable pour d'autres menaces de sécurité des agents, notamment la tromperie, la coordination furtive et l'usage abusif d'outils.
• Modestie : Les auteurs veillent à présenter leurs conclusions comme des régularités empiriques sur les budgets évalués. Ils ne prétendent pas avoir résolu structurellement le problème de l'évasion, mais ont démontré un mécanisme de détection robuste qui, actuellement, est corrélé à la fidélité de l'encodage.

En résumé, MIRAGE démontre que la computation interne de l'encodage de données sensibles laisse une signature géométrique distincte, universelle et détectable dans les LLM, laquelle peut être exploitée pour détecter les tentatives d'exfiltration avant qu'elles ne soient achevées, à condition que la géométrie du modèle hôte permette cette séparation.