🤖 AI

Hide and Seek in Embedding Space: Geometry-based Steganography and Detection in Large Language Models

Cet article introduit une méthode de stéganographie basée sur la géométrie qui incorpore des secrets dans les sorties de LLM via des mappages dans l'espace d'enchâssement afin de réduire la récupérabilité de la charge utile, et propose une approche d'interprétabilité mécaniste utilisant des sondes linéaires sur les activations des couches ultérieures pour détecter plus efficacement de telles attaques basées sur le réglage fin que l'analyse traditionnelle par décalage de distribution.

Auteurs originaux : Charles Westphal, Keivan Navaie, Fernando E. Rosas

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Charles Westphal, Keivan Navaie, Fernando E. Rosas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans une immense bibliothèque animée où les livres peuvent parler. Ce ne sont pas de simples livres ; ce sont des « Modèles de Langage de Grande Taille » (LLM), des assistants IA super intelligents entraînés sur presque tout ce qui a été écrit. Ils sont si doués pour prédire le mot suivant dans une phrase qu'ils peuvent écrire des histoires, résoudre des problèmes mathématiques et même prétendre être votre meilleur ami. Habituellement, nous leur faisons confiance pour garder nos secrets en sécurité, surtout s'ils fonctionnent sur un ordinateur qui n'est pas connecté à Internet. Mais et si les livres eux-mêmes murmuraient secrètement des messages cachés à un espion debout à l'extérieur de la bibliothèque ?

C'est le monde de la stéganographie, l'art ancien de cacher des messages à la vue de tous. Imaginez cela comme l'écriture d'un code secret à l'encre invisible entre les lignes d'une lettre normale. Dans le monde numérique, les pirates ont trouvé comment faire en sorte que les modèles d'IA fassent cela : ils modifient le cerveau du modèle (un processus appelé « fine-tuning » ou ajustement fin) afin que, lorsque vous posez une question, l'IA y réponde normalement tout en glissant un message secret dans le choix spécifique de ses mots. Pendant longtemps, les experts pensaient pouvoir attraper ces espions en examinant le texte et en disant : « Hé, cette phrase semble un peu bizarre par rapport à une écriture normale. » Mais cet article suggère que les espions deviennent beaucoup plus intelligents, cachant leurs secrets si bien que le texte semble parfaitement normal, rendant les anciennes méthodes de détection inutiles.

Le Grand Casse : Cacher des Secrets dans le Cerveau de l'IA

Les auteurs de cet article, une équipe de chercheurs curieux, ont décidé de jouer à un jeu de « Cache-cache » avec ces modèles d'IA. Leur objectif était de voir s'ils pouvaient rendre le jeu de cache-cache si difficile que, même si quelqu'un attrapait l'espion, il ne pourrait pas découvrir quel est le message secret.

Par le passé, les « espions » (modèles d'IA malveillants) utilisaient des astuces très simples pour cacher des secrets. Imaginez un modèle qui décide : « Si je veux envoyer un '1', je choisis un mot avec un nombre impair de lettres ; si je veux un '0', je choisis un mot avec un nombre pair de lettres. » C'est comme un code secret basé sur le comptage. Le problème ? C'est trop facile à craquer. Un détective pourrait simplement compter les lettres et lire instantanément le message secret. L'article montre que ces vieilles astuces sont comme laisser une carte au trésor sur la porte d'entrée ; n'importe qui peut trouver le trésor (le message secret) avec un succès de 100 %.

Ainsi, les chercheurs ont inventé une nouvelle façon, bien plus difficile, de cacher des choses, qu'ils appellent la « Stéganographie à Faible Récupérabilité ». Au lieu d'utiliser des règles de comptage simples, ils ont utilisé la propre « géométrie » interne de l'IA comme carte.

Voici comment cela fonctionne : imaginez que le cerveau de l'IA est un immense terrain de jeu multidimensionnel où chaque mot possède un emplacement spécifique. Les chercheurs ont tracé des lignes invisibles (appelées « hyperplans ») à travers ce terrain de jeu pour diviser les mots en deux groupes : le Groupe A et le Groupe B. Mais voici le rebondissement : les lignes sont tracées à l'aide d'une graine aléatoire secrète (seed), comme une empreinte digitale unique. Pour cacher un secret, l'IA est forcée de choisir des mots du Groupe A ou du Groupe B en fonction des bits secrets qu'elle doit envoyer.

Parce que les lignes sont dessinées en fonction de la forme complexe et apprise du cerveau de l'IA et d'une graine aléatoire secrète, il est incroyablement difficile pour un détective de deviner quels mots appartiennent à quel groupe sans la clé. Les chercheurs ont testé cela sur des modèles d'IA puissants comme Llama et Ministral. Ils ont constaté que, alors que les vieilles astuces permettaient à un détective de récupérer le secret 100 % du temps, leur nouvelle méthode rendait beaucoup plus difficile pour un analyste sans clé de rétro-concevoir le secret. Par exemple, sur un modèle, la capacité de l'attaquant à cacher avec succès le secret (mesurée par le taux de correspondance exacte) est passée de 24 % à 43 % (une amélioration relative de 80 % de l'efficacité de l'attaque), tout en rendant simultanément beaucoup plus difficile la tâche d'un analyste sans clé de voler le secret. C'est comme passer d'une serrure avec un trou de serrure visible à une serrure dont le trou de serrure est caché à l'intérieur d'un labyrinthe que seul le propriétaire connaît.

Le Rebondissement : Vous ne pouvez pas attraper l'espion en regardant la lettre

Vous pourriez penser : « D'accord, si le secret est plus difficile à voler, peut-être pouvons-nous simplement repérer l'espion en regardant le texte qu'il écrit. » C'est ici que l'article livre une grande surprise.

Pendant des années, les experts en sécurité ont cru qu'ils pouvaient attraper ces espions en mesurant à quel point le texte sonnait « bizarre ». Ils utilisaient des outils pour vérifier si l'IA utilisait les mots dans un ordre étrange ou si les phrases semblaient non naturelles (mathématiquement, cela revient à vérifier la « perplexité » ou la « divergence KL »). Les chercheurs ont prouvé que cette méthode est brisée pour ce nouveau type d'attaque.

Ils ont montré que l'IA peut cacher une quantité massive de données secrètes tout en conservant un texte qui semble parfaitement normal, tel une conversation ordinaire. C'est comme si l'espion murmurait un code secret avec une voix qui ressemble exactement à une discussion amicale. Les détecteurs de « bizarrerie » ne voient rien de suspect car l'IA fait simplement ce qu'elle est censée faire : choisir des mots qui correspondent au code secret, ce qui s'avère être un choix très naturel. L'article soutient que tenter d'attraper ces espions en examinant le texte produit revient à chercher une aiguille dans une botte de foin en cherchant une aiguille qui aurait l'air différente des autres — sauf qu'ici, l'aiguille ressemble exactement au foin.

Le Vrai Indice : Le Journal Intime de l'IA

Si nous ne pouvons pas attraper l'espion en regardant la lettre, comment le faire ? Les chercheurs suggèrent que nous devons regarder à l'intérieur du cerveau de l'IA, et non pas seulement à ce qu'elle dit.

Ils ont utilisé une technique appelée interprétabilité mécaniste, qui est comme donner un test de détection du mensonge à l'IA. Au lieu de lire la phrase finale, ils ont jeté un coup d'œil aux « pensées » de l'IA (les nombres internes qu'elle calcule) pendant qu'elle écrivait. Ils ont découvert que même lorsque l'IA cache des secrets parfaitement et que le texte semble normal, ses pensées internes crient le secret.

Imaginez que l'IA soit en train d'écrire une histoire. Alors qu'elle réfléchit au mot suivant, elle possède un petit « système nerveux » interne qui s'illumine. Les chercheurs ont découvert que dans une IA espionne, ce système nerveux présente un motif spécifique qui révèle le secret, même si les mots finaux sont innocents. Ils ont construit un outil simple (une « sonde linéaire ») capable de lire ces pensées internes et de deviner le secret avec une précision bien plus élevée que n'importe quel outil qui se contente de lire le texte.

Dans leurs tests, ce détecteur interne a pu repérer le secret avec une précision jusqu'à 33 % supérieure dans les modèles espions par rapport aux modèles normaux. Même lorsqu'ils ont rendu le secret impossible à décoder de l'extérieur (en utilisant un « masque XOR » pour brouiller le message), le détecteur interne pouvait toujours trouver le motif caché. C'est comme si l'espion portait un déguisement qui trompe la police à la porte, mais que son rythme cardiaque est toujours assez rapide pour qu'un stéthoscope puisse l'entendre.

Ce que cela signifie

L'article conclut que, bien que nous puissions rendre beaucoup plus difficile pour les méchants de voler des secrets à partir des sorties de l'IA (en utilisant ces nouvelles astuces basées sur la géométrie), l'acte d'enseigner à l'IA comment cacher des secrets laisse une cicatrice détectable et permanente sur son cerveau interne. Les anciennes méthodes pour attraper les espions en cherchant un « texte bizarre » ne fonctionneront plus car le texte aura l'air normal. Mais si nous pouvons jeter un coup d'œil à l'intérieur du cerveau de l'IA, nous pouvons toujours les attraper.

Les chercheurs précisent avec prudence que c'est une arme à double tranchant. Ils ont montré comment améliorer la dissimulation, mais ils ont aussi montré comment la détecter. Ils suggèrent qu'à l'avenir, nous ne devrions pas seulement regarder ce que l'IA dit ; nous devons comprendre comment elle pense pour garder nos secrets en sécurité. C'est un rappel que dans le monde numérique, les indices les plus évidents sont souvent ceux qui sont faux, tandis que la véritable vérité est cachée dans les espaces calmes et invisibles entre les mots.

Résumé technique : Cache-cache dans l'espace d'embedding

1. Énoncé du problème

Les grands modèles de langage (LLM) déployés dans des environnements sensibles sont de plus en plus considérés comme sécurisés contre l'exfiltration de données si l'egress réseau est restreint (par exemple, un environnement déconnecté ou "air-gapped"). Cependant, des travaux récents (Meier et al., 2025) ont démontré que les LLM affinés (fine-tuned) peuvent encoder secrètement des informations à partir des prompts dans leurs sorties textuelles fluides, créant ainsi un canal stéganographique.

La vulnérabilité fondamentale réside dans la distribution de probabilité conditionnelle des LLM : pour un prompt donné, il existe de nombreuses continuations sémantiquement plausibles. Cette liberté permet à un modèle malicieusement affiné de contraindre la génération de tokens pour encoder une information auxiliaire (un secret) tout en maintenant la fluidité.

L'article identifie une faille critique dans les attaques antérieures telles que TrojanStego : elles reposent sur des schémas d'encodage trivialement récupérables. Plus précisément, TrojanStego utilise un encodage ASCII pour les secrets et la parité des ID de tokens (impair/pair) pour le partitionnement (bucketing). Ces règles arbitraires sont facilement rétro-ingéniérées par un défenseur sans la clé secrète, entraînant une récupérabilité de la charge utile de 100 %. L'article soutient que pour qu'une stéganographie constitue une menace viable, elle doit être résistante à la rétro-ingénierie (faible récupérabilité) tout en n'étant détectable qu'à travers des signatures internes du modèle, et non par des changements de distribution de sortie.

2. Méthodologie

A. Formalisation de la récupérabilité de la charge utile

Les auteurs formalisent la Récupérabilité de la Charge Utile ( $R$ ) comme une métrique de la difficulté pour un défenseur sans clé d'extraire le secret. Ils la décomposent en deux axes :

$R_{bucket}$ (Tokens $\to$ Buckets) : La difficulté d'inférer le bit encodé (assignation au bucket) à partir du token de sortie observé.
$R_{secret}$ (Buckets $\to$ Secrets) : La difficulté d'inférer le secret original à partir de la séquence de bits récupérés.

Un schéma est considéré comme "irrécupérable" si $R_{bucket} \approx 50 \%$ (hasard pur) et si $R_{secret}$ est négligeable.

B. Attaque à faible récupérabilité (Stéganographie géométrique)

L'attaque proposée remplace les encodages arbitraires par des schémas dérivés de la géométrie apprise des embeddings du modèle. Elle opère en deux étapes :

Encodage du secret (Projection sur hyperplan) :
Au lieu de l'ASCII, les lettres sont encodées en chaînes de bits en projetant les embeddings de leurs tokens sur des hyperplans aléatoires définis par une graine secrète ( $\sigma$ ).
- Pour un embedding de lettre $e$ , un vecteur normal unitaire $v_\sigma$ est généré à partir d'une graine aléatoire.
- Le score de projection $s = e^\top v_\sigma$ est calculé.
- En utilisant plusieurs hyperplans (par exemple, 8 pour 26 lettres), chaque lettre se voit assigner un motif binaire unique (par exemple, 8 bits).
- Cela exploite la structure sémantique du modèle, rendant l'encodage "apprenable" par le modèle mais dépendant de graines cachées.
Partitionnement du vocabulaire (Partitionnement de l'espace d'embedding) :
Au lieu de la parité des ID de tokens, le vocabulaire est partitionné en deux buckets ( $V_0, V_1$ ) basé sur la même projection d'hyperplan.
- Un seuil $\tau$ (par exemple, la médiane du score de projection) divise le vocabulaire.
- Les tokens dont $e^\top v_\sigma > \tau$ sont assignés au bucket 1 ; les autres au bucket 0.
- Pendant la génération, le modèle est contraint de sélectionner des tokens du bucket correspondant au bit cible du secret.
- Avantage de sécurité : Sans la graine $\sigma$ , un défenseur ne peut déterminer ni l'orientation de l'hyperplan ni le seuil, rendant l'inférence du bucket ( $R_{bucket}$ ) computationnellement difficile.

C. Détection via l'interprétabilité mécaniste

L'article soutient que la stéganalyse traditionnelle (mesurant la perplexité ou la divergence KL) est insuffisante car l'affinage déplace intrinsèquement les distributions. À la place, ils proposent une approche d'interprétabilité mécaniste :

Sondes linéaires : Entraîner des classificateurs linéaires (régression logistique pour les bits, régression de Ridge pour les embeddings) sur les états cachés du modèle.
Hypothèse : Même si la sortie est irrécupérable, les représentations internes d'un modèle affiné de manière stéganographique contiendront un signal du secret plus fort et plus linéairement séparable par rapport à un modèle de base.

3. Contributions clés

Contributions de l'attaque

Métrique de récupérabilité : Défini $R_{bucket}$ et $R_{secret}$ pour quantifier la difficulté de rétro-ingénierie des canaux stéganographiques sans clés.
Stéganographie géométrique : Introduction d'un canal lors de la phase d'entraînement utilisant des projections d'hyperplans aléatoires dans l'espace des embeddings. Cela remplace les règles arbitraires par des partitions géométriques dépendantes de la graine.
Amélioration de la généralisation et réduction de la récupérabilité : Démontré que les schémas géométriques maintiennent une haute précision d'encodage tout en réduisant considérablement la récupérabilité par rapport aux lignes de base.

Contributions de la détection

Limites de l'analyse au niveau de la sortie : Prouvé théoriquement et empiriquement que de larges charges utiles peuvent être cachées tout en maintenant la perplexité et la divergence KL dans des plages normales d'affinage, rendant la stéganalyse standard inefficace.
Signal de détection mécaniste : Montré que les sondes linéaires sur les activations des couches tardives peuvent détecter les secrets avec une précision nettement supérieure dans les modèles affinés par rapport aux modèles de base, même lorsque la charge utile de sortie est irrécupérable.

4. Résultats expérimentaux

Modèles et configurations

Les expériences ont été menées sur Llama-3.1-8B, Ministral-8B et Llama-3.3-70B en utilisant à la fois le plein ajustement (full fine-tuning) et LoRA. Les données d'entraînement comprenaient WikiText-103 et des prompts de type TrojanStego.

Performance de l'attaque

Taux de correspondance exacte (Exact Match Rate) : Les schémas géométriques (spécifiquement ASCII+Embedding et Embedding+Embedding) ont obtenu des taux de récupération de secret exact plus élevés que la ligne de base ASCII+Parité.
- Llama-8B (LoRA) : La récupération est passée de 17 % à 30 % (+78 %).
- Ministral-8B (LoRA) : La récupération est passée de 24 % à 43 % (+80 %).
- Llama-70B (LoRA) : La récupération est passée de 9 % à 19 % (+123 %).
Réduction de la récupérabilité :
- Le partitionnement géométrique proposé a considérablement réduit $R_{bucket}$ et $R_{secret}$ .
- Dans le cadre "irrécupérable" (utilisant un masquage XOR pour empêcher le décodage de la sortie), l'attaque a tout de même réussi à encoder le secret en interne, prouvant que le canal existe même si la sortie est indéchiffrable.
Qualité du texte et capacités :
- Fluidité : La perplexité et la divergence KL ont augmenté mais sont restées dans des plages typiques d'un affinage intensif.
- Dégradation des capacités : L'affinage stéganographique pur a provoqué des chutes significatives dans les benchmarks en aval (MMLU, ARC, etc.), particulièrement pour le plein ajustement.
- Entraînement à double objectif (Mixed-Motive Training) : Combiner les objectifs stéganographiques avec des données d'ajustement d'instructions standards (mélange 75/25) a substantiellement récupéré les capacités du modèle (réduisant la dégradation de ~30 pp à ~3-5 pp pour LoRA) tout en maintenant le canal caché.

Performance de la détection

Sondes linéaires :
- Classification de bits : Les sondes entraînées sur les dernières couches des modèles affinés ont atteint une précision de 95–100 % pour prédire les bits encodés, contre environ 60 % pour les modèles de base.
- Récupération d'embedding : Les sondes pouvaient récupérer l'embedding du secret avec une haute similarité cosinus dans les modèles affinés, même sans connaissance du schéma d'encodage.
- Robustesse : Ce signal de détection a persisté dans l'entraînement à double objectif et même dans le réglage de contrôle "masquage XOR" où la sortie était mathématiquement impossible à décoder.

5. Signification et affirmations

L'article affirme que :

Évolution de la menace : Les attaques stéganographiques dans les LLM peuvent être rendues beaucoup plus difficiles à rétro-ingénier en passant de règles arbitraires à la géométrie de l'espace d'embedding, réduisant efficacement la récupérabilité de la charge utile à des niveaux proches du hasard pour les analystes sans clé.
Limites de la défense : La stéganalyse traditionnelle basée sur les changements de distribution (perplexité/KL) est insuffisante pour détecter la stéganographie par affinage, car les changements sont indiscernables des comportements d'affinage normaux.
Nouveau paradigme de défense : La détection doit reposer sur l'interprétabilité mécaniste. Les signatures internes de l'affinage stéganographique sont distinctes et détectables via des sondes linéaires sur les états cachés, même lorsque la sortie externe est sécurisée.
Praticité : Bien que l'affinage stéganographique pur dégrade l'utilité du modèle, l'entraînement à double objectif permet de conserver les canaux cachés avec un impact minimal sur les capacités en aval, rendant la menace plus réaliste.

Les auteurs concluent que si les attaques peuvent être durcies contre l'analyse de sortie, elles laissent des traces internes exploitables, suggérant que les défenses futures doivent se concentrer sur l'inspection des internes du modèle plutôt que sur la simple surveillance des distributions de sortie.