💬 NLP

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

Cet article propose OD-Stega, une méthode de stéganographie sans couverture basée sur les LLM qui maximise l'efficacité de l'incorporation en dérivant une solution analytique pour optimiser les distributions de probabilité du prochain jeton sous des contraintes de divergence, tout en abordant simultanément des défis pratiques tels que les décalages de tokenisation, la troncature du vocabulaire et la compatibilité avec les techniques existantes.

Auteurs originaux : Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

Publié 2026-01-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Cacher des secrets à la vue de tous

Imaginez que vous vouliez envoyer un message secret à un ami, mais que vous êtes surveillé par un garde sévère (appelons-la Eve). Si vous écrivez le message sur un morceau de papier et le cachez à l'intérieur d'un livre, Eve pourrait trouver le livre suspect.

La stéganographie traditionnelle (l'art de cacher des secrets) consiste à prendre un livre existant et à modifier subtilement quelques lettres pour y dissimuler le message. Mais ce papier propose une approche différente : la stéganographie sans support (Coverless Steganography). Au lieu de cacher un message dans un livre, vous demandez à un robot écrivain super intelligent (un LLM, ou grand modèle de langage) d'écrire un nouveau livre de toutes pièces qui ressemble à une histoire normale, mais qui contient secrètement votre message.

Le problème : Le robot est trop prévisible

Le robot écrivain est très bon dans son travail. Si vous lui demandez d'écrire une histoire sur « gagner un prix », il dira naturellement des choses comme « gagner un grand prix » ou « gagner un gros prix ». Il dit rarement « gagner un prix violet ».

Parce que le robot est si prévisible, il est difficile de cacher des secrets. Pour cacher un secret, vous devez faire en sorte que le robot choisisse entre de nombreuses options différentes (comme choisir entre « majeur », « grand », « énorme », « massif »). Si le robot n'a qu'un seul choix évident, vous ne pouvez pas y cacher de données.

La solution : OD-Stega (Le robot « optimisé »)

Les auteurs ont créé une méthode appelée OD-Stega. Considérez cela comme un « bouton de réglage » pour le robot écrivain.

L'objectif : Ils veulent que le robot soit légèrement moins prévisible (plus aléatoire) afin de pouvoir cacher plus de morceaux de données secrets, mais pas trop aléatoire pour que l'histoire paraisse bizarre et qu'Eve les attrape.
Le compromis : Imaginez que les choix naturels du robot sont une rivière calme et lisse.
- Sécurité parfaite : Si vous ne touchez pas à la rivière, elle coule naturellement. Eve ne peut pas voir qu'elle est différente, mais vous ne pouvez pas y cacher grand-chose.
- Trop de dissimulation : Si vous rendez la rivière sauvage et chaotique, vous pouvez cacher beaucoup de choses, mais Eve verra immédiatement que l'eau se comporte de manière étrange.
- OD-Stega : Cette méthode trouve la zone « Goldilocks » (ni trop chaud, ni trop froid). Elle ajuste la rivière juste assez pour la rendre un peu agitée (permettant de cacher plus de secrets) tout en gardant l'apparence d'une rivière naturelle à l'œil nu.

Comment ça marche (Les mathématiques simplifiées)

Le papier résout un casse-tête mathématique : Comment changer les choix du robot pour cacher le plus de secrets sans que l'histoire ait l'air fausse ?

L'astuce de la « Température » : En IA, il existe un paramètre appelé « température » qui contrôle l'aléatoire. Le papier prouve que leur solution mathématique complexe est en fait simplement une façon sophistiquée d'ajuster ce bouton de température. Ils calculent la quantité exacte de « chaos » à ajouter pour que l'histoire reste naturelle tout en portant un secret.
L'hypothèse du « Garde faible » : Le papier suppose que le garde (Eve) n'est pas un super-ordinateur ; elle peut être un humain ou un programme simple avec des limites. OD-Stega tire parti de cela. Il dit : « Nous allons rendre l'histoire légèrement étrange, en sachant que le garde ne le remarquera pas, mais qu'un détecteur très intelligent pourrait le voir. » Cela leur permet de cacher 20 % à 55 % de secrets en plus qu'auparavant.

Résoudre les problèmes réels

Les auteurs n'ont pas seulement fait des mathématiques ; ils ont corrigé trois problèmes pratiques qui cassent habituellement ces systèmes :

Le bug de la « Division de mot » (Word Split) :
- Le problème : Les ordinateurs découpent les mots en morceaux appelés « tokens ». Parfois, l'ordinateur de l'expéditeur divise le mot « montagne » en « mont » et « agne », mais l'ordinateur du destinataire voit le mot entier « montagne ». Cela provoque une corruption du message secret.
- La correction : Ils ont ajouté un simple « test de parcours ». Avant d'envoyer le vrai message, l'expéditeur essaie quelques messages fictifs pour voir si l'ordinateur du destinataire lit les mots de la même manière. Si ce n'est pas le cas, il ajuste jusqu'à ce que cela corresponde.
Le bug du « Trop de choix » :
- Le problème : Le robot a des milliers de mots à sa disposition. Calculer le meilleur choix pour tous ces mots prend trop de temps.
- La correction : Ils ignorent les milliers de mots que le robot ne choisirait jamais de toute façon (comme « banane » dans une histoire sur les Jeux Olympiques). Ils se concentrent uniquement sur les 100 mots les plus probables, ce qui rend le processus beaucoup plus rapide.
Le bug de la « Vieille technologie » :
- Le problème : Beaucoup de méthodes de conservation de secrets utilisent un outil mathématique spécifique appelé « Codage Arithmétique ».
- La correction : Ils ont montré que leur méthode fonctionne même avec d'autres outils de conservation de secrets plus anciens, ce qui en fait une mise à jour universelle pour de nombreux systèmes.

Qu'ont-ils découvert ?

Ils ont testé leur méthode en utilisant un robot écrivain puissant (LLaMA2) et un outil de conservation de secrets appelé « Discop ».

Plus de secrets : En utilisant leur « bouton de réglage », ils ont pu cacher nettement plus de données secrètes dans la même quantité de texte.
Toujours naturel : Ils ont utilisé une IA « humaine » (GPT-4) et plusieurs programmes de « garde » pour vérifier les histoires. Lorsqu'ils maintenaient le « réglage » bas, les histoires paraissaient 100 % naturelles et les gardes ne pouvaient pas dire qu'elles étaient fausses.
La limite : Si on tournait le « réglage » trop haut pour cacher trop de secrets, les histoires commençaient à paraître bizarres et les gardes les attrapaient.

Résumé

OD-Stega est une nouvelle façon de cacher des secrets dans le texte généré par l'IA. Il agit comme un éditeur intelligent qui pousse légèrement les choix de mots de l'IA pour y intégrer plus de données secrètes, tout en veillant à ce que l'histoire paraisse assez naturelle pour tromper un humain ou un garde informatique simple. Il résout les problèmes techniques courants qui font généralement échouer ces systèmes et fonctionne avec les outils de conservation de secrets existants.

Résumé Technique : OD-Stega

Énoncé du Problème
L'article traite du défi de la stéganographie sans couverture (coverless steganography) utilisant les Grands Modèles de Langage (LLM). Dans ce cadre, un émetteur (Alice) génère un texte contenant un message secret caché, qui est transmis à un récepteur (Bob) via un canal public surveillé par un espion (Eve). L'objectif principal est de maximiser l'utilisation de l'encodage (le nombre de bits secrets cachés par jeton/token) tout en préservant la naturenalité du texte généré (imperceptibilité).

La stéganographie traditionnelle basée sur les LLM repose sur le codage arithmétique (AC), où le message secret pilote l'échantillonnage des jetons en fonction de la distribution de probabilité native du LLM. Cependant, les LLM produisent souvent des sorties hautement déterministes (faible entropie), ce qui limite la quantité d'informations pouvant être cachées. De plus, les méthodes existantes supposent souvent un régime de « sécurité parfaite » où le texte stéganographique doit être indiscernable du texte naturel sous toute capacité de détection. Les auteurs soutiennent que dans de nombreux scénarios pratiques, Eve est un « détecteur faible » (par exemple, limitée par sa puissance de calcul ou ses contraintes de délai), ce qui permet une relaxation des contraintes de sécurité pour atteindre une capacité d'encodage plus élevée. Cela conduit au concept de stéganographie relativement sécurisée.

Méthodologie
Le cœur de la méthode proposée, OD-Stega (Optimized Distribution Steganography), consiste à remplacer la distribution de probabilité native $P$ du LLM par une distribution optimisée $Q$ possédant une entropie plus élevée, sous réserve d'une contrainte de divergence entre $Q$ et $P$ .

Formulation de l'Optimisation :
Le problème est formulé comme la maximisation de l'entropie de Shannon $H(Q)$ de la distribution de remplacement $Q$ , sous une contrainte de divergence $D(Q || P) \leq \delta$ , où $\delta$ représente l'écart admissible (budget de sécurité) basé sur les capacités de détection d'Eve. Les auteurs considèrent deux mesures de divergence :
- Divergence de Kullback-Leibler (KL) : Une solution sous forme fermée est dérivée où la $Q$ optimale est obtenue en appliquant une mise à l'échelle de température (temperature scaling) aux logits de la distribution originale $P$ . Spécifiquement, $Q$ correspond à $P$ mis à l'échelle par un paramètre de température $T \geq 1$ .
- Distance de Variation Totale (TV) : La solution optimale suit une procédure de « remplissage de l'eau » (water-filling), où la masse de probabilité est redistribuée des jetons à haute probabilité vers les jetons à faible probabilité pour égaliser les probabilités jusqu'à un certain seuil, aplatissant ainsi la distribution.
Sélection Adaptative des Paramètres :
Pour éviter la génération de textes non naturels (particulièrement dans les contextes à faible entropie où les choix de jetons sont presque déterministes), le budget de divergence $\delta$ n'est pas fixé globalement. Au lieu de cela, il est défini de manière adaptative en fonction de l'entropie du jeton actuel : $\delta_i = C \cdot H(P_i)$ , où $C$ est une constante ajustable.
Solutions d'Ingénierie Pratique :
L'article aborde trois problèmes pratiques critiques :
- Incohérence de la Tokenisation : Les tokeniseurs standards ne garantissent pas une séquence de jetons unique pour un texte donné (par exemple, "mountain" vs "mount" + "ain"). Les auteurs proposent une stratégie de sélection de prompt où Alice préfixe le message secret par une courte séquence de "bits fictifs" ( $B$ ) au message secret. Elle itère à travers les combinaisons de $B$ jusqu'à ce que le texte stéganographique résultant puisse être correctement tokenisé et décodé par Bob, qui supprime ensuite $B$ .
- Troncation du Vocabulaire : Pour réduire la complexité computationnelle, le vocabulaire est tronqué aux $N_\epsilon$ meilleurs jetons (où la probabilité cumulative est $1-\epsilon$ ). Les auteurs prouvent que la divergence KL totale est additive à travers les étapes de troncation et d'optimisation, permettant un contrôle précis du budget de sécurité global.
- Intégration avec les Méthodes Non-AC : L'approche est montrée comme étant compatible avec les techniques existantes qui ne reposent pas strictement sur le codage arithmétique, telles que Discop (qui utilise des copies de distribution). La distribution optimisée est appliquée avant l'étape d'encodage dans ces cadres.

Contributions Clés

Formulation Théorique : L'article établit que la maximisation de la capacité d'encodage sous une contrainte de sécurité est équivalente à la maximisation de l'entropie de la distribution de jetons sous une contrainte de divergence. Il fournit des solutions sous forme fermée pour les contraintes KL et TV.
Cadre OD-Stega : Un système pratique qui intègre les distributions optimisées avec le codage arithmique, traitant les erreurs de tokenisation via une boucle de vérification et gérant les coûts de calcul via la troncation du vocabulaire.
OD-Discop : Une démonstration que la technique d'optimisation peut être appliquée universellement pour améliorer l'utilité d'encodage d'autres méthodes stéganographiques, spécifiquement la technique Discop.
Validation Empirique : Expérimentations approfondies utilisant les modèles LLaMA2-7B et GPT2-XL, évaluant l'utilisation de l'encodage, les taux de détection contre les outils de stéganalyse de pointe (FCN, SESY, GS-Llama) et la perception humaine via GPT-4.

Résultats Expérimentaux

Utilisation de l'Encodage : Les expériences démontrent un compromis significatif entre sécurité et capacité. En augmentant le paramètre $C$ $C$ (ce qui augmente la divergence $\delta$ $δ$ ), l'utilisation des bits par 25 jetons augmente considérablement.
- Avec une contrainte stricte ( $C=0,01$ , simulant un détecteur fort), l'utilisation de l'encodage a augmenté d'environ 20 % par rapport aux méthodes de base de troncation.
- Avec une contrainte relaxée ( $C=0,05$ , simulant un détecteur faible), l'utilisation a augmenté jusqu'à 55 %.
Performance de la Stéganalyse : Testé contre les détecteurs FCN, SESY et GS-Llama :
- Pour de faibles valeurs de $C$ , les textes stéganographiques étaient largement indiscernables du texte naturel des LLM (taux de détection proche du hasard).
- À mesure que $C$ augmentait, les taux de détection augmentaient, confirmant la nature contrôlable de la dégradation de la sécurité.
Évaluation de la Perception : Les évaluations par GPT-4 ont montré une corrélation entre le paramètre de divergence et la probabilité que le texte soit signalé comme non humain, ce qui est cohérent avec les résultats de la stéganalyse.
Robustesse de la Tokenisation : La méthode de vérification par ajout de bits (bit-padding) proposée a résolu avec succès les incohérences de tokenisation sans nécessiter une énumération exhaustive.

Signification et Revendications
L'article affirme que OD-Stega fournit une approche fondée sur des principes pour la stéganographie relativement sécurisée, offrant une liberté de conception qui équilibre la capacité d'encodage et la détectabilité. Contraên l'approche des méthodes "parfaitement sécurisées" qui peuvent être limitées par la faible entropie de la génération de langage naturel, OD-Stega exploite explicitement les limites de l'espion (Eve) pour maximiser la dissimulation d'informations.

Les auteurs soulignent que leur méthode est universelle, capable d'améliorer les schémas existants basés sur l'AC et non-AC (comme Discop). Ils positionnent la divergence KL (ou la distance TV) non seulement comme une mesure théorique, mais comme un levier de contrôle pratique (hyperparamètre) qui permet aux ingénieurs de régler le système en fonction du modèle de menace et des exigences de l'application. Le travail reconnaît des limites, notant que l'optimisation est effectuée jeton par jeton sans anticipation à long terme (en raison des coûts de calcul) et que le "seuil d'imperceptibilité" est traité comme un paramètre ajustable plutôt que comme un modèle perceptuel appris.