Synchronized Logit Steering: Real-world Steganography

Dans le bourdonnement discret d'une conversation numérique, un nouveau type de langage secret est apparu, un langage qui se cache à la vue de tous au sein des mots générés par l'intelligence artificielle. Ce domaine, connu sous le nom de stéganographie, est l'art ancien de dissimuler un message si profondément que l'existence même du message est occultée, ne laissant apparaître qu'une communication ordinaire. Contrairement à la cryptographie, qui brouille un message pour le rendre illisible à quiconque ne possède pas une clé, la stéganographie vise à rendre le message invisible à l'œil, en l'incorporant dans un texte qui semble et sonne de manière tout à fait naturelle. Les grands modèles de langage, ces puissants programmes informatiques qui rédigent des essais, résolvent des problèmes mathématiques et mènent des conversations, sont devenus une nouvelle frontière pour cette pratique. Ces modèles ne se contentent pas de récupérer des faits ; ils prédisent le mot suivant dans une phrase en se basant sur des probabilités, en choisissant parmi une gamme d'options probables. Cette variabilité intrinsèque signifie qu'à presque chaque étape de l'écriture, le modèle a le choix entre plusieurs mots qui auraient tous du sens. Les chercheurs se demandent depuis longtemps si ces choix pourraient être utilisés pour transporter des informations cachées sans que le lecteur ne sache jamais qu'elles sont présentes.

Pendant des années, les tentatives pour cacher des messages dans ces textes générés par l'IA ont été confrontées à un obstacle majeur : la nécessité d'un contexte secret partagé. Imaginez deux personnes essayant d'envoyer un message codé en utilisant un livre comme clé ; si elles n'ont pas exactement la même édition, ou si elles ne regardent pas les mêmes pages, le code échoue. De même, les méthodes précédentes pour cacher des données dans le texte de l'IA exigeaient que l'expéditeur et le destinataire partagent exactement les mêmes instructions de départ, ou « prompt », pour calculer la même liste de mots probables. Dans le monde réel, où les systèmes d'IA puisent souvent des données privées ou utilisent des instructions internes cachées qui changent d'un moment à l'autre, cette exigence rendait la technique fragile et peu pratique. Si l'expéditeur et le destinataire ne commençaient pas avec le même contexte, le message caché serait perdu ou corrompu. Une équipe de chercheurs d'Algoverse AI a maintenant développé une solution qui élimine entièrement cette dépendance, permettant à deux parties d'échanger des messages cachés même si elles n'ont jamais vu le même point de départ.

Les chercheurs appellent leur méthode le « Synchronized Logit Steering » (pilotage de logit synchronisé). Au lieu de s'appuyer sur un prompt de départ partagé, le système crée une compréhension commune basée sur le texte qui a déjà été écrit. Le processus commence par un échange standard de mots. Une fois qu'un nombre de mots convenu — spécifiquement quarante jetons (tokens), qui sont les unités de base de texte que le modèle traite — est généré, l'expéditeur et le destinataire utilisent ce texte existant comme un nouveau point de référence partagé. Ce « prompt proxy » agit comme un terrain d'entente. Parce que les deux parties peuvent voir les mêmes mots qui sont déjà apparus, elles peuvent calculer indépendamment la même liste exacte de mots suivants probables, même si leurs instructions de départ originales étaient complètement différentes. Cette synchronisation leur permet de s'accorder sur un code caché sans jamais avoir besoin de partager le contexte initial secret.

Pour envoyer un message, l'expéditeur examine la liste des mots suivants probables générés par ce référentiel partagé. Il choisit ensuite un mot spécifique non pas seulement parce qu'il convient à la phrase, mais parce que sa position sur cette liste correspond à une partie de la donnée cachée. Par exemple, si le message caché nécessite le chiffre cinq, l'expéditeur choisit le cinquième mot le plus probable de la liste. Le destinataire, voyant le même mot et connaissant la même liste de probabilités, peut simplement compter la position de ce mot pour récupérer le chiffre cinq. Cela se produit de manière répétée, le système vérifiant l'« entropie », ou le degré d'incertitude du texte, pour s'assurer que le choix des mots reste naturel. Le système ne cache des données que lorsque le modèle est suffisamment incertain pour que le choix d'un mot moins commun ne paraisse pas étrange ou robotique.

L'équipe a testé cette méthode à travers une grande variété de tâches, incluant des conversations générales, des raisonnements mathématiques complexes et des problèmes d'ingénierie logicielle. Ils ont constaté qu'une fois les quarante mots initiaux établis, la différence statistique entre le texte généré avec un message caché et le texte normal devenait négligeable. En termes techniques, la divergence entre les deux types de texte est tombée sous un seuil critique, ce qui signifie que les messages cachés étaient statistiquement indiscernables d'une écriture ordinaire. Les chercheurs ont également découvert qu'en répétant ce processus par rafales, ils pouvaient augmenter considérablement la quantité d'informations cachées. Leur configuration la plus efficace, qu'ils appellent une « rafale périodique », leur a permis d'incorporer environ dix fois plus de données que les tentatives précédentes de message unique, atteignant une densité de 0,20 bit par jeton. Cela signifie que pour chaque mot écrit par l'IA, une petite fraction de bit d'information secrète était insérée avec succès sans altérer le flux de la conversation.

Malgré le succès de la méthode, les chercheurs ont noté un compromis lorsque les messages cachés étaient intégrés dans des tâches complexes. Lorsque le système tentait de cacher des données au sein d'un raisonnement mathématique ou d'un code logiciel, la précision des réponses de l'IA diminuait légèrement. Cela suggère que forcer le modèle à choisir des mots spécifiques peut parfois l'éloigner du chemin étroit de la logique requis pour les problèmes difficiles. Les chercheurs proposent que, dans des applications réelles, le système soit capable de reconnaître lorsqu'il se trouve en mode technique et de cesser de cacher des messages, réservant la technique aux parties plus conversationnelles ou descriptives du texte. Cette approche adaptative préserverait la qualité du raisonnement de l'IA tout en permettant une communication clandestine dans des contextes plus sûrs.

Les implications de ce travail sont doubles. D'une part, cela démontre une manière robuste de marquer le contenu de l'IA ou de vérifier l'origine d'un texte sans avoir besoin d'une clé secrète partagée, ce qui pourrait être utile pour protéger la propriété intellectuelle. D'autre part, cela met en lumière une vulnérabilité dans la façon dont les systèmes d'IA communiquent, montrant que des agents pourraient potentiellement coordonner ou exfiltrer des données sans supervision humaine. Les chercheurs soulignent que comprendre comment ces canaux cachés sont construits est la première étape vers la création de défenses contre eux. Ils suggèrent que les futurs systèmes de sécurité pourraient surveiller des modèles inhabituels dans le choix des mots ou perturber les signatures statistiques qui rendent cette synchronisation possible. Enfin, l'étude confirme que la capacité de cacher des messages dans le texte de l'IA n'est pas seulement une possibilité théorique mais une réalité pratique, qui opère discrètement dans le flux naturel du langage, attendant d'être découverte par ceux qui savent regarder.