💬 NLP

Black-Box Forensics for Conversational LLM Agents

Cet article présente un cadre forensique de type boîte noire pour les agents conversationnels basés sur les LLM qui parvient à une attribution de haute précision des modèles de base et à un empreinte robuste des invites système inédites en utilisant seulement quelques tours de conversation non adversaire, permettant ainsi de remonter les escroqueries assistées par l'IA jusqu'à leurs fournisseurs et de lier les réseaux criminels.

Auteurs originaux : Isadora White, Yasaman Jafari, Taylor Berg-Kirkpatrick

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Isadora White, Yasaman Jafari, Taylor Berg-Kirkpatrick

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'Internet soit un marché immense et bouillonnant. Dans ce marché, il y a des milliers de « chatbots » (agents d'IA conversationnels) qui semblent et sonnent exactement de la même manière pour un utilisateur humain. Il peut s'agir de bots de service client utiles, ou de escrocs tentant de vous piéger. Le problème est que ces bots sont des « boîtes noires » : vous pouvez leur parler, mais vous ne pouvez pas voir à l'intérieur de leur cerveau. Vous ne savez pas quel modèle informatique ils utilisent, et vous ne connaissez pas les instructions secrètes (le « prompt système ») que le propriétaire leur a données.

Ce document présente un nouvel ensemble d'« outils de détective » capables de découvrir qui sont réellement ces bots, simplement en ayant une conversation normale et polie avec eux. Pas de piratage, pas de codes spéciaux, juste de la discussion.

Voici comment fonctionnent les deux principaux outils du document, expliqués avec des analogies simples :

1. L'attribution : Identifier la « marque » du bot

L'analogie : Imaginez que vous goûtez une soupe. Vous ne voyez pas le chef, et vous ne connaissez pas la recette. Mais vous savez que le Chef A utilise toujours beaucoup de sel, que le Chef B fait toujours un bouillon très épais, et que le Chef C ajoute toujours une pointe de citron. Même si vous ne connaissez pas le plat exact, vous pouvez deviner quel chef a préparé la soupe en fonction de la saveur.

Ce que fait le document :
Les chercheurs ont construit un système qui agit comme un « goûteur de saveurs » pour le texte. Ils l'ont entraîné à écouter quelques tours de conversation et à deviner quel modèle de base (le moteur d'IA sous-jacent, comme GPT-4 ou Llama) alimente le bot.

Le résultat : Ils peuvent identifier la « marque » spécifique de l'IA avec une précision de 98 % à partir de quelques phrases de chat normal. Ils peuvent même faire la différence entre deux modèles très similaires d'une même famille (comme une petite version par rapport à une grande version).

2. L'empreinte digitale (Fingerprinting) : Attraper la « recette secrète »

L'analogie : Maintenant, imaginez que deux restaurants différents prétendent tous deux servir le « Chili Secret de Grand-mère ». Vous ne pouvez pas demander la recette (c'est un secret commercial), mais vous voulez savoir : Ces deux restaurants utilisent-ils réellement la même recette secrète exacte, ou font-ils simplement semblant ?

Ce que fait le document :
C'est la grande percée de ce document. Habituellement, pour savoir si deux choses sont identiques, il faut les avoir déjà vues toutes les deux. Mais ici, les chercheurs ont construit un outil capable d'examiner deux chatbots complètement nouveaux (qu'il n'a jamais vus auparavant) et de dire : « Oui, ces deux-là utilisent exactement les mêmes instructions secrètes », ou « Non, ils sont différents ».

Comment cela fonctionne : Ils utilisent un « Cross-Encoder », qui est comme un super-observateur qui lit deux conversations côte à côte et cherche des motifs subtils et invisibles dans la façon dont les bots parlent, font des pauses et structurent leurs réponses.
Le résultat : Même si les instructions secrètes n'ont jamais été vues par le détective, l'outil peut les faire correspondre avec une précision d'environ 77 % en utilisant seulement quelques tours de chat. Si le détective collecte 50 conversations provenant du même bot, la précision grimpe à 94 %.

Pourquoi est-ce important ?

Le document suggère trois utilisations principales pour ces outils, toutes axées sur la capture des acteurs malveillants ou la garantie de la sécurité :

Démanteler les réseaux d'escroquerie : Si un escroc utilise un bot aujourd'hui, puis utilise un autre bot la semaine prochaine, cet outil peut dire aux enquêteurs : « Hé, ces deux bots utilisent les mêmes instructions secrètes. » Cela permet de lier les escroqueries individuelles à un seul réseau criminel.
Repérer les changements silencieux : Les entreprises remplacent parfois discrètement le modèle d'IA qu'elles utilisent (par exemple, en passant d'un modèle intelligent et coûteux à un modèle plus basique et moins cher) sans en informer leurs clients. Cet outil peut détecter ce « glissement silencieux » simplement en écoutant le changement de comportement du bot au fil du temps.
Meilleure évaluation de la sécurité : Si vous essayez de tester les faiblesses d'un bot (comme les « jailbreaks »), vous devez savoir exactement à quel modèle vous faites face. Cet outil dit aux défenseurs : « Vous ne combattez pas un bot générique ; vous combattez un modèle spécifique avec une personnalité spécifique », afin qu'ils puissent adapter leur défense.

La méthode du « Détective »

Un élément clé de ce document est la façon dont ils parlent aux bots. Le piratage traditionnel tente de piéger le bot avec des absurdités ou des questions confuses. Ce document dit : « Non, soyons polis. »

Ils utilisent un « Agent Détective » qui a simplement une conversation normale et amicale (comme demander un support client ou négocier un prix).
Parce que la conversation est normale, le bot ne devient pas suspect et ne cherche pas à se cacher. Cela permet au détective d'entendre la « voix naturelle » du bot et de trouver les empreintes digitales cachées.

Le revers de la médaille (Limites)

Le document est très honnête sur ses limites :

C'est une simulation : Ils n'ont pas testé cela sur de vrais escrocs en direct sur Internet (car c'est illégal et dangereux). Ils ont créé une vaste bibliothèque de 240 000 conversations fictives utilisant différents modèles et des instructions secrètes inventées pour entraîner leurs outils.
Cela nécessite un peu de données : Bien que cela fonctionne avec quelques phrases, l'efficacité augmente considérablement si vous avez plus de conversations (jusqu'à 50) à analyser.
Ce n'est pas magique : Si quelqu'un essaie de déguiser le bot en réécrivant ses réponses à l'aide d'une autre IA, l'outil devient un peu moins précis, mais reste plus performant que de nombreuses autres méthodes.

En résumé : Ce document donne aux enquêteurs un moyen d'identifier la « marque et le modèle » d'un chatbot et de lier différents bots entre eux par leur « recette secrète », tout cela en ayant simplement une conversation polie avec eux. Cela transforme le monde invisible des portes dérobées de l'IA en quelque chose qui peut être suivi et tenu responsable.

Résumé technique : Forensique en boîte noire pour les agents conversationnels LLM

Énoncé du problème

À mesure que l'adoption des modèles de langage étendus (LLM) progresse, la prolifération des campagnes de fraude, d'ingénierie sociale et de désinformation assistées par l'IA s'intensifie. Ces agents malveillants opèrent souvent derrière des points de terminaison anonymes où les enquêteurs n'ont pas accès aux poids du modèle, aux prompts système ou aux configurations internes. Le document traite du défi de la forensique en boîte noire : récupérer des informations d'identification sur le modèle de base et le prompt système d'un agent uniquement par l'interaction conversationnelle, sans sondage adversarial ou accès aux états internes.

Les auteurs définissent deux capacités complémentaires requises pour cette tâche :

Attribution : Identifier quel modèle de base ou quel prompt système alimente un point de terminaison spécifique à partir d'un ensemble fixe et fermé de candidats.
Empreinte numérique (Fingerprinting) : Déterminer si deux transcriptions de conversations distinctes proviennent de la même configuration cachée (modèle de base + prompt système), même si cette configuration spécifique n'a jamais été vue lors de l'entraînement (zero-shot).

Cette capacité est cruciale pour lier des escroqueries individuelles à des réseaux criminels, détecter les changements silencieux d'API (par exemple, des fournisseurs changeant les modèles backend sans divulgation) et adapter les efforts de red-teaming aux vulnérabilités spécifiques des modèles.

Méthodologie

Le document propose un cadre qui repose sur l'élicitation active plutôt que sur l'observation passive. Un agent « détective » (propulsé par QWEN-4B-INSTRUCT) initie et dirige des conversations ordinaires et non adversariales avec un agent « cible ». Cette approche évite la détectabilité des chaînes adversariales traditionnelles ou des injections de prompts, permettant à l'outil forensique de rester furtif.

Génération de données

En raison de l'impossibilité d'obtenir des données réelles étiquetées (ce qui nécessiterait l'extraction de prompts propriétaires ou le recours à des données scrapées non vérifiées), les auteurs ont construit un corpus synthétique de 240 000 transcriptions étiquetées.

Modèles de base : Six modèles ont été utilisés : GPT-OSS-20B, GPT-OSS-120B, LLAMA-3.1-8B-INSTRUCT, QWEN-4B-INSTRUCT, GPT-4O-MINI et GPT-4.1-NANO.
Prompts système : 40 prompts système distincts ont été organisés, couvrant des scénarios de support client et de négociation.
Variations : Pour tester la sensibilité, les auteurs ont créé des variantes contrôlées de prompts, incluant une troncature sévère, une paraphrase sémantique et des résumés à haute densité.
Contrôle : Toutes les interactions ont utilisé des paramètres de génération standardisés (température 0.7, max 512 tokens) pour isoler les empreintes stylistiques et structurelles du bruit sémantique.

Approches techniques

1. Attribution

Les auteurs ont adapté les techniques d'attribution d'auteur aux données conversationnelles :

Baseline parcimonieuse (Sparse) : Utilisation de TF-IDF au niveau unigramme/caractère et de caractéristiques stylométriques (fréquence de ponctuation, longueur d'énoncé) avec un classificateur de régression logistique multinomial.
Baseline dense : Fine-tuning de QWEN-4B-INSTRUCT utilisant des adaptateurs LoRA pour agir comme un classificateur.
Tâche : Le système tente de mapper une conversation à un modèle de base ou à un prompt système spécifique à partir d'un ensemble de candidats connus.

2. Empreinte numérique (Fingerprinting - Zero-Shot)

L'innovation centrale est une approche par cross-encoder conçue pour faire correspondre deux conversations à la même configuration cachée sans entraînement préalable sur cette configuration spécifique.

Architecture : Les auteurs ont exploité ELECTRA-large et BERT-base comme cross-encoders. Ces modèles encodent des paires de conversations et produisent des probabilités de log pour une classification « identique vs différent ».
Objectif d'entraînement : Le modèle est entraîné pour distinguer des paires de conversations provenant de la même configuration d'agent par rapport à des paires provenant de configurations différentes (prompts différents sur le même modèle de base).
Gestion des entrées : En raison des limites de la fenêtre de contexte (512 tokens), les conversations ont été tronquées aux trois premiers tours.
Mise à l'échelle (Scaling) : La méthode évalue la performance en agrégeant plusieurs paires de conversations ( $k$ ) provenant du même agent pour renforcer la confiance.

Résultats clés

Performance d'attribution

Attribution du modèle de base : Le système atteint une précision de 98 % dans l'identification du modèle de base à partir de quelques tours de conversation non adversariale. Il distingue avec succès les modèles d'une même famille mais de tailles différentes (ex: GPT-OSS-20B vs. GPT-OSS-120B) avec une précision de 95 %.
Attribution du prompt système : Bien que possible, la précision dépend fortement de la réactivité du modèle de base aux instructions et de la similitude sémantique des prompts.
- Sur des modèles comme QWEN-4B-INSTRUCT et GPT-4.1-NANO, l'attribution de prompt par paire atteint une précision >90 %.
- Sur des modèles comme GPT-OSS-20B et GPT-OSS-120B, la précision de l'attribution chute considérablement, et la corrélation entre la similitude sémantique du prompt et la détectabilité est négligeable ( $r < 0.2$ ).
- La classification multi-voies des prompts s'est avérée nettement plus difficile que la classification binaire, les classificateurs affinés peinant à dépasser 63 % de précision.

Performance de l'empreinte numérique (Fingerprinting)

Capacité Zero-Shot : La méthode du cross-encoder atteint un AUC de 0,768 et un score F1 de 0,703 sur des prompts système entièrement inédits (contexte zero-shot).
Échelle avec l'évidence : La performance s'améliore substantiellement avec davantage de données. L'agrégation de 50 paires de conversations par agent cible porte l'AUC à 0,943 et le F1 à 0,77. Même avec seulement 5 paires, l'AUC atteint 0,83.
Comparaison avec les baselines : Le cross-encoder a nettement surpassé les baselines, incluant le chevauchement N-gram (AUC 0,59), la régression logistique simple (AUC 0,667) et les bi-encoders (AUC ~0,75).

Robustesse

Changements de sujet et d'agent : La méthode est robuste aux changements de sujets de conversation et à l'identité de l'agent détective (utiliser GPT-OSS-20B comme détective au lieu de QWEN-4B-INSTRUCT), avec des chutes d'AUC de moins de 0,03.
Paramètres d'échantillonnage : Les variations de température et de limites de tokens ont causé une dégradation minimale de la performance (<0,02 de baisse d'AUC).
Perturbations adversariales :
- Attaques par paraphrase : L'utilisation d'un LLM proxy pour reformuler les énoncés a réduit la performance de 0,10 AUC, mais la méthode reste efficace (AUC 0,94 avec $k=10$ ).
- Longueur du contexte : La performance se dégrade significativement avec des contextes courts (une conversation d'un tour fait chuter l'AUC de 0,20) et lors des étapes ultérieures d'interactions longues, bien que le vote majoritaire puisse en récupérer une partie.

Signification et affirmations

Le document affirme être le premier à étudier l'attribution et l'empreinte numérique de prompts système dans un cadre conversationnel en boîte noire sans accès aux poids du modèle, aux prompts système ou aux conversations d'entraînement de vérité terrain.

Les principales contributions incluent :

Forensique furtive : Démontrer qu'une attribution et une empreinte numérique de haute fidélité peuvent être obtenues via un dialogue ordinaire et non adversarial, évitant les risques de détection associés à l'injection de prompt ou au sondage adversarial.
Scalabilité vers le monde ouvert : Contrairement aux méthodes d'attribution qui nécessitent un ensemble de candidats fixe, l'approche d'empreinte numérique s'adapte au « monde ouvert », permettant aux enquêteurs de regrouper des campagnes d'escroquerie distinctes ou de détecter des dérives d'API silencieuses sans réentraînement sur la nouvelle configuration.
Utilité pratique : Les résultats suggèrent qu'agréger un petit nombre d'interactions (ex: 50 tours) est suffisant pour lier des escroqueries disparates à des réseaux criminels ou identifier des changements de modèle silencieux avec une grande confiance.

Les auteurs positionnent ce travail comme un outil nécessaire pour la gouvernance des plateformes et les équipes de sécurité, permettant de remonter les escroqueries assistées par IA vers leurs fournisseurs et de détecter les changements de backend non annoncés qui pourraient modifier matériellement les comportements en aval.

Limites et considérations éthiques

Les auteurs reconnaissent que leur évaluation repose sur un corpus synthétique, qui peut servir de limite inférieure pour la performance réelle compte tenu de la diversité des prompts système dans la nature. Ils soulignent que la méthodologie doit être strictement restreinte à l'audit des API commerciales publiques et à l'enquête sur des opérations malveillantes coordonnées et à grande échelle. Pour atténuer les risques de surveillance, ils proposent des protocoles opérationnels incluant la validation préalable de la cible, la minimisation des données, la rédaction des PII (informations personnellement identifiables) et l'auditabilité obligatoire.