🤖 AI

PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines

PRISM est un mécanisme de défense en temps réel pour les systèmes LLM multi-agents qui atténue les fuites de secrets en détectant les dynamiques de génération précoce, telles que l'effondrement de l'entropie et la concentration des logits, pour intervenir au niveau de chaque token avant que les informations sensibles ne soient entièrement reconstruites, atteignant une précision parfaite et zéro fuite sur un ensemble de tests adversariaux complet.

Auteurs originaux : Riya Tapwal, Abhishek Kumar, Carsten Maple

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Riya Tapwal, Abhishek Kumar, Carsten Maple

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une équipe de quatre robots travaillant ensemble pour résoudre un problème complexe, comme le débogage d'un système informatique. Ils échangent des notes dans un cahier partagé (le « contexte »).

Voici le problème : si le premier robot récupère accidentellement un mot de passe secret depuis un fichier et l'écrit dans le cahier, le deuxième robot pourrait le voir, le copier dans sa propre note et le transmettre au troisième. Même si personne n'a intentionnellement voulu voler le mot de passe, le secret est transmis le long de la chaîne, amplifié, et finit par se retrouver dans le message final envoyé à l'utilisateur humain. L'article appelle cela la « Propagation Amplification ». C'est comme un jeu de « Téléphone arabe », mais au lieu que le message se déforme, il devient dangereusement exposé.

Les anciennes méthodes pour stopper les fuites

Les auteurs affirment que les gardes de sécurité actuels pour ces équipes de robots ressemblent à des videurs qui ne vérifient les gens qu'après qu'ils ont déjà quitté le club.

Scanners statiques : C'est comme chercher un t-shirt rouge spécifique. Si le secret est écrit dans une police différente ou caché de manière étrange, le scanner le manque.
Juges LLM : C'est comme embaucher un deuxième robot pour lire la note finale et dire : « Hmm, cela semble risqué. » Mais au moment où ils la lisent, le secret est déjà sorti et les dégâts sont faits.
Instructions de prompt : C'est comme dire aux robots : « Ne parlez pas de secrets ! » Mais si les robots sont confus ou trompés, ils oublient la règle.

La nouvelle solution : PRISM

L'article présente PRISM (Intervention Prédictive des Risques pour la Surveillance des Secrets). Au lieu d'attendre que la note soit terminée, PRISM agit comme un agent de circulation debout juste à côté de la bouche du robot pendant qu'il parle.

PRISM ne regarde pas seulement ce que le robot dit ; il observe comment le robot pense pendant qu'il parle.

Le moment « Eureka » : l'effondrement de l'entropie

La plus grande découverte de l'article est un motif spécifique dans la façon dont les robots pensent lorsqu'ils sont sur le point de révéler un secret.

Pensée normale : Lorsqu'un robot écrit une histoire ou résout un problème de mathématiques, il a de nombreuses options pour le mot suivant. C'est comme une personne se promenant dans une forêt avec de nombreux chemins à choisir. Cela s'appelle une « entropie élevée » (beaucoup d'incertitude).
Pensée secrète : Lorsqu'un robot commence à reproduire un secret mémorisé (comme un mot de passe), il arrête de vagabonder. Il sait exactement quelle doit être la lettre suivante. La « forêt » se réduit à un seul chemin droit. Le robot devient extrêmement certain, et son « incertitude » s'effondre.

PRISM détecte ce changement soudain de « vagabondage » vers la « certitude ». Il voit le cerveau du robot se verrouiller sur un motif spécifique avant même que le secret complet ne soit écrit.

Comment PRISM fonctionne (le système de feux tricolores)

PRISM attribue un score de risque à chaque mot que le robot est sur le point de dire, en utilisant un mélange de 16 indices différents (comme le degré de certitude du robot, la forme des mots et les outils qu'il utilise). Il utilise un système à trois couleurs :

🟢 Vert (Sûr) : Le robot discute simplement ou résout un problème normal. Laissez-le parler.
🟡 Jaune (Suspect) : Le robot devient un peu trop certain d'un motif qui ressemble à un mot de passe. PRISM remplace doucement ce mot par un espace réservé (comme [MASQUÉ]) afin que le flux continue mais que le secret reste caché.
🔴 Rouge (Danger) : Le robot est sur une voie rapide vers la révélation d'un secret complet. PRISM appuie immédiatement sur le frein, arrêtant le robot avant que le secret ne soit terminé.

Les résultats

Les auteurs ont testé cela sur une simulation massive avec 2 000 tâches différentes et 13 façons différentes de tromper les robots.

Les anciennes gardes : Même les meilleures méthodes existantes ont laissé fuiter des secrets dans environ 15 % des cas.
PRISM : Il a bloqué 100 % des fuites. Il n'a pas seulement attrapé le secret à la fin ; il a attrapé le robot pendant qu'il tentait d'écrire le secret.
Vitesse : C'était incroyablement rapide, ajoutant presque aucun délai à la conversation, contrairement à d'autres méthodes qui nécessitaient qu'un deuxième robot lise tout d'abord.

La conclusion

L'article soutient que dans une équipe d'agents IA, les secrets ne fuient pas seulement à cause d'un mauvais prompt ; ils fuient à cause de la structure de l'équipe elle-même. Une fois qu'un secret entre dans le cahier partagé, il se propage comme un virus. PRISM est le premier outil qui agit comme un système immunitaire, repérant les premiers symptômes de l'infection (la certitude soudaine du robot) et l'arrêtant avant que le virus ne se propage à la sortie finale.

Résumé Technique : PRISM – Détection et Atténuation de la Fuite de Secrets en Temps de Génération dans les Pipelines Multi-Agents LLM

1. Énoncé du Problème : Amplification de la Propagation

L'article identifie une vulnérabilité structurelle critique dans les systèmes multi-agents de modèles de langage (LLM) : l'amplification de la propagation. Contrairement aux déploiements de modèles uniques, les pipelines multi-agents (par exemple, AutoGen, ChatDev, MetaGPT) reposent sur un contexte partagé et append-only où les agents transmettent l'information séquentiellement.

Les auteurs formalisent que lorsqu'un secret sensible $s$ est récupéré par un agent amont $A_i$ , il entre dans le contexte partagé $C$ . Les agents aval $A_{i+1} \dots A_K$ consomment ce contexte. Même si un agent aval n'a pas explicitement besoin du secret pour accomplir sa tâche, la probabilité qu'il reproduise le secret augmente avec la profondeur du pipeline. L'article modélise la probabilité de fuite comme suit :
$P_{fuite}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$
où $p_j$ est la probabilité de reproduction. Sous l'hypothèse que la probabilité de reproduction par agent est non nulle, le risque cumulatif s'aggrave à mesure que le pipeline s'approfondit. Des données empiriques provenant d'un pipeline non défendu à quatre agents montrent un taux de fuite au niveau des tâches de 71,2 %, confirmant que la fuite est une conséquence structurelle de la composition de contexte partagé, et non simplement le résultat d'une incitation par prompt adversaire.

Les défenses existantes sont inadaptées à ce contexte :

Les scanners statiques (par exemple, detect-secrets, TruffleHog) reposent sur des motifs de surface et opèrent a posteriori, échouant à détecter les reconstructions partielles ou les réutilisations contextuelles.
Les LLM en tant que juges/Barrières de sécurité opèrent une fois la génération terminée, permettant aux secrets de se propager à travers les agents intermédiaires avant d'être filtrés.
Les sauvegardes basées sur les prompts se dégradent sous le raisonnement multi-sauts et le cadrage adversaire.

2. Méthodologie : PRISM (Intervention Prédictive des Risques pour la Surveillance des Secrets)

PRISM est un mécanisme de défense en temps réel conçu pour intervenir pendant le processus de génération de tokens, avant qu'un secret ne soit entièrement reconstitué et propagé.

Insight Central

Les auteurs observent que la reproduction d'une credential mémorisée est précédée par un changement mesurable dans la dynamique de génération. Alors qu'un LLM passe d'une génération ouverte à la reproduction déterministe d'un secret structuré (par exemple, une clé API), l'entropie au niveau des tokens s'effondre et la concentration des logits augmente. Cette « transition de phase » sert de signal d'alerte précoce.

Architecture

PRISM fonctionne comme un moniteur par token intégré à la boucle de décodage de chaque agent dans le pipeline.

Extraction de Caractéristiques : À chaque étape de décodage $t$ $t$ , PRISM agrège un vecteur de caractéristiques à 16 dimensions $f_t$ $f_{t}$ comprenant :
- Dynamiques de Génération Temporelles : Effondrement de l'entropie, concentration des logits (divergence) et escalade de la trajectoire (risque croissant au fil des étapes).
- Signaux Structurels de Texte : Motifs d'identifiants (par exemple, UUID, e-mails), séquences numériques et correspondances regex de style credential.
- Signaux Contextuels/Comportementaux : Utilisation d'outils (par exemple, read_file), densité de mots-clés et chevauchement de n-grammes.
Évaluation du Risque : Un modèle de régression logistique calcule un score de risque $r_t = \sigma(w^\top f_t + b)$ .
Politique d'Intervention : Le score correspond à trois zones :
- VERT ( $r_t < \tau_1$ ) : Passer le token inchangé.
- JAUNE ( $\tau_1 \le r_t < \tau_2$ ) : Nettoyer le token (remplacer par [MASK]) pour briser la séquence tout en préservant la structure de la sortie.
- ROUGE ( $r_t \ge \tau_2$ ) : Arrêter immédiatement la génération pour empêcher la reconstitution complète du secret.
Audit Post-Génération (ZK-RC) : Une couche de repli légère utilisant la correspondance de hachage d'8-grammes (SHA-256) pour attraper les fragments résiduels si des tokens individuels ont glissé en dessous du seuil mais ont collectivement formé un secret.

3. Contributions Clés

Formalisation de l'Amplification de la Propagation : L'article fournit un modèle probabiliste démontrant comment le risque de fuite s'aggrave à travers les limites des agents dans les pipelines à contexte partagé, distinguant cela des fuites de modèles uniques.
Cadre PRISM : Introduction d'une défense en temps de génération qui traite la fuite comme un problème d'accumulation de risque séquentiel, utilisant une intervention par token plutôt qu'un filtrage a posteriori.
Complémentarité des Signaux : Identification que ni les dynamiques temporelles (entropie/logits) ni les indices structurels (motifs) seuls ne sont suffisants. La combinaison de l'effondrement de l'entropie et de la détection de motifs d'identifiants est requise pour une puissance discriminative élevée.
Construction de Benchmark : Création d'un benchmark adversaire de 2 000 tâches couvrant 13 catégories d'attaques (par exemple, injection de prompt, ingénierie sociale, propagation inter-agents) et trois niveaux de pression (Faible, Moyen, Élevé) sur un pipeline hétérogène à quatre agents.

4. Résultats Expérimentaux

Évalué contre 10 méthodes de défense de base (incluant Span Tagger, GBT Classifier, LLM Judge et des scanners statiques) sur le benchmark de 2 000 tâches :

Prévention des Fuites : PRISM a atteint un taux de fuite au niveau des tâches de 0,0 %, ce qui signifie qu'aucune tâche n'a abouti à un secret entièrement reconstitué dans la sortie finale. C'est la seule méthode à éliminer les fuites observées sur le benchmark.
Métriques de Performance :
- Score F1 : 0,832 (surpassant la meilleure base, Span Tagger, à 0,719).
- Précision : 1,000 (aucun faux positif).
- Rappel : 0,712.
- Utilité : 0,893 (89,3 % des tâches bénignes sont passées sans modification).
Comparaison :
- Span Tagger : 15,0 % de taux de fuite au niveau des tâches.
- GBT Classifier : 19,2 % de taux de fuite au niveau des tâches.
- Scanners Statiques/Juges LLM : >60 % de taux de fuite au niveau des tâches.
Robustesse : PRISM a maintenu des taux de détection $\ge 95,9 \%$ à travers huit transformations d'obfuscation de niveau surface (par exemple, encodage hexadécimal, division de caractères), tandis que les bases basées sur les motifs se sont dégradées jusqu'à une détection proche de zéro.
Latence : PRISM ajoute une surcharge minimale (~5,5 ms par tâche), opérant significativement plus vite que les juges basés sur LLM (>1 800 s) et comparable aux matcheurs de motifs légers.

5. Signification et Revendications

L'article soutient que la sécurisation des systèmes multi-agents nécessite un changement de paradigme, passant du filtrage statique ou a posteriori à la surveillance continue du processus de génération lui-même.

Vulnérabilité Structurelle : Les auteurs soulignent que la fuite dans les systèmes multi-agents n'est pas seulement un échec au niveau du prompt, mais une conséquence structurelle de la propagation de l'information. Une fois qu'un secret entre dans le contexte partagé, il est susceptible de réémerger en aval.
Intervention Précoce : En détectant la transition de phase « effondrement de l'entropie », PRISM intervient avant que le secret ne soit entièrement matérialisé, empêchant la propagation des données sensibles vers les agents aval.
Praticité : Le système atteint une haute précision de détection avec une faible latence, le rendant viable pour un déploiement en temps réel dans les workflows interactifs multi-agents.
Modestie des Revendications : Les auteurs notent explicitement que leur benchmark est synthétique et contrôlé. Ils reconnaissent les limites, notamment la dépendance à l'accès en boîte blanche (log-probabilités) pour des performances optimales (bien qu'une variante en boîte noire existe avec un taux de fuite résiduel de 1,4 %) et le fait que le système modélise les dynamiques de fuite passive plutôt qu'un dissimulation stratégique et orientée vers un but par des adversaires adaptatifs. Ils positionnent PRISM comme un mécanisme ciblé pour la reproduction de credentials via une propagation séquentielle, et non comme une solution universelle pour toutes les fuites d'information.