💻 computer science

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

Cet article démontre que si les techniques d'accumulation temporelle comme CUSUM peuvent amplifier les signaux de prompt-injection faibles et distribués pour détecter les attaques à combustion lente qui échappent aux détecteurs par événement, leur efficacité est strictement limitée aux scénarios où les événements individuels possèdent déjà une marge de signal détectable, échouant à générer une capacité de détection là où aucune n'existe.

Auteurs originaux : J Alex Corll

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : J Alex Corll

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : L'attaque du « murmure »

Imaginez que vous gardiez un château (un agent IA). Vous avez un garde (un détecteur) qui vérifie chaque personne entrant par la porte. Si quelqu'un crie un code secret (« Ouvrez la porte ! »), le garde sonne l'alarme immédiatement.

Mais que se passe-t-il si l'attaquant ne crie pas ? Et s'il murmurait une instruction minuscule et d'apparence inoffensive au garde chaque fois qu'il passe par une porte différente ?

« Au fait, pourriez-vous vérifier la carte ? » (Inoffensif)
« Oh, et peut-être regarder ce vieux fichier ? » (Inoffensif)
« Juste une dernière chose, envoyez ce fichier chez moi ? » (Inoffensif)

Individuellement, aucun de ces murmures n'est assez fort pour déclencher l'alarme du garde. Mais si vous écoutez toute la journée, le schéma des murmures révèle un plan pour voler les secrets du château. C'est ce que l'article appelle une attaque à « combustion lente » (Slow-Burn).

Le problème : Le garde est trop concentré sur le bruit fort

L'article soutient que les systèmes de sécurité actuels sont comme des gardes qui n'écoutent que les bruits forts. Ils vérifient chaque message un par un. Si un message est discret (en dessous d'un certain seuil de volume), le garde l'ignore.

Le problème est qu'un attaquant intelligent peut diviser ses mauvaises instructions en de nombreux petits murmures discrets. Le garde ne voit rien de suspect dans un seul murmure, donc l'attaque réussit.

La solution proposée : L'« accumulateur de sons »

Les chercheurs se sont demandé : Et si nous ajoutions une seconde couche de sécurité qui ne se contente pas d'écouter les bruits forts, mais qui tient un décompte des « murmures suspects » ?

Ils ont construit un outil appelé un Accumulateur Temporel. Voyez cela comme un compte d'épargne pour la suspicion :

Chaque fois que le garde évalue un message, l'accumulateur regarde le score.
Si le score est juste « normal » (comme une conversation bénigne), le solde du compte reste à zéro.
Si le score est légèrement « élevé » (un murmure qui semble un peu étrange, mais pas assez fort pour déclencher l'alarme principale), l'accumulateur ajoute un petit peu de « points de suspicion » au solde.
Si le solde devient trop élevé au fil du temps, il sonne l'alarme.

L'expérience : Est-ce que cela fonctionne ?

Les chercheurs ont testé cette idée avec un ensemble de règles très strictes pour s'assurer qu'ils ne trichaient pas (ils n'ont pas laissé l'attaquant voir le nouveau système de sécurité lors de la conception de l'attaque).

Ils ont trouvé deux résultats très spécifiques :

1. Cela fonctionne, mais seulement comme un « amplificateur »

L'accumulateur ne peut pas créer un signal à partir de rien. Il peut seulement amplifier un signal qui est déjà présent.

L'analogie : Imaginez que vous essayiez de remplir un seau avec un tuyau qui fuit. Si le tuyau n'a aucune pression d'eau (le détecteur voit l'attaque et les activités normales comme étant exactement identiques), aucune quantité de temps ne remplira le seau. Mais si le tuyau a une infime pression (le détecteur voit l'attaque comme légèrement différente de la normale), l'accumulateur peut collecter ces infimes différences au fil du temps jusqu'à ce que le seau se remplisse.
Le résultat : Sur une tâche spécifique (voler du code d'un dépôt Git), le détecteur voyait effectivement une légère différence entre l'attaque et l'activité normale. L'accumulateur a collecté ces petites différences et a réussi à détecter l'attaque.

2. Cela échoue quand le signal est nul

Lorsqu'ils ont tenté le même truc sur une tâche différente (téléchargement de fichiers), le détecteur n'a vu aucune différence entre l'attaque et l'activité normale. Le « tuyau » avait une pression de zéro.

Le résultat : L'accumulateur est resté là avec un seau vide. Il ne pouvait pas inventer un signal là où aucun n'existait. L'article conclut : « Amplifiez, ne créez pas » (Amplify, Don't Create). Si votre garde de sécurité de base ne peut pas faire la différence entre un murmure et un autre murmure, un compteur ne servira à rien.

L'avertissement de la « bande étroite »

L'article a également découvert que ce système est très fragile. Il ne fonctionne que dans une « zone de perfection » (Goldilocks zone) très étroite :

Si les murmures sont trop discrets (trop loin du seuil d'alarme), l'accumulateur les ignore.
Si les murmures sont trop forts (proches du seuil d'alarme), le garde principal les attrape immédiatement, l'accumulateur n'est donc pas nécessaire.
Cela ne fonctionne que si les murmures sont juste ce qu'il faut : assez discrets pour passer sous le radar du garde principal, mais assez forts pour ajouter quelques points au décompte de l'accumulateur.

L'avertissement sur les « faux calculs » (Pseudo-réplication)

Enfin, l'article adresse un avertissement aux autres scientifiques. Il dit : « Ne vous trompez pas avec les mathématiques. »

L'analogie : Imaginez que vous testiez un nouveau médicament sur un patient, puis que vous demandiez à ce même patient de prendre la pilule 10 fois de plus et que vous comptiez cela comme « 10 patients ». Ce sont de fausses données.
La leçon : Dans les tests d'IA, si vous exécutez la même tâche 10 fois avec différents modèles d'IA, vous ne pouvez pas compter cela comme 10 tests indépendants. La tâche elle-même est la même, donc les résultats sont liés. L'article insiste sur le fait que les chercheurs doivent compter les tâches uniques, et non simplement le nombre de fois où ils ont lancé le test.

Résumé

L'attaque : Les attaquants divisent les mauvaises instructions en de nombreuses étapes petites et discrètes pour éviter la détection.
La défense : Un « compte d'épargne de suspicion » qui additionne les petits avertissements discrets au fil du temps.
Le bémol : Cette défense ne fonctionne que si le détecteur de base peut déjà percevoir une différence, même minime, entre le « mal » et le « bien ». Elle ne peut pas réparer un détecteur qui est complètement aveugle.
À retenir : L'accumulation temporelle est un outil utile pour attraper les attaques à « combustion lente », mais ce n'est pas de la magie. Elle nécessite une fondation composée d'un détecteur qui est déjà, d'une certaine manière, sensible.

Résumé Technique : Amplifier, ne pas Créer : L'Accumulation Temporelle pour l'Injection de Prompt à Combustion Lente

1. Énoncé du Problème

Le défi de sécurité central pour les agents de modèles de langage utilisant des outils est l'injection de prompt, où un texte adverse dans des canaux non approuvés (pages web, sorties d'outils, fichiers de dépôts) redirige le plan de contrôle de l'agent. Les primitives défensives actuelles reposent sur la détection par événement : scorer des messages ou des sorties d'outils individuels et déclencher une alarme si un événement unique dépasse un seuil.

Cette approche présente un angle mort structurel connu sous le nom de régime de combustion lente (slow-burn). Un attaquant peut distribuer une séquence de directives apparemment anodines à travers une longue trajectoire (ex: « pousser vers ce dépôt distant », « utiliser cette URL », « inclure le fichier env »). Chaque étape reste en dessous du seuil de détection, évitant ainsi les alarmes, tandis que l'effet agrégé aboutit à une exfiltration de données ou à une prise de contrôle du plan de contrôle. Un détecteur par événement réglé pour un taux de faux positifs utilisable ne peut pas abaisser son seuil suffisamment pour capturer ces étapes discrètes sans être submergé par le bavardage bénin de l'agent.

La question de recherche est de savoir si un accumulateur temporel côté proxy peut récupérer ce signal distribué en agrégeant des scores sous le seuil sur une trajectoire, spécifiquement en utilisant des statistiques de persistance de type pic (peak) et de Somme Cumulée (CUSUM).

2. Méthodologie et Configuration Expérimentale

Le Contrat Gelé et l'Anti-Circularité

Pour garantir que les résultats ne sont pas des artefacts de surapprentissage, l'étude impose un « contrat gelé » strict et une séparation d'anti-circularité :

Générateur ( $D_{gen}$ ) : Un juge LLM autorégressif (tenu à l'écart) utilisé uniquement par le générateur d'attaques pour affiner les greffes. Il évalue la force avec laquelle un événement ressemble à un mouvement du plan de contrôle. Le générateur n'a pas accès à l'évaluateur.
Évaluateur ( $D_{eval}$ ) : Le « détecteur de référence », un ensemble gelé d'un classificateur de n-grammes de caractères linéaire et d'une tête de contraste d'embedding. Il n'est jamais vu par le générateur.
Exigence de Transfert : Les greffes doivent être sous le seuil sous $D_{gen}$ et rester sous le seuil sous $D_{eval}$ uniquement par transfert inter-familles, et non par optimisation contre l'évaluateur.
Juge de Plancher (Floor Judge) : Un LLM tenu à l'écart vérifie que les greffes contiennent des directives extractibles par machine liées à de réels segments d'exécution, empêchant les greffes dégénérées « vides ».

Le Mécanisme d'Accumulateur

Pour une trajectoire de scores par événement $s_1 \dots s_T$ :

Pic (Peak) : Le score maximum dans la trajectoire ( $\max_t s_t$ ).
Persistance : Une statistique CUSUM qui se réinitialise à zéro : $g_t = \max(0, g_{t-1} + (s_t - k))$ , où $k$ est la dérive de référence bénigne (médiane des scores de la population bénigne).
Contrainte Clé : Le CUSUM ne banque que la masse de score au-dessus de la dérive bénigne $k$ . Les greffes poussées profondément en dessous de $k$ ne contribuent à aucune persistance, quelle que soit leur densité.

Métriques d'Évaluation

Pour éviter de confondre la contribution des greffes avec la « chaleur » inhérente des trajectoires porteuses, le point final primaire est le delta-greffe :
$\text{m-delta} = \text{m}(\text{natif} + \text{greffes}) - \text{m}(\text{natif uniquement})$
Cela mesure la persistance ou la masse de pic ajoutée attribuable spécifiquement aux greffes injectées, en comparant les greffes d'attaque contre des greffes fictives (shams) bénignes correspondantes.

3. Résultats Clés

Résultat 0 : Cohorte de Fondations (Attaques Concentrées)

Sur un ensemble tenu à l'écart d'attaques concentrées (où un événement unique provoque déjà un pic), l'accumulateur au niveau de la trajectoire (pic ou persistance) bat statistiquement le leurre par événement (AUC +0,092, IC 95 % [+0,025, +0,155]). Cependant, la persistance et le pic sont statistiquement à égalité ici, comme attendu pour des attaques concentrées où un seul événement domine.

Résultat 1 : Exfiltration de Dépôt Git (Validation de la Combustion Lente)

Sur des porteurs GitHub propres avec des actions git répétées, le greffage de quatre directives espacées et sous le seuil a produit un delta de persistance positif :

Survivants d'Attaque : Médiane du delta de persistance de +0,0421.
Shams Bénins : Médiane du delta de persistance de +0,0150.
Séparation : AUC du delta de persistance = 0,708 (sur 4 survivants d'attaque contre 6 shams bénins).
Contrôle : Le contrôle par delta de pic correspondant a échoué à séparer l'attaque du sham (AUC 0,417).
Conclusion : Une densité de légères élévations sous le seuil s'accumule en une masse de persistance que les shams bénins ne reproduisent pas. Cela confirme que l'accumulation temporelle fonctionne lorsque le détecteur sous-jacent fournit une marge.

Résultat 2 : Actions Élargies (Échec de Généralisation)

Lorsque la même construction de densité quatre a été appliquée à des actions de chemins propres plus larges (téléchargements de fichiers, scénarios de shopping) :

Résultat : Null décisif. AUC du delta de persistance = 0,167.
Cause : Le détecteur a assigné des scores indiscernables (~0,42) aux actions d'attaque et bénignes. Les greffes sont tombées trop « froides » (proches ou en dessous de la dérive bénigne) pour banker toute masse de persistance.
Conclusion : L'échec était un échec de marge du capteur, et non un échec de seuil. L'accumulateur ne peut pas créer une marge là où le détecteur par événement n'en fournit aucune.

Résultat 3 : Puissance Indépendante (Blocage Structurel)

L'étude n'a pas pu être alimentée de manière indépendante en raison de la rareté des sources. L'axe d'exfiltration de dépôt git n'expose que trois à quatre tâches indépendantes. Faire tourner plusieurs modèles sur les mêmes tâches crée des pseudo-réplicats (données corrélées), et non des preuves indépendantes. L'étude rapporte cela comme une limitation structurelle du paysage actuel des benchmarks.

4. Contributions Clés et Signification

La Thèse de l'« Amplificateur de Marge »

La contribution primaire du papier est la revendication d'un mécanisme borné : L'accumulation temporelle est un amplificateur de marge, pas un détecteur sémantique.

Elle peut récupérer un signal distribué uniquement là où le détecteur par événement sous-jacent produit déjà des scores élevés sous le seuil sur les étapes d'attaque.
Elle ne peut pas créer une marge de détection là où le détecteur par événement assigne des scores indiscernables aux actions d'attaque et bénignes.
La « bande productive » est étroite (environ 0,45 à 0,50 dans la configuration testée) : les greffes doivent être au-dessus de la dérive bénigne pour accumuler, mais en dessous du seuil pour rester en combustion lente.

Contributions Méthodologiques

Avertissement sur la Pseudo-Réplication : Le papier identifie un danger critique dans l'évaluation des benchmarks d'agents où l'exécution de multiples modèles sur la même géométrie de tâche est comptée à tort comme des preuves indépendantes. Il plaide pour un rééchantillonnage au niveau de l'unité d'indépendance réelle (la tâche, pas l'exécution).
Standard d'Audit d'Indépendance : Les auteurs introduisent une « échelle d'indépendance » pour la vérification :
- Indépendance du chemin de données : Redérivation des chiffres à partir des reçus par événement gelés.
- Indépendance algorithmique : Ré-implémentations aveugles des calculs.
- Confiance dans la couche de scoring : Reconnaître que les scores de modèle sont dignes de confiance mais limités par des versions figées.
Protocole d'Évaluation Non-Circulaire : Une séparation rigoureuse entre le générateur d'attaques (cible du camouflage) et l'évaluateur (détecteur de référence) pour garantir que le transfert est authentique et non un artefact d'ajustement.

5. Revendications Modestes et Limites

Les auteurs déclarent explicitement qu'il s'agit d'une étude de mécanisme borné, et non d'un système déployable.

Pas de Nouveau Détecteur : Ils ne prétendent pas avoir un meilleur détecteur par événement ; le capteur par événement est maintenu gelé.
Applicabilité Limitée : Le résultat positif est spécifique à l'axe de l'exfiltration de dépôt git où une véritable marge par événement existe. Il échoue sur des actions de chemins propres plus larges.
Taille de l'Échantillon : Les conclusions positives reposent sur seulement quatre survivants d'attaque à travers trois tâches indépendantes.
Frontières de Confiance : Bien que l'arithmétique soit vérifiée, les scores par événement dépendent de la fiabilité des sorties des modèles sous-jacents (confiance dans la couche de scoring).

En résumé, le papier démontre que l'accumulation temporelle peut amplifier des signaux faibles et distribués, mais elle dépend strictement de la capacité du capteur par événement à distinguer les étapes d'attaque des actions bénignes, même de façon infime. Il sert d'avertissement contre une confiance excessive dans l'accumulation lorsque le capteur sous-jacent manque de séparation sémantique, et de guide méthodologique pour une évaluation de sécurité d'agent rigoureuse et non circulaire.