Stateful Online Monitoring Catches Distributed Agent Attacks

Résumé Technique : Surveillance en Ligne Étatique pour les Attaques d'Agents Distribués

Énoncé du Problème

Les agents de Grands Modèles de Langage (LLM) sont de plus en plus capables d'identifier des vulnérabilités logicielles et d'accomplir des tâches de cybersécurité complexes. Cependant, cette capacité introduit un nouveau vecteur de menace : les attaques d'agents distribués. Dans ces scénarios, les attaquants décomposent un objectif malveillant unique (par exemple, un exploit cybernétique) en de nombreuses sous-tâches réparties sur de nombreux comptes utilisateurs et sessions d'agents. Bien que les transcriptions individuelles paraissent anodines et passent les filtres de sécurité standards, l'activité agrégée constitue une attaque coordonnée.

Les moniteurs de sécurité standards sont limités architecturalement car ils n'évaluent qu'un seul contexte d'agent (une transcription) à la fois. Ils manquent de « l'état » nécessaire pour corréler les preuves entre différents utilisateurs. Par conséquent, ils sont structurellement aveugles aux abus qui ne sont visibles que de manière agrégée. L'article démontre que les attaquants peuvent contourner les moniteurs standards en fragmentant les tâches de sorte qu'aucune session individuelle ne déclenche de refus, permettant à l'attaque de progresser vers un préjudice significatif avant d'être détectée.

Méthodologie

1. L'Attaque d'Agent Distribué (La Menace)
Les auteurs construisent la première attaque d'agent distribuée entièrement généralisée en utilisant un scaffold multi-agents appelé ARTEMIS.

• Architecture : Un agent superviseur (utilisant un modèle plus faible, gpt-oss-120b) reçoit un objectif de cybersécurité de haut niveau. Il délègue des sous-tâches à des sous-agents plus puissants (utilisant gpt-5.2) s'exécutant dans des contextes de conversation isolés et frais à travers différents comptes utilisateurs.
• Obfuscation : L'orchestrateur présente chaque sous-tâche comme une tâche d'ingénierie bénigne (par exemple, « scanner ce réseau », « valider des identifiants », « déboguer un script »). L'objectif malveillant n'est reconstruit que lorsque le superviseur agrège les résultats.
• Efficacité : L'attaque résout avec succès des tâches de cybersécurité difficiles (CyBench) que le superviseur faible ne peut résoudre seul, tout en évitant les moniteurs standards qui ne détectent que ~20 % de ces tentatives par rapport aux attaques antérieures à contexte unique.

2. Le Moniteur Étatique en Ligne (La Défense)
Pour contrer cela, les auteurs proposent un moniteur étatique en ligne qui raisonne sur des groupes d'utilisateurs plutôt que sur des transcriptions isolées. Le système fonctionne en temps réel avec trois étapes clés :

• Scoring Local : Un moniteur standard évalue la suspicion immédiate de la requête entrante ($x_t$).
• Clustering en Ligne : La requête est intégrée (embedded) et comparée à un ensemble de clusters en ligne représentant des interactions antérieures sémantiquement liées provenant d'autres utilisateurs.
  • Au lieu de re-claster l'ensemble des données historiques (ce qui est en $O(N^2)$ et trop lent), le système maintient un petit ensemble de centroïdes de clusters ($M_t$).
  • Les nouvelles requêtes sont dirigées vers le centroïde le plus proche. Si la similitude est faible, un nouveau cluster est créé ; sinon, le centroïde et son tampon de preuves sont mis à jour en ligne.
• Escalade Trans-Contexte : Une requête est escaladée vers un « Moniteur Trans-Contexte » (un juge LLM plus puissant) si :
  1. Le score local est modérément élevé mais n'est pas immédiatement refusé, OU
  2. Le cluster assigné a accumulé suffisamment de preuves trans-sessions (par exemple, de multiples sessions suspectes dans le même cluster).
  • Le Moniteur Trans-Contexte examine la requête actuelle aux côtés des $k$ entrées historiques les plus suspectes du même cluster pour déterminer si une campagne coordonnée est en cours.

Contributions Clés

1. Première Attaque d'Agent Distribué : L'article implémente et évalue une attaque multi-agents qui fragmente des tâches malveillantes à travers des comptes utilisateurs, démontrant que les moniteurs standards échouent à la détecter efficacement (ne la capturant que 20 % aussi souvent que les attaques à contexte unique).
2. Moniteur Étatique en Ligne : Une nouvelle architecture de défense qui utilise le clustering de flux en temps réel pour agréger des signaux faibles parmi des millions d'utilisateurs. Elle escalade uniquement les clusters suspects vers un juge LLM lourd, garantissant une faible latence pour la vaste majorité du trafic bénin.
3. Red-Teaming et Généralisation : À travers un exercice de red-teaming en boîte blanche de deux mois, les auteurs ont affiné la défense. De manière surprenante, ils ont découvert que le moniteur étatique améliore également la détection des jailbreaks standards et des attaques de décomposition séquentielle, car les attaquants adaptatifs réutilisent souvent des variantes d'attaque sur différents comptes, laissant des traces que le moniteur étatique peut corréler.

Résultats
Les évaluations ont été menées à l'aide de trafic de datacenter simulé avec un fond massif de conversations d'agents de codage bénignes (10x à 100x plus de contenu bénin que de trafic d'attaque).

• Performance de Détection : Le moniteur étatique domine au sens de Pareto les moniteurs standards. Il atteint un rappel plus élevé pour un même taux de faux positifs (FPR). Par exemple, avec un fond bénin de 100x, il a atteint 65,8 % de rappel à 1,47 % de FPR, alors que le meilleur moniteur standard n'atteignait que 55 % de rappel au même FPR.
• Temps de Détection (TTD) : Le moniteur étatique capture les attaques 30 % plus tôt dans la trajectoire. Il réduit le nombre d'étapes malveillantes qu'un attaquant peut effectuer avant la détection (par exemple, en réduisant le TTD99 de 37,2 étapes à 25,4 étapes).
• Latence : Pour ~99 % du trafic utilisateur, la latence supplémentaire est négligeable. Le système n'incurre le coût du juge LLM trans-contexte que pour une infime fraction des requêtes (la « queue » du trafic suspect).
• Red-Teaming : La défense a capturé avec succès 82 % des tentatives de « empoisonnement de contexte du moniteur » et 100 % des attaques de décomposition séquentielle lors de la phase de red-teaming.

Signification et Revendications
L'article soutient que les attaques distribuées représentent une limite fondamentale des architectures de sécurité « sans état » actuelles. La signification de ce travail réside dans le passage du paradigme de la surveillance de transcriptions isolées à celui du raisonnement au niveau de la population.

• Les auteurs affirment que bien que la surveillance étatique ne résolve pas l'abus distribué (un attaquant adaptatif avec une forte obfuscation peut toujours se cacher), elle fournit une couche de défense critique qui capture les attaques plus tôt et avec un meilleur rappel.
• L'approche est évolutive, maintenant une faible latence pour la majorité des utilisateurs tout en identant efficacement les « aiguilles dans une botte de foin » grâce au clustering sémantique.
• La conclusion selon laquelle la surveillance étatique se généralise à des menaces non distribuées (comme les jailbreaks) suggère que le raisonnement sur les populations d'utilisateurs est une stratégie de sécurité robuste pour l'avenir de l'IA agentique.