Résumé Technique : CASPIAN – Détection en ligne et attribution des attaques en cascade dans les systèmes multi-agents LLM

1. Énoncé du problème

Les systèmes multi-agents basés sur les modèles de langage (LLM-MAS) sont de plus en plus vulnérables aux attaques en cascade, un mode de défaillance distinct des injections de prompts isolées ou des hallucinations. Dans ces attaques, une influence adversaire ou erronée injectée au niveau d'un seul agent se propage, s'amplifie et se renforce elle-même à travers plusieurs agents et tours d'interaction. Ces cascades exploitent la structure d'interaction du système, risquant de corrompre la mémoire partagée, de rediriger les sorties des outils et de synchroniser les agents vers une trajectoire collectivement défaillante.

Le défi central dans la détection de ces attaques réside dans la nature distribuée et couplée des preuves :

• Propagation inter-canaux : L'influence se propage simultanément à travers la communication, la mémoire partagée, les API d'outils et les métadonnées d'exécution. La surveillance d'un seul canal offre une vue incomplète.
• Accumulation temporelle : L'influence s'accumule progressivement par la réutilisation du contexte. Un agent peut sembler localement bénin tandis que le système bascule collectivement vers une défaillance coordonnée.
• Limites des défenses existantes : Les approches actuelles (gardes-fous sémantiques, juges LLM, détecteurs basés sur des graphes) opèrent largement sur des messages isolés, des graphes statiques ou des traces a posteriori. Elles échouent à capturer les dynamiques en ligne, inter-canaux et temporellement coordonnées de la propagation en cascade, manquant souvent les défaillances précoces ou nécessitant une analyse hors ligne qui exclut toute intervention en temps réel.

2. Méthodologie : Le cadre CASPIAN

CASPIAN (Cascade Attack Spectral Propagation and Influence Attribution Network) est un cadre unifié conçu pour la détection et l'attribution en ligne des attaques en cascade. Il opère un changement de paradigme, passant de l'inspection sémantique localisée à la surveillance de la structure évolutive de l'influence causale à travers le système.

2.1 Modélisation causale unifiée inter-canaux

CASPIAN modélise le LLM-MAS comme un tenseur d'influence causale inter-canaux évolutif $A_t \in \mathbb{R}^{N \times N \times |C|}$, où $N$ est le nombre d'agents et $C = \{comm, mem, tool, exec\}$ représente les canaux d'interaction.

• Estimation de l'influence : Au lieu d'une analyse d'état complet coûteuse en calcul, CASPIAN emploie une formulation d'Entropie de Transfert Conditionnelle à Interaction Tardive (LI-CTE). Cela permet d'estimer l'influence dirigée $a_{ij}^{(c)}(t)$ de l'agent $i$ vers $j$ sur le canal $c$ en mesurant dans quelle mesure l'activité de la source explique le comportement actuel de la cible, conditionnée à l'état historique propre de la cible.
• Efficacité : Inspirée par la décomposition de type ColBERT, la LI-CTE construit des projections compactes de la source et de la cible, introduisant seulement une surcharge de l'ordre de la milliseconde tout en capturant des dépendances dirigées conscientes de l'historique.
• Agrégation tensorielle : Les matrices d'influence spécifiques aux canaux sont normalisées et agrégées en une matrice d'influence unifiée $\tilde{A}_t$ pour l'analyse spectrale, tout en préservant la structure tensorielle pour l'attribution au niveau du canal.

2.2 Détection spectrale en ligne des cascades

CASPIAN détecte les cascades en surveillant les transitions spectrales dans la topologie d'influence évolutive. Il distingue l'activité collaborative transitoire des cascades auto-renforçantes à travers quatre dynamiques clés :

1. Amplification : Croissance de l'énergie spectrale dominante ($E_t = \lambda_1(t) + \lambda_2(t)$).
2. Synchronisation : Resserrement de l'écart spectral ($g_t = 1 - \lambda_2(t)/\lambda_1(t)$), indiquant des modes de propagation couplés.
3. Propagation inter-canaux : Distribution de l'énergie d'influence sur plusieurs canaux, mesurée via l'entropie de Shannon normalisée ($H_t^{norm}$).
4. Persistance : Renforcement soutenu de ces dynamiques au fil du temps.

Logique de détection :

• Condition WATCH : Se déclenche lorsque la croissance de l'amplification coïncide avec un resserrement du couplage spectral ($\Delta g_t > 0$) piloté par le mode dominant.
• Classification :
  • Cascades à tour unique : Détectées immédiatement si WATCH coïncide avec un Changement de phase (changement structurel abrupt) ou une Propagation inter-canaux, à condition qu'un chemin de propagation viable (vérification du maillon faible) existe.
  • Cascades multi-tours : Détectées si WATCH persiste sur une fenêtre adaptative $W_{tw}$ (gouvernée par l'inverse de l'écart spectral) et contient au moins un événement de transition structurelle.

2.3 Attribution causale en ligne

Après détection, CASPIAN effectue une attribution en ligne en utilisant les dynamiques d'influence mises en cache, sans nécessiter de rejouer ou de recalculer. Il identifie :

• Origine : L'agent ayant l'influence sortante la plus forte au début.
• Amplificateur : L'agent qui renforce le plus fortement la propagation (rapport élevé sortie/entrée).
• Pont : L'agent qui reçoit et redistribue l'influence à travers le réseau.
• Épine de propagation : Les $K$ premiers chemins dominants, classés par la force de leur maillon le plus faible, ainsi que le canal d'interaction dominant pour chaque épine.

3. Contributions clés

1. Modélisation causale unifiée inter-canaux : Le premier cadre modélisant conjointement l'influence dirigée inter-agents à travers les canaux de communication, de mémoire, d'outils et d'exécution dans les LLM-MAS, en utilisant une formulation LI-CTE efficace.
2. Détection spectrale en ligne : Un mécanisme de détection qui identifie à la fois les cascades abruptes à tour unique et les cascades progressives multi-tours à partir des dynamiques d'influence évolutives, sans nécessiter de modèles d'attaque, de traces de calibration bénignes ou d'entraînement hors ligne.
3. Attribution en temps réel : Un schéma d'attribution qui récupère les origines, amplificateurs, ponts et chemins de propagation des cascades directement à partir des dynamiques d'influence mises en cache au moment de la détection, permettant une intervention immédiate.

4. Résultats expérimentaux

CASPIAN a été évalué sur deux benchmarks (TAMAS et ACIArena) couvrant quatre frameworks LLM-MAS (AutoGen, CrewAI, MetaGPT, LLM Debate), impliquant 727 scénarios et 2 908 traces d'exécution.

• Performance de détection : CASPIAN a systématiquement surpassé les gardes-fous sémantiques (par exemple, PromptGuard), les juges basés sur LLM et les détecteurs basés sur des graphes (par exemple, G-Safeguard).
  • AUROC : A dépassé 0,90 dans la plupart des configurations (par exemple, 0,942 sur AutoGen).
  • Détection précoce (EDR@5) : A atteint une détection dans les 5 tours suivant l'injection dans ~79 % des cas sur AutoGen, surpassant nettement les références (par exemple, 0,792 contre 0,482 pour la meilleure référence basée sur des graphes).
  • Robustesse : Les performances sont restées fortes à travers différents types d'attaques (Manipulation d'intention, Attaques d'exécution, Attaques de coordination) et topologies de frameworks.
• Précision de l'attribution :
  • Localisation de l'origine : Haute précision (Acc@1 $\approx$ 0,86 sur TAMAS AutoGen).
  • Pont/Amplificateur : Récupération stable, bien que l'identification des ponts soit plus difficile dans les topologies distribuées.
  • Récupération des chemins : Les scores Jaccard@3 des épines sont restés au-dessus de 0,62 dans tous les paramètres.
• Efficacité : CASPIAN opère avec une latence de surcharge relative inférieure à 1 % (par exemple, ~0,66 % sur des traces bénignes), le rendant adapté au déploiement en ligne.

5. Importance et revendications

L'article revendique que la modélisation causale unifiée inter-canaux est essentielle pour détecter et comprendre de manière fiable les défaillances en cascade dans les systèmes multi-agents LLM. Contrairement aux méthodes antérieures qui raisonnent localement sur les prompts ou les graphes statiques, CASPIAN aborde la nature fondamentale des attaques en cascade en tant que processus de propagation globale.

Les points clés soulignés par les auteurs :

• Réorganisation structurelle : Le début d'une cascade se caractérise par une réorganisation structurelle de l'influence inter-agents (amplification, synchronisation, propagation inter-canaux) plutôt que par de simples anomalies isolées.
• Faisabilité en ligne : Le cadre démontre qu'une surveillance causale complexe peut être intégrée à l'exécution en ligne avec une latence négligeable, permettant une intervention en temps réel.
• Au-delà de l'inspection des messages : La surveillance des canaux d'exécution, de mémoire et d'outils est cruciale ; la surveillance des seuls messages échoue à capturer les signaux de propagation dans les systèmes disposant d'une mémoire persistante ou d'un accès aux outils.
• Interprétabilité : Les capacités d'attribution fournissent une décomposition conditionnée aux traces de la défaillance, soutenant l'audit de sécurité et l'analyse des dynamiques de coordination des agents.

L'ouvrage conclut que la surveillance causale structurelle offre une base évolutive pour la sécurité et l'audit dans les écosystèmes complexes d'agents LLM, dépassant les limites de l'inspection sémantique localisée.