Résumé Technique : Attaques Internes dans les Systèmes de Consensus Multi-Agents par LLM

Définition du Problème

L'article traite d'une vulnérabilité critique dans les systèmes multi-agents de modèles de langage (LLM) : les attaques internes au sein des processus de formation du consensus. Alors que les cadres existants supposent souvent que tous les agents participants sont alignés avec l'objectif du système, ce travail postule qu'un agent malveillant peut s'infiltrer dans un groupe en tant que membre légitime. Contrairement aux attaques externes qui perturbent les invites ou l'infrastructure, un attaquant interne opère depuis l'intérieur du processus de délibération. L'objectif de l'attaquant est de perturber stratégiquement, retarder ou empêcher les agents bienveillants d'atteindre une décision partagée (consensus) tout en maintenant une apparence de comportement coopératif. Le défi réside dans le fait que, dans les systèmes basés sur le langage, l'influence s'exerce par des stratégies subtiles de langage naturel — telles que la persuasion, le cadrage, l'accord sélectif ou l'ambiguïté — plutôt que par une compromission directe du système.

Les auteurs formalisent cela comme un problème de prise de décision séquentielle où un agent malveillant cherche à maximiser une fonction de récompense qui pénalise le consensus bienveillant et récompense le désaccord prolongé.

Méthodologie

Pour résoudre le problème d'optimisation consistant à trouver une politique d'attaque efficace, les auteurs proposent un cadre basé sur un modèle du monde qui combine la modélisation des dynamiques latentes avec l'apprentissage par renforcement (RL). Cette approche est conçue pour surmonter l'inefficacité d'échantillonnage de l'optimisation directe contre des LLMs interactifs, qui nécessite des simulations multi-agents coûteuses.

1. Modèle du Monde à Agent Latent

Au lieu d'interroger le système complet de LLM multi-agents à chaque étape, les auteurs entraînent un modèle de substitution pour prédire l'évolution des états des agents bienveillants.

• Représentation de l'état : Le modèle prend en entrée les positions de décision actuelles des voisins visibles ($y^t_{N_k}$) et leurs attributs comportementaux ($\psi_{N_k}$), ainsi que l'action de l'attaquant (message et décision).
• Gestion de l'hétérogénéité : Reconnaissant que les agents ayant des personnalités différentes réagissent différemment à la même entrée, le modèle est un réseau de neurones feed-forward à plusieurs têtes. Il encode les positions des agents et les attributs comportementaux, puis utilise des têtes spécifiques à la personnalité pour prédire la prochaine position de décision pour chaque type d'agent bienveillant.
• Entraînement : Le modèle est entraîné par régression supervisée sur des données de trajectoire collectées à partir d'interactions impliquant des agents bienveillants de types de personnalité variés (obstinés, suggestibles, neutres) et un agent malveillant aléatoire.

2. Inférence des Attributs Comportementaux

Dans des scénarios réalistes, un attaquant peut ne pas connaître les types de personnalité spécifiques des agents bienveillants. Pour y remédier, les auteurs introduisent un classificateur d'attributs comportementaux.

• Ce classificateur infère le type comportemental d'un agent (par exemple, obstiné, suggestible) à partir de ses trajectoires de décision historiques et de ses messages diffusés.
• Il utilise un encodeur de trajectoire récurrent pour l'historique des positions et un encodeur basé sur BERT pour la sémantique des messages.
• Les attributs inférés sont ensuite injectés dans le modèle du monde et la politique de l'attaquant, permettant à l'attaque de s'adapter au comportement observé du groupe.

3. Optimisation de l'Attaquant basée sur le RL

L'attaque interne est formulée comme un processus de décision markovien (MDP) résolu à l'aide de Deep Q-Networks (DQN).

• Politique : L'attaquant apprend une politique $\pi_{adv}$ qui mappe l'état du voisinage visible à une paire message-décision adversaire.
• Fonction de récompense : La récompense est conçue pour encourager le désaccord (par exemple, $r_t = 1$ si le consensus n'est pas atteint, $0$ sinon).
• Efficacité : En utilisant le modèle du monde appris pour les simulations plutôt que les LLMs réels, le processus d'entraînement devient considérablement plus efficace en termes d'échantillons, permettant à l'attaquant de raisonner sur les effets cumulatifs à long terme.

Contributions Clés

1. Formalisation de la Manipulation Interne : L'article présente la manipulation interne dans le consensus multi-agents par LLM comme un problème de prise de décision séquentielle, allant au-delà des simples exemples adversaires basés sur des invites pour aboutir à un cadre d'attaque dynamique et adaptatif.
2. Cadre d'Attaque Basé sur un Modèle : Les auteurs développent une approche basée sur un modèle du monde qui apprend les dynamiques de substitution d'agents bienveillants hétérogènes. Cela permet une optimisation efficace de l'attaquant sans le coût computationnel de simulations répétées du système complet.
3. Validation Empirique : Le cadre est instancié dans un environnement de consensus discret 1D. L'étude fournit des preuves préliminaires qu'un attaquant appris et basé sur un modèle est plus efficace pour perturber le consensus qu'un attaquant de référence s'appuyant uniquement sur une invite malveillante statique.

Résultats Expérimentaux

Les auteurs ont évalué le cadre dans un environnement avec $N$ agents sur une ligne 1D (positions 0–20), en utilisant GPT-4o comme modèle sous-jacent. Ils ont comparé quatre configurations :

1. Sans Attaquant : Une référence propre avec un agent neutre supplémentaire.
2. Attaquant Basé sur LLM : Une référence utilisant une invite malveillante statique sans modélisation dynamique explicite.
3. Attaquant Basé sur RL (Attributs Connus) : Utilise la politique DQN avec une connaissance vraie des personnalités des agents bienveillants.
4. Attaquant RL Deviné : Utilise la même politique DQN mais infère les types de personnalité à partir du premier tour d'interaction.

Constats Clés :

• Réduction du Taux de Consensus : Les attaquants basés sur LLM et sur RL ont tous deux réduit le taux de consensus par rapport à la référence sans attaquant.
• Supériorité du RL : L'attaquant basé sur RL a obtenu la perturbation la plus forte en moyenne, résultant dans le taux de consensus le plus bas (par exemple, passant de 0,95 dans la référence à 0,83 globalement) et la durée moyenne d'épisode la plus longue (augmentant de 4,32 à 4,91 tours).
• Efficacité de l'Inférence : L'« Attaquant RL Deviné » a performé presque aussi bien que la variante « Attributs Connus », démontrant que l'inférence des attributs comportementaux à partir d'un seul tour initial suffit pour adapter efficacement la stratégie d'attaque.
• Précision du Modèle du Monde : Le modèle du monde latent a atteint une erreur absolue moyenne (MAE) de 0,927 dans la prédiction des prochaines positions, indiquant qu'il capture des tendances significatives dans le mouvement des agents bienveillants malgré la difficulté de la prédiction exacte d'entiers.

Importance et Limites

Importance :
L'article soutient que la combinaison de modèles du monde latents avec l'apprentissage par renforcement est une voie prometteuse pour les attaques internes adaptatives. Il démontre que la modélisation explicite des dynamiques d'interaction des agents bienveillants permet à un attaquant d'être plus efficace que de s'appuyer uniquement sur les capacités stratégiques intrinsèques d'un LLM sollicité par une invite. Cela met en évidence une vulnérabilité spécifique dans les systèmes de consensus multi-agents où l'hypothèse d'alignement de « l'humain dans la boucle » ou de « l'agent dans la boucle » est fragile.

Limites :
Les auteurs notent explicitement plusieurs contraintes :

• Environnement Simplifié : Les expériences sont menées dans un environnement de consensus 1D simplifié avec un petit nombre d'agents.
• Types Prédéfinis : L'étude repose sur des types comportementaux prédéfinis (obstinés, suggestibles, neutres) plutôt que sur des spectres de personnalité ouverts.
• Protocole Restreint : Le protocole de communication est structuré et limité par rapport aux conversations multi-agents ouvertes.
• Travaux Futurs : Les auteurs déclarent que les recherches futures devront aborder des protocoles plus ouverts, des populations d'agents plus importantes, et le développement de mécanismes de défense contre une telle manipulation interne.