Robust Multi-Agent LLMs under Byzantine Faults

Résumé Technique : LLM Multi-Agents Robustes sous Fautes Byzantines

Énoncé du Problème
Les agents de Modèles de Langage (LLM) sont de plus en plus déployés dans des systèmes multi-agents pair-à-pair (LLM-MAS) pour résoudre des tâches par consensus collaboratif. Cependant, ces systèmes présentent une vulnérabilité critique : des agents non fiables ou byzantins (défectueux en raison d'hallucinations ou malveillants en raison d'une manipulation intentionnelle) peuvent influencer les agents honnêtes vers des conclusions erronées. Les approches existantes, telles que CP-WBFT, reposent sur l'auto-évaluation des scores de confiance par les agents pour pondérer les réponses des voisins. Cette approche est fondamentalement défectueuse car les agents byzantins peuvent falsifier leurs scores de confiance pour dominer le processus d'agrégation. De plus, les méthodes antérieures manquent souvent de topologies de communication fondées sur des principes, entraînant une dégradation des performances pouvant être pire que l'absence de collaboration. Le défi central consiste à concevoir un protocole décentralisé permettant aux agents honnêtes d'affiner itérativement leurs réponses et d'atteindre un consensus correct malgré la présence d'agents byzantins susceptibles d'injecter des informations arbitraires ou trompeuses.

Méthodologie : Consensus Ancré sur Soi (SAC)
Les auteurs proposent le Consensus Ancré sur Soi (SAC), un protocole itératif de filtrage et d'affinement entièrement décentralisé. Contrairement aux méthodes précédentes qui font confiance aux scores de confiance déclarés par l'expéditeur, SAC déplace la charge de l'évaluation vers le récepteur. Le protocole fonctionne en quatre étapes par tour :

1. Diffusion : Chaque agent diffuse sa réponse actuelle à ses voisins.
2. Évaluation côté Récepteur : Après avoir reçu les réponses des voisins, chaque agent $i$ calcule indépendamment un score d'évaluation $s_{i \to j}$ pour chaque voisin $j$ en utilisant son propre LLM. Ce score est dérivé d'une invite de vérification évaluant l'exactitude de la réponse du voisin par rapport à la requête, découplant complètement le score de toute confiance auto-déclarée par l'expéditeur.
3. Filtrage : L'agent $i$ identifie les voisins dont les scores sont strictement inférieurs à son propre score d'auto-évaluation. Il rejette ensuite les $F$ voisins ayant les scores les plus bas de cet ensemble (où $F$ est la borne du nombre de voisins byzantins). Cette étape garantit que les entrées potentiellement malveillantes ou de faible qualité sont éliminées avant l'affinement.
4. Affinement : L'agent $i$ affine sa réponse en réinterrogeant son LLM avec la requête originale, sa réponse actuelle et l'ensemble conservé des réponses des voisins, pondérées par leurs scores côté récepteur.

Cadre Théorique et Conditions Topologiques
Pour garantir que les agents honnêtes préservent des informations fiables, les auteurs s'appuient sur la théorie classique du consensus résilient aux fautes byzantines, spécifiquement la famille d'algorithmes Mean-Subsequence-Reduced (MSR) et la $r$-robustesse.

• $(F+1)$-Robustesse : Les auteurs établissent que si le graphe de communication $G$ est $(F+1)$-robuste, le mécanisme de filtrage assure deux propriétés critiques :
  1. Résilience Locale : Après filtrage, chaque agent honnête conserve au moins un voisin dont la réponse est au moins aussi fiable que le score minimum parmi tous les agents fiables. Cela empêche les agents byzantins de corrompre le processus d'affinement.
  2. Connectivité Globale : Le sous-graphe induit par les agents honnêtes reste connecté (spécifiquement, il contient une arborescence sortante enracinée) même après filtrage, garantissant que l'information se propage correctement à travers le réseau sans fragmentation.
• L'article démontre que la $(F+1)$-robustesse est une condition nécessaire pour contenir l'influence de $F$ agents byzantins locaux dans ce contexte, offrant une alternative mathématiquement fondée à la sélection de topologies ad hoc.

Contributions Clés

1. Consensus Ancré sur Soi (SAC) : L'introduction d'un algorithme entièrement décentralisé qui remplace la confiance vulnérable aux déclarations de l'expéditeur par une évaluation côté récepteur et un mécanisme de filtrage inspiré de MSR, adapté aux interactions en langage naturel.
2. Garanties Théoriques Graphiques : L'établissement des conditions de $(F+1)$-robustesse comme fondement théorique pour garantir que les agents non byzantins peuvent contenir l'influence byzantine et converger vers des réponses correctes.
3. Validation Empirique : Démonstration que SAC supprime efficacement l'influence byzantine à travers diverses topologies de communication (MERG, Complet, Erdős–Rényi) et benchmarks de raisonnement, alors que les méthodes antérieures s'effondrent dans des conditions adverses.

Résultats Expérimentaux
Les auteurs ont évalué SAC sur deux benchmarks exigeants : MATH500 (raisonnement symbolique de niveau 4) et Commonsense170k (raisonnement de bon sens hétérogène). La configuration impliquait $n=7$ agents (4 honnêtes forts, 2 honnêtes faibles/défectueux, 1 byzantin adversaire) avec $F=3$.

• Dégradation des Performances des Méthodes de Référence : La méthode de référence, CP-WBFT, a subi un échec catastrophique sous l'influence byzantine. Sur MATH500, elle a montré une amélioration de la tolérance aux fautes byzantines (BFTI) négative, allant de $-10,4\%$ à $-24,8\%$, signifiant que la collaboration dégradait les performances en dessous des capacités autonomes des agents. Les agents forts ont été fortement entraînés vers le bas (par exemple, la précision chutant de $84\%$ à $49\%$).
• Efficacité de SAC : En revanche, SAC a atteint une BFTI positive ($+3,8\%$ à $+7,6\%$ sur MATH500) sur toutes les topologies. Il a réussi à préserver les performances des agents forts tout en améliorant celles des agents faibles.
• Métriques de Robustesse : SAC a maintenu une forte « Majorité Honnête » (la fraction de requêtes où la majorité des agents honnêtes s'accorde avec la vérité terrain), atteignant $83,3\%$ à $96,7\%$ sur MATH500, contre $36,7\%$ à $46,7\%$ pour CP-WBFT.
• Stabilité : L'analyse par tour a montré que la contamination de CP-WBFT survenait immédiatement au premier tour et persistait, tandis que SAC affichait une précision stable ou en amélioration au fil des itérations, sans dégradation progressive.

Signification et Revendications
L'article affirme que la vulnérabilité principale dans la collaboration décentralisée actuelle des LLM réside dans la dépendance à la confiance déclarée par l'expéditeur, ce qui crée une surface d'attaque pour la manipulation adverse. En passant à une évaluation côté récepteur, SAC élimine la capacité des agents byzantins à manipuler les signaux de confiance. De plus, ce travail souligne que la conception de la topologie n'est pas une simple heuristique mais une nécessité mathématique ; satisfaire la $(F+1)$-robustesse est essentiel pour contenir l'influence byzantine. Les auteurs concluent que pour que la collaboration décentralisée des LLM soit fiable, les systèmes doivent intégrer une évaluation de la confiance côté récepteur avec des topologies de réseau conscientes de la robustesse. L'article reconnaît ses limites, notant que l'évaluation actuelle est restreinte à des réseaux statiques de petite taille ($n=7, 9$) et à des réponses en un seul tour, et que la robustesse dépend de la qualité de la fonction de notation du récepteur.