SafeSieve: From Heuristics to Experience in Progressive Pruning for LLM-based Multi-Agent Communication

1. Problématique

Les systèmes multi-agents (MAS) basés sur les grands modèles de langage (LLM) démontrent des capacités collaboratives impressionnantes pour la résolution de problèmes complexes. Cependant, ils souffrent de deux défauts majeurs :

• Redondance et surcoût : Les conversations denses et en boucle (round-robin) génèrent un gaspillage massif de tokens, augmentant les coûts d'inférence et diluant l'attention sur les informations clés.
• Limites des méthodes existantes : Les approches actuelles se divisent en deux catégories :
  • Conception préliminaire (Pre-design) : Elles construisent des topologies statiques avant l'exécution (ex: GPTSwarm). Elles manquent d'adaptabilité aux dynamiques d'exécution.
  • Élagage postérieur (Post-prune) : Elles ajustent le graphe en temps réel mais reposent souvent sur des stratégies "gloutonnes" (Top-k) qui peuvent supprimer par erreur des chemins de communication critiques, réduisant la robustesse du système.
• Manque d'unification : Aucune méthode n'unifie actuellement le filtrage heuristique initial et l'adaptation dynamique basée sur la performance.

2. Méthodologie : SafeSieve

SafeSieve est un algorithme d'élagage progressif et adaptatif conçu pour optimiser la communication inter-agents via une mécanique duale et une approche de clustering.

A. Initialisation Heuristique Sémantique

Au démarrage, le système évalue la compatibilité entre les agents $i$ et $j$ en combinant :

1. Similarité sémantique : Basée sur des embeddings de rôles pré-entraînés.
2. Compatibilité fonctionnelle : Évaluée par un LLM expert ($S_{expert}$).
   La note initiale $S_{ij}^{compat}$ est une pondération de ces deux facteurs, fournissant une base heuristique solide avant l'exécution de la tâche.

B. Élagage Progressif avec Feedback Historique

Le système évolue d'une évaluation statique vers une évaluation basée sur l'expérience :

• Complémentarité historique : La contribution de chaque lien $(i, j)$ est mise à jour en fonction de la réussite des tâches au fil du temps ($C_{ij}^{hist}$).
• Score de lien intégré : Une formule pondérée ($E_{ij}(t)$) combine la compatibilité sémantique initiale et le feedback historique. Le poids du feedback historique augmente progressivement au cours du temps ($t/T$), permettant une transition fluide de l'heuristique à l'expérience.

C. Élagage par Clustering 0-Extension

Contrairement aux méthodes gloutonnes qui suppriment des liens individuels, SafeSieve utilise une approche structurelle :

• Clustering 0-Extension : Le problème est formulé comme un problème d'extension 0 (k-terminal 0-extension). Cela permet de regrouper les agents en communautés structurellement cohérentes.
• Préservation de la connectivité : L'algorithme élimine les liens inefficaces entre les clusters tout en préservant les chemins critiques au sein des groupes et les connexions essentielles entre les communautés. Cela évite les optimums locaux et maintient la complémentarité inter-agents.
• Seuil Dynamique : Le seuil d'élagage s'adapte au cours du temps, devenant plus agressif à mesure que le système apprend.

3. Contributions Clés

1. Cadre Unifié : SafeSieve est le premier framework d'élagage postérieur intégrant l'évaluation sémantique LLM, le feedback historique cumulatif et le clustering 0-extension pour un élagage progressif.
2. Efficacité et Robustesse : Il offre un compromis optimal entre précision et consommation de tokens, tout en étant intrinsèquement résistant aux attaques par injection de prompts (détection et mitigation des agents malveillants).
3. Déploiement Hétérogène : Le framework est conçu pour gérer des collaborations entre modèles de tailles différentes (ex: un grand modèle "commandant" guidant des modèles plus petits), optimisant ainsi les coûts de déploiement.

4. Résultats Expérimentaux

Les expériences ont été menées sur six benchmarks (MMLU, GSM8K, SVAMP, HumanEval, AQuA, MATH-500) avec des modèles comme DeepSeek-V3 et GPT-4o-mini.

• Performance :
  • SafeSieve atteint une précision moyenne de 94,01% (sur DeepSeek-V3), surpassant les méthodes de base (Vanilla, CoT) et les approches concurrentes (AgentPrune, AgentDropout, GPTSwarm).
  • Améliorations notables sur des tâches complexes : +6,58 points sur HumanEval et +4,42 points sur MMLU par rapport aux méthodes mono-agent.
• Efficacité (Tokens) :
  • Réduction de la consommation de tokens de 12,4 % à 27,8 % par rapport aux méthodes de référence, tout en maintenant ou en améliorant la précision.
• Robustesse aux Attaques :
  • Sous des attaques par injection de prompts (agents malveillants), SafeSieve ne subit qu'une chute de précision moyenne de 1,23 %, contre 4,59 % pour AgentPrune. Sa structure de clustering empêche la formation d'"îlots d'information" et isole efficacement les agents nuisibles.
• Déploiement Hétérogène :
  • Dans des configurations mixtes (Grand modèle + Petits modèles), SafeSieve réduit les coûts de déploiement de 13,3 % tout en maintenant des performances élevées, en allouant intelligemment les tâches aux modèles les plus adaptés.

5. Signification et Impact

SafeSieve représente une avancée significative dans l'orchestration des systèmes multi-agents LLM. En passant d'une approche purement heuristique ou purement réactive à une stratégie hybride progressive, il résout le dilemme entre l'efficacité computationnelle et la robustesse structurelle.

• GPU-Free : La méthode ne nécessite pas de pré-entraînement de graphes (GNN), ce qui la rend légère et facile à déployer.
• Scalabilité : Elle permet de construire des systèmes multi-agents économiquement viables pour des applications réelles, en réduisant drastiquement les coûts d'inférence sans sacrifier la qualité des résultats.
• Sécurité : Sa capacité à détecter et isoler les agents malveillants en temps réel en fait une solution de choix pour des environnements de production sensibles.

En résumé, SafeSieve établit un nouvel état de l'art pour la communication efficace et sécurisée dans les systèmes multi-agents basés sur l'IA.