Résumé Technique : QueenBee Planner

Énoncé du Problème

Le paradigme de conception pour les systèmes multi-agents basés sur les modèles de langage étendu (LLM) est passé de l'optimisation du raisonnement des agents individuels (ex. : prompting, chaînes de pensée) à l'optimisation de l'organisation des agents en interaction. Bien que des travaux récents aient établi que la topologie de communication est un déterminant de premier ordre pour la précision, le coût et la robustesse du système, les approches existantes partagent une limitation critique : elles conçoivent généralement une topologie pour une tâche spécifique, puis s'arrêtent là. Elles ne parviennent pas à accumuler des connaissances de conception réutilisables sur les structures de communication à travers les tâches. De plus, les méthodes actuelles confondent souvent le comportement de résolution de tâches avec la conception architecturale, ou optimisent le routage sans stocker explicitement les leçons de topologie.

Le défi central abordé par cet article est d'empêcher une boucle de conception auto-améliorée de transformer le bruit (résultats chanceux, explications plausibles mais fausses) en politique. Un architecte auto-évolutif digne de confiance nécessite une discipline explicite pour garantir que les améliorations de la structure de communication sont authentiques, reproductibles et distinctes des capacités des agents travailleurs sous-jacents.

Méthodologie

L'article présente QueenBee Planner, un cadre qui traite la topologie de communication inter-agents comme une compétence de conception récupérable et auto-améliorable. Le système opère sous une séparation stricte des préoccupations :

1. Séparation Planificateur-Travailleur

• Travailleurs Gelés : Un pool d'agents travailleurs, un adaptateur de tâche et une fonction de score restent fixes tout au long du processus d'apprentissage. Les travailleurs n'observent que des fragments privés d'une tâche et mettent à jour leurs états de croyance sur la base des messages reçus.
• Planificateur Génératif : Un LLM externe agit comme un architecte. Son unique objectif d'apprentissage est de générer des graphes orientés acycliques (DAG) de communication temporelle. Ces DAG spécifient qui envoie des informations à qui, à quel tour, qui fusionne les messages et qui émet la réponse finale.

2. DAG de Communication Temporelle

Le planificateur génère un graphe temporellement déroulé $G = (N, T, E, h, I, R)$, où :

• $N$ est le nombre de travailleurs.
• $T$ est le nombre de tours de communication.
• $E$ représente les arêtes temporelles dirigées (flux de messages).
• $h$ est le détenteur de la réponse finale.
• Le graphe est contraint par des limites de faisabilité sur les tours ($T_{max}$), le nombre total d'arêtes ($M$) et le fan-in maximal ($\beta$) pour contrôler les coûts de jetons (tokens) et la complexité de la fusion.

3. Banque de Compétences et Règles de Conception

La mémoire du planificateur est une Banque de Compétences contenant des règles de conception étayées par des preuves. Chaque compétence $s = (z, r, a, q, E)$ se compose de :

• Condition ($z$) : Caractéristiques de la tâche (ex. : nombre d'agents, budget).
• Règle ($r$) : Modèle structurel (ex. : « réduction par étapes », « arête d'audit »).
• Action ($a$) : L'une des trois actions suivantes :
  • Préserver : Garder la structure comme un échafaudage exécutable.
  • Modifier : Adapter la structure centrale pour des conditions de tâche légèrement différentes.
  • Éviter : Traiter la structure comme une contrainte négative en raison d'échecs passés.
• Preuve ($E$) : Données de support et contre-exemples.

4. Boucle d'Auto-Évolution Disciplinée

Pour prévenir la dérive et le surapprentissage, le système emploie plusieurs mécanismes rigoureux avant de mettre à jour la Banque de Compétences :

• Attribution de Crédit au Niveau du Motif : Au lieu d'attribuer le crédit à des graphes entiers, le système décompose les graphes en motifs structurels (ex. : limites de fan-in, profondeur de réduction). Le crédit est attribué à ces motifs avec une pénalité sensible à la variance pour éviter que des succès isolés chanceux ne dominent.
• Porte d'Acceptation sur Données Non-Incluses : Les mises à jour ($\Delta S$) ne sont admises dans la Banque de Compétences à long terme que si elles améliorent de manière démontrable les performances sur des tâches et des graines (seeds) non incluses dans l'entraînement, et non seulement sur les données d'entraînement.
• Crédit Sensible à la Variance : Les règles nécessitent un nombre d'échantillons minimum et des estimations de perte conservatrices pour assurer la stabilité.
• Falsification des Insights : Les insights en langage naturel proposés par le planificateur sont traités comme des hypothèses et doivent passer des tests de falsification sur des preuves non incluses avant de devenir des compétences.
• Confiance de Transfert : Les compétences ne sont pas automatiquement appliquées à toutes les tâches ; elles ne sont déployées que s'il existe des preuves de succès directes ou indirectes pour le créneau de tâche spécifique.
• Déduplication Structurelle : Les spécifications de graphes isomorphes sont fusionnées pour éviter que la Banque de Compétences ne croisse linéairement avec les tours d'exécution.

Contributions Clés

1. Recadrage de la Topologie comme une Compétence : L'article recadre la topologie de communication multi-agents comme une compétence de conception récupérable et auto-améliorable, séparant l'« architecte » (planificateur) des « travailleurs ». L'objet appris est la connaissance de la conception de la communication, et non le comportement de résolution de tâches.
2. Mécanisme pour une Auto-Amélioration Disciplinée : Il introduit un cadre complet pour générer des DAG temporels conditionnés par une banque de compétences, comprenant des portes de contrôle sur données non incluses, une attribution au niveau du motif, un crédit sensible à la variance et une falsification des insights pour garantir une évolution fiable.
3. Affirmation Empirique sur l'Apprentissage Architectural : Les auteurs démontrent que, sous ces disciplines, un planificateur peut améliorer ses structures de communication générées sur des tâches non incluses alors que le pool de travailleurs reste gelé, prouvant que le système apprend à concevoir des organisations plutôt qu'à simplement mémoriser des réponses.

Résultats Expérimentaux

La méthode a été évaluée sur deux familles de tâches : l'agrégation Count-Frequency (CF) et la coordination distribuée de type Silo-Bench.

• Tâche Count-Frequency (CF) :

  • Dans le cadre de test complet DeepSeek-V4-Flash, le meilleur graphe auto-évolué (une structure hybride de réduction-audit) a réduit l'RMSE de 12,53 (la plus forte topologie fixe) à 7,87.
  • Cette amélioration s'est accompagnée de gains d'efficacité significatifs : une réduction de 74,2 % des messages, une réduction de 54,5 % des appels de modèles et une réduction de 59,6 % du coût en jetons par rapport à la meilleure topologie fixe.
  • Les améliorations ont été constantes à travers divers modèles de travailleurs (DeepSeek, Qwen, GPT-4o, MiMo), avec des réductions d'RMSE allant de 14 % à 56 %.

• Tâches de type Silo-Bench :

  • La génération de graphes auto-évolués a atteint un Exact Match (EM) de 0,539 (après 3 tours), surpassant la génération à froid (0,125), la meilleure topologie fixe unique (0,333) et même une topologie fixe oracle par cas (0,417).
  • Cela suggère que le système apprend des structures fines conditionnées par la tâche plutôt que de simplement choisir parmi un ensemble fixe de topologies.

• Trajectoire d'Évolution :

  • Une analyse tour par tour a montré que, bien que l'exploration introduise du bruit (fluctuations de l'RMSE), l'archive du « meilleur à ce jour » s'améliore systématiquement, démontnant que le système accumule des connaissances de conception réutilisables (ex. : réduction par étapes, couverture de puits/sink coverage) au fil du temps.

Signification et Revendications

L'article affirme que l'architecture d'un système multi-agents n'est pas simplement un détail d'implémentation, mais un objet d'apprentissage explicite. QueenBee Planner démontre que les systèmes multi-agents peuvent apprendre des connaissances de conception architecturale réutilisables (quand préserver, modifier ou éviter des modèles de communication) plutôt que de simplement mémoriser des réponses aux tâches.

Les auteurs restent modestes quant à la portée, notant que les résultats actuels sont basés sur des familles de tâches spécifiques (CF et type Silo) et un nombre limité de tours d'évolution. Ils postulent que le système ne découvre pas une topologie universellement optimale unique, mais accumule des priors transférables. La contribution principale est la validation qu'un système à travailleurs gelés peut améliorer ses performances uniquement en faisant évoluer sa politique de conception de communication par une auto-réflexion disciplinée et étayée par des preuves.