Recursive Multi-Agent Systems

1. Énoncé du problème

Les modèles de langage de grande taille (LLM) actuels éprouvent souvent des difficultés avec des tâches complexes en raison d'une capacité limitée, d'une génération myope ou d'une exploration inefficace de l'espace des solutions. Bien que les systèmes multi-agents (MAS) aient émergé pour y remédier en organisant des agents spécialisés dans des flux de travail collaboratifs, les approches existantes présentent des limitations significatives :

• Latence médiatisée par le texte : Les MAS standards reposent sur la génération et l'échange explicites de texte entre les agents. Cela introduit une latence substantielle et une surcharge de tokens, en particulier dans des contextes récursifs ou itératifs où les agents doivent attendre que les autres terminent la génération de texte avant de poursuivre.
• Inefficacité de l'entraînement : L'optimisation d'un MAS entier est difficile. La mise à jour de tous les paramètres du modèle est coûteuse en calcul, et les dépendances séquentielles de texte conduisent souvent à une disparition du gradient lors de la rétropropagation, entravant l'apprentissage de dynamiques de collaboration complexes.
• Adaptation statique : De nombreuses méthodes existantes reposent sur l'ingénierie de prompts ou le raffinement itératif du contexte, ce qui améliore l'alignement mais n'évolue pas fondamentalement les capacités de raisonnement interne des agents ni la structure collaborative du système.

Les auteurs se demandent : La collaboration entre agents peut-elle elle-même être mise à l'échelle par la récursivité, et cela peut-il être réalisé plus efficacement en opérant dans l'espace latent plutôt que dans l'espace textuel ?

2. Méthodologie : RecursiveMAS

Le papier introduit RecursiveMAS, un cadre qui considère l'ensemble du système multi-agent comme un calcul récursif unifié dans l'espace latent. Au lieu de traiter les agents comme des entités séparées échangeant du texte, RecursiveMAS les traite comme des couches dans une boucle récursive, transmettant et affinant des représentations latentes (états cachés) plutôt que des tokens.

Composants architecturaux principaux

1. Génération de pensées latentes (Boucle interne) :

   • Chaque agent effectue une génération auto-régressive non pas de tokens, mais de pensées latentes (embeddings d'états cachés continus).
   • Un Inner RecursiveLink ($R_{in}$) connecte la sortie de la dernière couche d'un agent à son espace d'embedding d'entrée pour l'étape suivante. Cela permet à un agent d'affiner itérativement son état de raisonnement interne sans décoder vers le texte.
   • $R_{in}$ est un module de projection résiduelle léger à 2 couches : $R_{in}(h) = h + W_2 \sigma(W_1 h)$.

2. Collaboration inter-agents (Boucle externe) :

   • Des agents hétérogènes (différentes tailles/architectures de modèles) sont connectés via un Outer RecursiveLink ($R_{out}$).
   • $R_{out}$ transforme l'état latent d'un agent dans l'espace d'embedding du prochain agent, permettant un transfert d'information transparent entre différents types de modèles.
   • Le système forme une boucle fermée : Agent $A_1 \to A_2 \to \dots \to A_N \to A_1$. Seul l'agent final dans le dernier tour de récursion décode l'état latent vers la sortie textuelle finale.

3. Paradigme d'entraînement Boucle interne-Boucle externe :

   • Entraînement de la boucle interne : Chaque agent est préchauffé individuellement. Le $R_{in}$ interne est entraîné pour aligner les pensées latentes générées par l'agent avec la distribution sémantique de la réponse de vérité terrain (en utilisant une régression de similarité cosinus). Cela garantit que les agents peuvent générer des états latents significatifs.
   • Entraînement de la boucle externe : L'ensemble du système est co-optimisé. Les modules $R_{out}$ externes sont entraînés à l'aide d'un mécanisme partagé d'attribution de crédit basé sur le gradient. Les gradients sont rétropropagés à travers le graphe de calcul récursif complet (à travers tous les agents et tous les tours de récursion) en utilisant une perte standard de Cross-Entropy sur la sortie finale. Cela permet au système d'apprendre à collaborer de manière itérative.

Avantages théoriques

Le papier fournit deux justifications théoriques clés pour la récursivité dans l'espace latent :

• Complexité d'exécution : RecursiveMAS remplace le décodage coûteux dans l'espace du vocabulaire ($O(|V|)$) par une projection dans l'espace latent ($O(d_h^2)$). Puisque la dimension cachée $d_h$ est beaucoup plus petite que la taille du vocabulaire $|V|$, la complexité est considérablement réduite.
• Stabilité du gradient : L'analyse théorique montre que la récursivité basée sur le texte souffre d'une disparition du gradient (norme du gradient $\approx 0$) en raison de l'opération softmax et des contraintes d'entropie. En revanche, RecursiveMAS maintient des gradients stables et quasi constants (norme $\approx 1$) grâce aux connexions résiduelles dans l'espace latent, facilitant un entraînement efficace de la récursion profonde.

3. Contributions clés

1. Récursivité au niveau du système : Le premier cadre étendant le principe de mise à l'échelle récursive des modèles uniques aux systèmes multi-agents hétérogènes, traitant l'ensemble du MAS comme une boucle unifiée dans l'espace latent.
2. RecursiveLink léger : Un module novateur et économe en paramètres ($R_{in}$ et $R_{out}$) qui permet la génération de pensées latentes et le transfert d'état inter-agents sans mettre à jour les paramètres massifs des LLM de base.
3. Optimisation Boucle interne-Boucle externe : Un algorithme d'entraînement en deux étapes qui découple la capacité de l'agent (interne) de la collaboration du système (externe), permettant une co-optimisation stable de l'ensemble du système.
4. Généralisabilité : Le cadre est agnostique à l'architecture et prend en charge des modèles de collaboration divers, notamment Séquentiel, Mélange d'experts (Mixture-of-Experts), Distillation et Délibération intégrée aux outils.

4. Résultats empiriques

Les auteurs ont évalué RecursiveMAS sur 9 benchmarks (Mathématiques, Sciences, Médecine, Recherche, Code) en utilisant 4 modèles de collaboration différents et diverses familles de modèles (Qwen, Llama, Gemma, Mistral).

• Précision : RecursiveMAS a obtenu une amélioration moyenne de la précision de 8,3 % par rapport à des bases de référence avancées d'agents uniques et multi-agents (y compris des systèmes récursifs basés sur le texte).
  • Des gains notables sur des tâches intensives en raisonnement : +18,1 % sur AIME2025, +13,0 % sur AIME2026.
• Efficacité (Vitesse) :
  • Accélération de l'inférence : Une accélération de l'inférence de bout en bout de 1,2× à 2,4× par rapport aux MAS récursifs basés sur le texte. L'accélération augmente à mesure que la profondeur de récursion augmente, car les systèmes basés sur le texte souffrent de coûts de génération de tokens cumulatifs.
  • Réduction des tokens : Réduction de l'utilisation des tokens de 34,6 % à 75,6 % par rapport aux bases de référence basées sur le texte, car la plupart des interactions se produisent dans l'espace latent compressé.
• Lois de mise à l'échelle :
  • Profondeur de récursion : Les performances s'améliorent constamment à mesure que le nombre de tours de récursion ($r=1, 2, 3$) augmente.
  • Entraînement vs Inférence : Une récursion d'entraînement plus profonde déplace la frontière des performances vers le haut, et une récursion d'inférence plus profonde exploite davantage la structure latente apprise.
• Coût : L'entraînement de RecursiveMAS est considérablement moins cher que le fine-tuning complet ou même le fine-tuning LoRA d'agents uniques, car seuls les modules légers RecursiveLink sont mis à jour (environ 0,31 % des paramètres totaux).

5. Signification

RecursiveMAS représente un changement de paradigme dans la conception et l'entraînement des systèmes multi-agents :

• Efficacité : Il résout la "taxe de tokens" de la collaboration multi-agent, rendant le raisonnement itératif réalisable pour des tâches complexes sans latence ni coût prohibitifs.
• Évolutivité : Il démontre que les performances au niveau du système peuvent être mises à l'échelle en approfondissant la boucle de récursion, de manière similaire à la façon dont les modèles uniques évoluent avec la profondeur, mais appliquée à un écosystème collaboratif.
• Stabilité : En déplaçant la collaboration vers l'espace latent, il surmonte les problèmes d'instabilité du gradient qui ont historiquement affecté l'entraînement récursif profond dans les systèmes basés sur le texte.
• Généralisation : La capacité du cadre à se généraliser à différentes topologies d'agents (séquentielles, parallèles, distillation) suggère une approche robuste et universelle pour mettre à l'échelle la collaboration entre agents.

En conclusion, RecursiveMAS prouve que la récursivité dans l'espace latent est un axe de mise à l'échelle viable et supérieur pour les systèmes multi-agents, offrant une voie vers une IA collaborative plus capable, plus efficace et plus entraînable.