Résumé Technique : ReM-MoA : La mémoire de raisonnement soutient la mise à l'échelle des mélanges d'agents (Mixture-of-Agents)

Énoncé du Problème

Les architectures de Mélange d'Agents (MoA - Mixture-of-Agents) visent à améliorer la mise à l'échelle de l'inférence en organisant plusieurs agents de Grands Modèles de Langage (LLM) en pipelines de raisonnement par couches. Bien que l'augmentation de la profondeur (nombre de couches) et de la largeur (nombre d'agents par couche) offre théoriquement une voie vers un raisonnement collectif évolutif, les variantes existantes de MoA ne parviennent pas à maintenir les gains de performance à mesure que les architectures s'approfondissent. Les observations empiriques révèlent trois modes de défaillance distincts :

1. Dégradation : Les systèmes MoA standards atteignent souvent un pic à des profondeurs faibles, puis se dégradent, car la concaténation brute inter-couches propage à la fois le raisonnement utile et les erreurs accumulées.
2. Plateau Précoce : Les variantes utilisant une propagation résiduelle locale (ex: RMoA) ne parviennent pas à récupérer le raisonnement de haute qualité généré dans des couches antérieures non adjacentes, provoquant un plafonnement des performances.
3. Saturation et Effondrement de la Diversité : Les systèmes reposant sur l'interaction intra-couche (ex: AttentionMoA) ou sur un contexte accumulé identique provoquent la convergence des agents vers des chemins de solution redondants, entraînant un effondrement de la diversité de l'exploration.

Les méthodes existantes tentent de remédier à ces problèmes via la consolidation d'informations, l'interaction entre agents ou la sélection guidée par la qualité, mais aucune ne parvient à maintenir l'équilibre entre la préservation de la qualité (retenir les trajectoires de raisonnement de haute qualité) et la préservation de la diversité (empêcher les agents de converger vers des chemins identiques) à mesure que le système passe à l'échelle.

Méthodologie : ReM-MoA

Les auteurs proposent ReM-MoA, un cadre de MoA augmenté par la mémoire, conçu pour soutenir la mise à l'échelle en traitant le problème comme une tâche conjointe de préservation de la qualité et de la diversité. Le cadre se compose de trois composants interconnectés :

1. Mémoire de Raisonnement Classée ($M$)

Contrairement aux systèmes de mémoire épisodique qui accumulent l'expérience à travers les tâches, ReM-MoA maintient une mémoire de raisonnement structurée et inter-couches au sein d'une seule instance de problème.

• Mécanisme : À chaque couche $l$, $N$ agents proposants génèrent des traces de raisonnement. Un Agent Réviseur (un LLM) évalue comparativement ces traces, attribuant un score entier et une justification ciblée à chacune.
• Stockage : La mémoire stocke une union des entrées de toutes les couches précédentes ($M_{\le l} = \bigcup_{k=1}^l M_k$), où chaque entrée est un triplet composé de (trace, score, justification).
• Accès : La mémoire est en ajout uniquement (append-only) et supporte l'accès en lecture depuis n'importe quelle couche ultérieure, permettant aux couches plus profondes de revisiter et de construire sur des chemins de raisonnement provenant de profondeurs arbitraires, et non seulement des couches adjacentes.

2. Routage de Mémoire Diversifié et Curaté ($\Pi$)

Pour éviter l'effondrement de la diversité, le cadre garantit que les agents au sein d'une même couche ne consomment pas un contexte identique.

• Mécanisme : Un schéma de routage sélectionne des sous-ensembles distincts de la mémoire pour chaque agent proposant. Ces sous-ensembles sont tirés de trois familles de fonctions de routage :
  • Contrastive ($Conn$) : Combine des traces à score élevé (Top) et à score faible (Bot) pour fournir des signaux contrastifs.
  • Renforcement Positif ($Top$) : Se concentre sur les modèles de réussite.
  • Focus sur les Modes d'Échec ($Bot$) : Met en évidence les pièges courants.
• Distribution : Pour $N$ agents, les fonctions de routage sont réparties entre ces familles (par exemple, un agent reçoit du contrastif, un autre du positif, un autre du focus sur l'échec). Cela garantit que la couche explore l'ensemble du contenu de la mémoire tandis que les agents individuels reçoivent des ensembles de référence distincts et conscients de la qualité.

3. Distillation du Réviseur (Amélioration Optionnelle)

Pour améliorer la qualité du classement de l'Agent Réviseur, les auteurs introduisent un pipeline optionnel utilisant la distillation de modèles de pointe.

• Processus : Un modèle enseignant fort (ex: GPT-5.5) supervise le score et les justifications des traces générées par le ReM-MoA lui-même sur un ensemble d'entraînement multi-domaines.
• Fine-tuning : Un modèle Réviseur de base plus petit est affiné via LoRA pour imiter les jugements de l'enseignant. Cela crée un Réviseur polyvalent capable de se transférer sur différents domaines de raisonnement.

Contributions Clés

1. Caractérisation Empirique des Échecs de Mise à l'Échelle : L'article identifie et caractérise trois modes de défaillance spécifiques dans les systèmes MoA existants (dégradation, plafonnement et effondrement de la diversité) causés par la concaténation brute, l'accès limité entre les couches et les contextes homogénéisés.
2. Cadre ReM-MoA : La proposition d'un cadre qui soutient la mise à l'échelle grâce à une Mémoire de Raisonnement Classée et un Routage de Mémoire Diversifié et Curaté. Cette approche préserve les trajectoires de raisonnement de haute qualité tout en maintenant la diversité de l'exploration en exposant les agents à des combinaisons distinctes de traces réussies et échouées.
3. Pipeline de Distillation Optionnel : L'introduction d'un pipeline de distillation du Réviseur multi-domaine qui améliore le module de classement, permettant au système de se généraliser à des domaines non étudiés.
4. Évaluation Complète : Des expériences approfondies sur cinq benchmarks de raisonnement (Math, Logique Formelle, Code, Connaissance et Sens Commun) démontrant que ReM-MoA surpasse les variantes précédentes tant en termes de profondeur que de largeur de mise à l'échelle.

Résultats Expérimentaux

Les auteurs ont évalué ReM-MoA par rapport à Standard MoA, RMoA et AttentionMoA sur cinq benchmarks : MATH, MMLU-redux, Formal Logic, CRUX (code) et HellaSwag.

• Mise à l'échelle de la Profondeur ($L=1$ à $9$, $N=3$) :

  • Le Standard MoA a subi une dégradation significative (ex: une chute d'environ 9,1 points sur MMLU-redux à $L=9$).
  • RMoA et AttentionMoA ont plafonné ou saturé précocement.
  • ReM-MoA s'est amélioré de manière constante à mesure que la profondeur augmentait. L'écart de performance entre ReM-MoA et la base la plus forte s'est élargi de manière monotone avec la profondeur (ex: un avantage de +7,3 points sur Formal Logic à $L=9$).
  • ReM-MoA$^*$ (avec le Réviseur distillé) a étendu davantage la mise à l'échelle soutenue sur tous les benchmarks, inversant les tendances de saturation vers une croissance continue sur les tâches qui plafonnaient auparavant.

• Mise à l'échelle de la Largeur ($N=3$ à $8$, $L=3$) :

  • ReM-MoA a surpassé toutes les bases sur toutes les configurations de largeur.
  • Bien que la mise à l'échelle de la largeur montre des rendements décroissants par rapport à celle de la profondeur, ReM-MoA maintient une avance constante, l'écart passant de +2,30 à +3,68 points à mesure que $N$ augmente.

• Études d'Ablation :

  • Supprimer l'accès inter-couches (restreindre les lectures à la couche immédiatement précédente) a provoqué la plus forte baisse de performance, confirmant la nécessité d'accéder aux couches non adjacentes.
  • Supprimer la diversification du routage (partager un ensemble de référence unique entre tous les agents) a déclenché une régression similaire à l'échec du modèle complet, prouvant que la diversité intra-couche est critique.
  • Supprimer les justifications a entraîné une baisse de performance plus faible mais a préservé la tendance de mise à l'échelle, indiquant que les justifications agissent comme un raffinement plutôt que comme un échafaudage essentiel.

• Transfert de Distillation :

  • Un Réviseur distillé sur quatre domaines (en mettant de côté le domaine d'évaluation) a récupéré 44 % du gain obtenu par un modèle distillé multi-domaines, démontrant la transférabilité à des domaines de raisonnement non vus.

Signification et Revendications

L'article affirme qu'une mémoire de raisonnement inter-couches structurée est un mécanisme critique manquant pour une inférence multi-agents évolutive. En découplant la préservation de la qualité du raisonnement du maintien de la diversité de l'exploration, ReM-MoA surmonte l'effondrement de la mise à l'échelle observé dans les architectures précédentes.

Les auteurs soutiennent que ReM-MoA établit un nouveau paradigme où les gains de mise à l'échelle ne sont pas simplement une fonction de l'agrégation ou de l'interaction, mais de la manière dont les traces de raisonnement sont stockées, classées et routées de manière sélective. Le cadre démontre qu'avec la bonne architecture de mémoire, les systèmes multi-agents peuvent soutenir des améliorations de performance lorsqu'ils passent à l'échelle, tant en profondeur qu'en largeur, une propriété auparavant inégalée dans le domaine. Le pipeline de distillation optionnel suggère également que ces bénéfices peuvent être généralisés à travers les domaines sans vérificateurs spécifiques aux tâches.