Résumé Technique : Mélange d'Agents Complémentaires pour un Ensemble de LLM Robuste

Énoncé du Problème

L'article aborde le défi de la sélection d'un sous-ensemble optimal de proposeurs (paires LLM-prompts) pour un cadre d'ensemble multi-LLM, spécifiquement dans le paradigme « Mixture-of-Agents » (MoA). Dans cette configuration, les réponses de $N$ proposeurs sont agrégées par un seul LLM récapitulatif pour produire une réponse finale. Le problème central est combinatoire : étant donné un grand pool de proposeurs et une taille d'ensemble fixe $k$, quels $k$ proposeurs doivent être sélectionnés pour maximiser la précision du récapitulatif sur des tâches en aval ?

Les auteurs soutiennent que les heuristiques de sélection existantes sont insuffisantes car elles traitent les proposeurs de manière isolée.

1. Les méthodes axées sur la précision sélectionnent les modèles individuels les plus performants, en ignorant comment ils interagissent avec le récapitulatif ou entre eux.
2. Les méthodes axées sur la diversité privilégient la variance des sorties, souvent au détriment de la qualité, et ne tiennent pas compte des capacités spécifiques de correction d'erreurs du récapitulatif.

L'article postule que le facteur critique est la complémentarité : la mesure dans laquelle un ensemble de proposeurs fonctionne bien en équipe, et spécifiquement comment leurs sorties complètent le raisonnement interne du récapitulatif. Les auteurs démontrent théoriquement (via un contre-exemple impliquant un récapitulatif bayésien) et empiriquement qu'un ensemble de proposeurs avec une faible précision individuelle peut surpasser un ensemble de proposeurs à haute précision si les premiers fournissent des informations que le récapitulatif peut synthétiser de manière unique.

Méthodologie

Les auteurs reformulent la sélection de proposeurs comme un problème de sélection de caractéristiques où les « caractéristiques » sont les proposeurs et le « modèle » est le récapitulatif. Cependant, les méthodes d'enveloppe standard sont prohibitives sur le plan computationnel car l'évaluation d'un ensemble candidat nécessite des appels coûteux au LLM récapitulatif. Pour répondre au compromis entre précision et complexité des requêtes (appels au récapitulatif), l'article propose trois algorithmes de sélection de style glouton :

1. Glouton Modèle-En-Premier

Il s'agit d'une méthode de type enveloppe qui réduit la complexité des requêtes en opérant au niveau du modèle plutôt qu'au niveau du proposeur individuel.

• Mécanisme : Au lieu d'évaluer chaque proposeur individuellement, l'algorithme note d'abord les LLM entiers en fonction du gain marginal moyen de leurs variantes de prompts sur un ensemble de validation. Il sélectionne le modèle le plus performant, puis choisit la meilleure instance de prompt au sein de ce modèle.
• Complexité : Réduit les appels au récapitulatif de $O(N \cdot m)$ à $O(n_{LLM} \cdot m \cdot k)$, où $n_{LLM}$ est le nombre de modèles, $m$ la taille de l'ensemble de validation et $k$ la taille de l'ensemble.
• Raison d'être : La diversité entre différents modèles est supposée plus précieuse que la diversité entre les prompts au sein d'un même modèle.

2. Glouton Prédiction de Vérité

Il s'agit d'une méthode de type filtre qui évite totalement les appels au récapitulatif pendant la phase de sélection.

• Mécanisme : Elle traite les étiquettes prédites par les proposeurs comme des caractéristiques pour un modèle d'apprentissage automatique léger (par exemple, un classificateur) entraîné à prédire la vérité terrain. L'algorithme utilise une stratégie $k$-glouton (Algorithme 1) pour sélectionner les proposeurs qui maximisent la précision de ce prédicteur de substitution.
• Innovation clé : Contrairement à la sélection gloutonne standard, la méthode $k$-glouton estime le gain marginal en conditionnant sur une taille d'équipe finale de $k$. Cela prend en compte la nature non monotone des récapitulatifs LLM, où un proposeur bénéfique pour une petite valeur de $k$ pourrait être préjudiciable à la taille cible $k$.
• Complexité : Zéro appel au récapitulatif lors de la sélection ; repose uniquement sur des statistiques au niveau des étiquettes.

3. Glouton Oracle-Substitut

Cette méthode comble le fossé entre les deux précédentes en utilisant un substitut simple pour approximer le comportement du récapitulatif.

• Mécanisme : Elle ajuste une fonction simple $\tilde{g}(c)$ qui mappe le nombre d'étiquettes correctes ($c$) parmi $k$ entrées à la précision attendue du récapitulatif. Ce substitut est entraîné à l'aide d'un petit nombre de requêtes oracle (récapitulatif). Les proposeurs sont ensuite sélectionnés pour maximiser la précision prédite de ce substitut.
• Complexité : Nécessite $(k+1)T_{\tilde{g}}$ appels au récapitulatif pour l'entraînement, nettement moins que le Glouton Modèle-En-Premier.

Contributions Clés

1. Identification de la Complémentarité : L'article établit la complémentarité (entre les proposeurs et le récapitulatif) comme un objectif décisif, mais négligé, pour les ensembles de LLM. Il fournit un contre-exemple théorique montrant que les heuristiques axées sur la précision et la diversité peuvent échouer à identifier l'ensemble optimal, même sous un récapitulatif Bayes-optimal.
2. Cadre Algorithmique : Les auteurs introduisent le cadre Complementary-MoA et trois algorithmes spécifiques (Modèle-En-Premier, Prédiction de Vérité, Oracle-Substitut) qui naviguent dans le compromis précision-efficacité. Ces méthodes sont conçues spécifiquement pour les contraintes des ensembles de LLM, où les coûts d'évaluation sont élevés.
3. Validation Empirique : Grâce à des expériences extensives sur trois benchmarks de raisonnement (AIME, CLadder, MMLU-Pro) avec des pools de proposeurs et des récapitulatifs diversifiés, l'article démontre que les méthodes guidées par la complémentarité sont robustes dans des scénarios où les heuristiques standard échouent.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes par rapport à des références incluant « Best-model » (axé sur la précision), « Conditioned-diversity » (axé sur la diversité), « LLM-judge » et « Approximate Shapley ».

• Performance :
  • Glouton Modèle-En-Premier a constamment atteint des performances de premier plan, se classant dans les deux premiers sur cinq des six configurations testées (par exemple, 0,812 de précision sur CLadder contre 0,793 pour Best-model).
  • Glouton Prédiction de Vérité et Glouton Oracle-Substitut ont fourni des performances constamment solides dans tous les scénarios, surpassant souvent les références axées sur la diversité qui échouaient sur des jeux de données comme MMLU-Pro.
  • Échecs des références : Les méthodes axées sur la précision (Top-accuracy, Best-model) ont mal performé sur AIME, tandis que les méthodes axées sur la diversité ont dégradé les performances sur MMLU-Pro. Les références LLM-judge ont mal performé, suggérant que juger les proposeurs de manière isolée ne capture pas la valeur de l'ensemble.
• Efficacité :
  • Glouton Prédiction de Vérité n'a requis aucun appel au récapitulatif.
  • Glouton Oracle-Substitut a requis environ 1 200 appels.
  • Glouton Modèle-En-Premier a requis environ 16 000 appels.
  • Approximate Shapley (une référence puissante mais coûteuse) a requis environ 64 000 appels et a été surpassé par le Glouton Modèle-En-Premier en termes de précision.
• Analyse de la Distribution : Les auteurs ont observé que les références axées sur la précision induisaient une distribution en U des étiquettes correctes (de nombreux ensembles tous corrects ou tous faux), tandis que les références axées sur la diversité induisaient une distribution en forme de cloche centrée autour de $k/2$. Les méthodes basées sur la complémentarité ont produit des distributions mieux alignées sur la courbe de précision du récapitulatif, évitant les pièges des deux extrêmes.

Importance et Revendications

L'article revendique que la contribution principale est un changement de perspective : les ensembles optimaux ne sont pas de simples collections des agents les plus performants ou les plus diversifiés, mais des équipes structurellement complémentaires au récapitulatif.

• Robustesse : Les méthodes proposées sont revendiquées comme robustes à travers différents jeux de données, modèles de récapitulatif et compositions de pools de proposeurs (y compris les régimes de « foule mixte » où le modèle le plus performant est retiré).
• Praticité : En offrant un spectre d'algorithmes allant de zéro appel (Prédiction de Vérité) à appel modéré (Modèle-En-Premier), le travail fournit aux praticiens des outils fondés pour sélectionner des proposeurs sous des budgets de requêtes variables.
• Limites : Les auteurs notent modestement que leurs algorithmes au niveau des étiquettes sont actuellement adaptés aux tâches à choix multiples et pourraient nécessiter une adaptation pour la génération ouverte. Ils suggèrent également que les stratégies de sélection hybrides (combinant complémentarité et précision) restent un domaine ouvert pour des explorations futures.

L'article conclut que l'optimisation explicite de la complémentarité est cruciale pour une collaboration multi-LLM efficace, car les métriques de qualité individuelles sont des proxies peu fiables pour la performance de l'ensemble.