🤖 AI

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

Cet article soutient que les gains de performance des systèmes de LLM multi-modèles, tels que le routage et le vote, sont fondamentalement plafonnés par le « taux de co-échec » (la fréquence à laquelle tous les modèles échouent simultanément), une métrique que les mesures de corrélation standard ne saisissent pas et qui limite souvent la précision de l'ensemble à celle du meilleur modèle unique, à moins qu'un signal de routage fort au niveau de la requête ne soit présent.

Auteurs originaux : Josef Chen

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Josef Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Pourquoi « plus de voix » ne signifie pas toujours « de meilleures réponses »

Imaginez que vous êtes un gestionnaire essayant de résoudre un puzzle difficile. Vous avez une équipe de 67 experts différents (modèles d'IA) parmi lesquels choisir. Le conseil habituel dans le monde de la technologie est le suivant : « Ne choisissez pas seulement la personne la plus intelligente ; interrogez un groupe et votez sur la réponse. S'ils ne sont pas d'accord, le groupe est généralement plus intelligent qu'une seule personne. »

Ce papier soutient que ce conseil est souvent erroné. Parfois, interroger un groupe d'experts vous donne en réalité la même réponse qu'interroger un seul expert, mais à un coût bien plus élevé. En fait, sur les problèmes difficiles, tout le groupe peut échouer ensemble, et aucun vote ne pourra corriger cela.

Les deux problèmes principaux

Les auteurs ont découvert que la combinaison de modèles se heurte à un « plafond de verre » (une limite que l'on ne peut pas branter) pour deux raisons principales.

1. Le plafond du « Tout-Faux » (L'angle mort commun)

Imaginez que vous posiez une question mathématique très complexe à 67 experts.

La croyance ancienne : Si les experts sont diversifiés, ils feront des erreurs différentes. Si l'Expert A se trompe, l'Expert B pourrait avoir raison.
La réalité : Sur les questions difficiles et ouvertes (comme les mathématiques complexes ou le codage), les 67 experts font souvent la même erreur au même moment. Ils partagent un « angle mort ».

Le papier appelle cela $\beta$ (Beta) : le taux auquel chaque modèle échoue sur la même question.

La règle : Peu importe la façon dont vous les combinez (vote, routage ou cascade), votre précision ne pourra jamais être supérieure à 100 % moins $\beta$ .
L'analogie : Imaginez un groupe de 67 personnes essayant de trouver une clé cachée dans une pièce. Si elles regardent toutes dans le même mauvais coin (parce qu'on leur a toutes appris la même chose erronée), interroger tout le monde ne servira à rien. Vous ne trouverez jamais la clé, peu importe le nombre de personnes interrogées.

2. Le piège de la corrélation (La mauvaise métrique)

Actuellement, les entreprises décident d'utiliser un groupe de modèles en observant $\rho$ (Rho), qui mesure la fréquence à laquelle deux modèles commettent la même erreur.

Le piège : Le papier prouve que $\rho$ est un très mauvais prédicteur du problème du « Tout-Faux ». Vous pouvez avoir deux modèles qui semblent très différents (faible corrélation) mais qui échouent tout de même ensemble sur les questions les plus difficiles.
L'analogie : C'est comme vérifier si deux prévisionnistes météo sont d'accord sur le fait qu'il pleuvra demain. Ils peuvent être en désaccord 90 % du temps. Mais si un énorme ouragan frappe (un problème difficile), ils pourraient tous deux se tromper. Vérifier leur accord quotidien ne vous dit pas s'ils échoueront tous les deux lors de la grande tempête.

Les deux régimes : Quand combiner, quand s'arrêter

Le papier divise les tâches en deux « mondes » ou régimes distincts :

Monde A : Les tâches limitées par le plafond (Mathématiques et Code ouverts)

Ce qui se passe : Ce sont des problèmes difficiles sans options à choix multiples.
Le résultat : Le taux de « Tout-Faux » ( $\beta$ ) est élevé. Les experts échouent ensemble.
La leçon : Combiner les modèles est inutile ici. Vous ne pouvez pas battre le meilleur modèle unique car tout le groupe est coincé dans le même angle mort. Le papier a constaté que sur ces tâches, le taux de « Tout-Faux » était environ 2,5 fois plus élevé que ce que les mathématiques standards prédisaient.

Monde B : Les tâches limitées par la réalisabilité (Sciences et Choix multiples)

Ce qui se passe : Ce sont des tâches où la réponse est claire ou comporte des options à choisir (comme un QCM).
Le résultat : Le taux de « Tout-Faux » est proche de zéro. Les experts sont en désaccord sur les réponses, donc un système intelligent pourrait théoriquement choisir la bonne.
La leçon : Ici, il y a une marge de progression. Cependant, le papier a découvert que les systèmes de « routeur » actuels (l'IA qui décide quel modèle utiliser) sont trop stupides pour réellement identifier ces différences. Ils passent à côté de l'opportunité.

La surprise du « Format »

Les auteurs ont réalisé une expérience intéressante avec des questions scientifiques (GPQA).

Lorsqu'elles sont posées sous forme de Choix multiples, les modèles échouent rarement tous ensemble.
Lorsqu'elles sont posées en Réponse libre (en supprimant les options), les modèles commencent soudainement à échouer ensemble à un taux élevé.
La conclusion : Ce n'est pas le sujet (la science) qui cause l'échec, c'est le format. Les questions ouvertes déclenchent l'angle mort du « Tout-Faux ».

La leçon économique : Diversité vs Qualité

Le papier a également testé une idée courante : « Si vous mélangez un modèle intelligent avec un modèle moins intelligent mais diversifié, vous obtenez un meilleur résultat. »

Le constat : C'est généralement faux. Si le modèle « moins intelligent » est trop différent, il vote souvent pour la mauvaise réponse, tirant le modèle intelligent vers le bas.
L'exception : La diversité ne fonctionne que si les modèles sont de qualité égale. Si vous mélangez un groupe de modèles qui sont tous aussi intelligents mais qui font des types d'erreurs différents, alors la combinaison fonctionne. Mais si vous mélangez un génie avec un novice, le novice nuira généralement à l'équipe.

Résumé : Que devez-vous faire ?

Arrêtez de faire confiance au chiffre de la « Corrélation par paire ». Il ne vous dit rien sur le fait que l'ensemble du groupe puisse échouer ensemble.
Vérifiez le taux de « Tout-Faux » ( $\beta$ ). Avant de construire un système complexe de plusieurs modèles, vérifiez s'ils échouent tous aux mêmes questions difficiles. Si c'est le cas, vous avez atteint un plafond. Aucun vote ne pourra le briser.
N'ajoutez pas simplement plus de modèles. Ajouter plus de modèles à un groupe qui partage déjà un angle mort, c'est comme ajouter plus de personnes à une équipe de recherche qui cherche dans la mauvaise pièce. Cela n'aide pas.
Concentrez-vous sur le « Format ». Si vous posez des questions ouvertes, attendez-vous à ce que les modèles échouent ensemble. Si vous pouvez les transformer en questions à choix multiples, vous pourriez débloquer la capacité de les combiner efficacement.

L'essentiel : Sur les tâches ouvertes les plus difficiles d'aujourd'hui, les « meilleurs » modèles sont si similaires qu'ils échouent ensemble. Les combiner dépasse rarement le meilleur modèle unique, à moins que vous n'ayez un signal très spécifique pour savoir quel modèle est le bon pour quelle question. La magie ne réside pas dans le nombre de modèles ; elle réside dans la recherche de modèles qui échouent de manières différentes.

Résumé Technique : Le Plafond de Co-Échec du Routage, du Vote et du Mélange d'Agents (Mixture-of-Agents)

Énoncé du Problème

Le domaine de l'orchestration des Grands Modèles de Langage (LLM) est passé de la sélection d'un seul « meilleur » modèle à la gestion de pools hétérogènes de modèles via le routage, le vote, les cascades et le Mélange d'Agents (MoA). Les praticiens s'appuient actuellement sur la corrélation d'erreur par paire ( $\rho$ ) comme principal diagnostic pour déterminer si la diversité générera des gains de précision. L'hypothèse prédominante est qu'une faible valeur de $\rho$ implique une haute diversité et donc un haut potentiel d'amélioration par ensemble.

Cet article soutient que $\rho$ est le mauvais diagnostic. Il postule que la précision réalisable de toute politique dont la sortie est la réponse d'un modèle membre (par exemple, un routeur, un vote majoritaire ou une cascade) est bornée non pas par les corrélations par paires, mais par $\beta$ , le taux auquel tous les modèles du pool échouent sur une requête donnée. Le problème central est que $\rho$ ne peut pas identifier $\beta$ ; des distributions d'erreurs conjointes distinctes peuvent partager des marginales identiques et des corrélations par paires identiques tout en possédant des taux de co-échec radicalement différents. Par conséquent, s'appuyer sur $\rho$ conduit à une sous-estimation systématique de la « queue de co-échec », ce qui peut amener les acheteurs à surestimer la valeur de l'orchestration ou à mal juger le plafond de l'exactitude réalisable.

Méthodologie

Cadre Théorique

Les auteurs formalisent l'orchestration comme un problème d'allocation sous contrainte de budget.

Le Théorème du Plafond (Prop. 1) : Pour toute politique de sélection $\pi$ produisant la réponse d'un membre, l'exactitude est bornée par $1 - \beta$ , où $\beta = P(\text{tous les } m \text{ modèles se trompent})$ . Le gain maximal par rapport au modèle unique le plus performant est $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$ .
Non-Identification (Prop. 3) : Pour $m \ge 3$ , le taux de co-échec $\beta$ n'est pas une fonction des lois d'erreur par paires. Les auteurs prouvent que des distributions conjointes existent avec des marginales unidimensionnelles et bidimensionnelles identiques (et donc un $\rho$ identique) mais des $\beta$ différents.
Le Mécanisme de Sous-tarification (Prop. 2) : Les auteurs modélisent les erreurs comme un mélange d'un choc commun (tous les modèles échouent avec une probabilité $\pi$ ) et d'erreurs indépendantes. Ils démontrent qu'une copule gaussienne à facteur unique, calibrée sur $\rho$ par paire, prédit un taux de co-échec $\beta_{sf}$ qui converge vers 0 lorsque la taille du pool $m$ augmente, alors que le vrai $\beta$ converge vers $\pi > 0$ . Ainsi, le ratio de sous-tarification $\beta / \beta_{sf}$ diverge avec la taille du pool.
Certificat à Échantillon Fini : En utilisant des intervalles de Clopper–Pearson sur un ensemble de requêtes de test (held-out), les auteurs dérivent un « certificat 0 » pré-déploiement. Si la borne inférieure de $\beta$ implique que $1 - \beta_{lo}$ est proche de l'exactitude actuelle du meilleur modèle unique, aucune politique ne peut justifier les frais d'orchestration.

Configuration Expérimentale

L'étude évalue 67 modèles de pointe provenant de 21 fournisseurs (incluant GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, et d'autres) à travers trois régimes distincts :

Mix Saturé : Benchmarks standards (GSM8K, MMLU, ARC-Challenge, MATH-500).
Domaine Unique Difficile : MMLU-Pro et MATH-Hard (Niveau-5).
Domaines Structurellement Disjoints :
- Mathématiques ouvertes (MATH-500, MATH-Hard).
- Code avec évaluation par exécution (problèmes de programmation compétitive avec tests de stress).
- Sciences de niveau master/doctorat (GPQA-Diamond), testées sous formats choix multiples et réponses libres.

Le classement est strictement programmatique (correspondance exacte, extraction d'entiers ou exécution) pour éviter le biais des juges LLM, sauf pour une expérience spécifique GPQA en réponse libre évaluée par un panel de 5 juges. Les coûts sont mesurés selon l'utilisation réelle des API.

Résultats Clés

1. La Queue de Co-Échec et le Piège de $\rho$

Dans les domaines ouverts (mathématiques et code), le taux de co-échec empirique $\beta$ est nettement plus élevé que ce que prédisent les corrélations par paires.

MATH-500 (67 modèles) : $\beta$ empirique = 0,052 (17/330 requêtes). Une copule gaussienne à facteur unique correctement calibrée par méthode tétrachorique prédit $\beta_{sf} = 0,021$ . La queue empirique est 2,5 fois plus épaisse que la prédiction de la copule.
Concours de Code : $\beta$ empirique = 0,079. Le modèle à facteur unique sous-estime cela par un facteur de 3,1.
Effet de la Taille du Pool : Le rééchantillonnage de sous-ensembles aléatoires de modèles montre que le ratio de sous-tarification croît de manière monotone avec la taille du pool (passant de 1,0 à $k=2$ à une médiane de 2,5 à $k=67$ ).
Choix Multiples vs Réponse Libre : Dans le cas de GPQA en choix multiples, $\beta \approx 0$ . Cependant, lorsque les mêmes questions sont posées en réponse libre (suppression des options), $\beta$ bondit à 0,127. Cela confirme que le régime de co-échec est piloté par le format de la tâche (ouverture) plutôt que par le sujet.

2. Les Deux Régimes d'Orchestration

L'article identifie deux régimes distincts où le « plafond » se comporte différemment :

Plafond de l'Exactitude (Math/Code Ouverts) : Ici, $\beta > 0$ est non négligeable. Le plafond $1-\beta$ est bas, et le « gain oracle » (amélioration théorique maximale) est faible. La limitation principale est la queue de co-échec, que $\rho$ par paire ne parvient pas à détecter.
Plafond de la Réalisabilité (Sciences/Choix Multiples) : Ici, $\beta \approx 0$ . Le plafond est effectivement ouvert, et le gain oracle est important (ex: $G=0,15$ dans GPQA). Cependant, ce gain représente un désaccord résoluble. Les routeurs appris actuels échouent à capturer ce gain car le signal au niveau de la requête est insuffisant pour distinguer quel modèle sera correct lorsque la frontière est en désaccord.

3. Performance des Stratégies d'Orchestration

Routeurs Appris : Sur le mix saturé de 15 modèles, un routeur appris (TF-IDF + domaine) n'a capturé que 9 % du gain oracle (statistiquement indiscernable de zéro). Un routeur plus puissant (LLM-as-router) a capturé 0 %.
Diversité Naïve : Le vote majoritaire non pondéré sur des triplets hétérogènes produit souvent des gains négatifs par rapport au meilleur membre unique, car les modèles divers mais plus faibles l'emportent sur le plus fort.
Ensembles de Qualité Appariée : En comparant un Self-MoA à haute corrélation (plusieurs échantillons du meilleur modèle) contre un ensemble hétérogène de qualité appariée à faible corrélation, l'ensemble hétérogène l'emporte (gain moyen +0,027). Cela soutient le théorème de la diversification, mais uniquement lorsque la qualité des membres est contrôlée.
Cascades : La performance des cascades s'effondre vers un mélange aléatoire à mesure que l'AUC du vérificateur approche de 0,5, confirmant les limites théoriques.

Signification et Revendications

L'article prétend redéfinir l'économie de l'orchestration des LLM en déplaçant l'attention de la corrélation par paires ( $\rho$ ) vers le taux de co-échec ( $\beta$ ).

Le Changement de Diagnostic : $\rho$ est aveugle à la queue de l'« erreur totale ». Un acheteur ne peut pas déterminer la viabilité de l'orchestration en regardant seulement $\rho$ ; il doit estimer $\beta$ directement.
Le Certificat 0 : Un ensemble de requêtes évaluées peut fournir une borne inférieure statistique sur $\beta$ . Si $1 - \beta_{lo}$ est proche de l'exactitude du meilleur modèle actuel, l'article affirme qu'il est mathématiquement impossible pour toute politique de routage ou de vote de justifier ses coûts.
La Limite de l'Échelle : Ajouter simplement plus de modèles à un pool ne garantit pas une meilleure performance. Si le pool partage un « atome de mode commun » (un mode de défaillance partagé), le taux de co-échec $\beta$ reste positif, plafonnant l'utilité de l'ensemble du pool, quelle que soit sa taille.
Dépendance au Format : Le régime du « plafond d'exactitude » est une fonction du format de la tâche (ouverte vs choix multiples), et non de la difficulté du sujet. Les tâches ouvertes portent intrinsèquement une queue de co-échec qui limite l'efficacité des méthodes d'ensemble.

Les auteurs concluent que pour les modèles de pointe actuels sur des tâches vérifiables et ouvertes, le « levier » d'amélioration n'est pas d'ajouter plus de modèles ou de compter sur une diversité naïve, mais d'identifier l'hétérogénéité des modes de défaillance et de gérer le turnover du marché (la valeur optionnelle de la largeur de gamme). La dépendance du domaine envers $\rho$ occulte le véritable plafond fixé par $\beta$ .