🤖 AI

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

Dit artikel betoogt dat de prestatiewinst van multi-model LLM-systemen zoals routing en voting fundamenteel wordt beperkt door de "co-failure rate" (de frequentie waarmee alle modellen gelijktijdig falen), een metriek die standaard correlatiemaatstaven missen en die de ensemble-nauwkeurigheid vaak beperkt tot die van het beste individuele model, tenzij er een sterk signaal voor query-niveau routing aanwezig is.

Oorspronkelijke auteurs: Josef Chen

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Josef Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom "Meer Stemmen" Niet Altijd "Betere Antwoorden" Betekent

Stel je voor dat je een manager bent die een moeilijke puzzel probeert op te lossen. Je hebt een team van 67 verschillende experts (AI-modellen) om uit te kiezen. Het algemene advies in de techwereld is: "Kies niet alleen de slimste persoon; vraag een groep en laat ze stemmen over het antwoord. Als ze het oneens zijn, is de groep meestal slimmer dan één enkel persoon."

Dit paper betoogt dat dit advies vaak onjuist is. Soms geeft het vragen aan een groep experts je juist hetzelfde antwoord als het vragen aan één enkele beste expert, maar tegen veel hogere kosten. Sterker nog, bij moeilijke problemen kan de hele groep tegelijkertijd falen, en kan geen enkele hoeveelheid stemmen dat oplossen.

De Twee Hoofdproblemen

De auteurs ontdekten dat het combineren van modellen een "glazen plafond" (een limiet die je niet kunt doorbreken) tegenkomt om twee belangrijke redenen.

1. Het "Allemaal-Fout"-Plafond (De Gemeenschappelijke Blinde Vlek)

Stel je voor dat je 67 experts een zeer lastige wiskundevraag stelt.

Het Oude Geloof: Als de experts divers zijn, zullen ze verschillende fouten maken. Als Expert A het fout heeft, heeft Expert B het misschien wel goed.
De Realiteit: Bij harde, open vragen (zoals complexe wiskunde of programmeren) hebben alle 67 experts vaak precies dezelfde vraag tegelijkertijd fout. Ze delen een "blinde vlek".

Het paper noemt dit $\beta$ (Beta): de snelheid waarmee elk afzonderlijk model faalt op dezelfde vraag.

De Regel: Hoe je ze ook combineert (stemmen, routeren of cascaderen), je nauwkeurigheid kan nooit hoger zijn dan 100% minus $\beta$ .
De Analogie: Stel je een groep van 67 mensen voor die een verborgen sleutel in een kamer proberen te vinden. Als ze allemaal in de verkeerde hoek kijken (omdat ze allemaal hetzelfde verkeerde ding hebben geleerd), helpt het niet om ze allemaal te vragen. Je zult de sleutel nooit vinden, hoe veel mensen je ook vraagt.

2. De "Correlatieval" (De Verkeerde Metriek)

Bedrijven beslissen momenteel of ze een groep modellen gebruiken door te kijken naar $\rho$ (Rho), wat meet hoe vaak twee modellen dezelfde fout maken.

De Val: Het paper bewijst dat $\rho$ een slechte voorspeller is van het "Allemaal-Fout"-probleem. Je kunt twee modellen hebben die heel verschillend lijken (lage correlatie), maar nog steeds samen falen op de moeilijkste vragen.
De Analogie: Het is alsof je controleert of twee weersvoorspellers het eens zijn over de vraag of het morgen gaat regenen. Ze kunnen het 90% van de tijd oneens zijn. Maar als er een enorme orkaan arriveert (een moeilijk probleem), kunnen ze er allebei naast zitten. Hun dagelijkse overeenstemming zegt je niets over de vraag of ze beiden zullen falen wanneer de grote storm komt.

De Twee Regimes: Wanneer Combineren, Wanneer Stoppen

Het paper verdeelt taken in twee duidelijke "werelden" of regimes:

Wereld A: De "Plafond-Gebonden" Taken (Open-Eindige Wiskunde & Code)

Wat er gebeurt: Dit zijn moeilijke problemen zonder meerkeuzeopties.
Het Resultaat: De "Allemaal-Fout"-snelheid ( $\beta$ ) is hoog. De experts falen allemaal samen.
De Les: Modellen combineren is hier nutteloos. Je kunt de enkele beste modellen niet verslaan omdat de hele groep vastzit in dezelfde blinde vlek. Het paper vond dat op deze taken de "Allemaal-Fout"-snelheid ongeveer 2,5 keer hoger was dan wat de standaard wiskunde voorspelde.

Wereld B: De "Realiseerbaarheid-Gebonden" Taken (Wetenschap & Meerkeuze)

Wat er gebeurt: Dit zijn taken waarbij het antwoord duidelijk is of waarbij opties te kiezen zijn (zoals een meerkeuzetoets).
Het Resultaat: De "Allemaal-Fout"-snelheid is bijna nul. De experts falen zelden samen.
De Les: Hier is er wél ruimte voor verbetering. De experts zijn het oneens over de antwoorden, dus een slim systeem zou theoretisch het juiste antwoord kunnen kiezen. Echter, het paper vond dat huidige "router"-systemen (AI die beslist welk model te gebruiken) te dom zijn om deze verschillen daadwerkelijk te vinden. Ze missen de kans.

De "Formaat"-Verrassing

De auteurs deden een interessante experiment met wetenschappelijke vragen (GPQA).

Wanneer gesteld als Meerkeuzevraag, faalden de modellen zelden allemaal tegelijk.
Wanneer gesteld als Open Vraag (zonder de opties te geven), begonnen de modellen plotseling weer op een hoge snelheid samen te falen.
De Conclusie: Het is niet het onderwerp (wetenschap) dat de fout veroorzaakt; het is het formaat. Open vragen triggeren de "Allemaal-Fout" blinde vlek.

De Economische Les: Diversiteit vs. Kwaliteit

Het paper testte ook een veelvoorkomend idee: "Als je een slim model combineert met een dom maar divers model, krijg je een beter resultaat."

De Bevinding: Dit is meestal onwaar. Als het "domme" model te veel afwijkt, stemt het vaak voor het foute antwoord, waardoor het slimme model naar beneden wordt getrokken.
De Uitzondering: Diversiteit helpt alleen als de modellen van gelijke kwaliteit zijn. Als je een groep modellen combineert die allemaal even slim zijn maar verschillende soorten fouten maken, dan werkt het combineren wel. Maar als je een genie combineert met een amateur, zal de amateur de groep meestal schaden.

Samenvatting: Wat Moet Je Doen?

Vertrouw niet blindelings op de "Paarsgewijze Correlatie" waarde. Het vertelt je niets over de vraag of de hele groep tegelijkertijd zal falen.
Controleer de "Allemaal-Fout"-snelheid ( $\beta$ ). Voordat je een complex systeem van meerdere modellen bouwt, controleer dan of ze allemaal falen op dezelfde moeilijke vragen. Als dat zo is, heb je een plafond bereikt. Geen enkele hoeveelheid stemmen zal dit doorbreken.
Voeg niet zomaar meer modellen toe. Meer modellen toevoegen aan een groep die al een gedeelde blinde vlek heeft, is als meer mensen toevoegen aan een zoekploeg die al in de verkeerde kamer zoekt. Het helpt niet.
Focus op het "Formaat". Als je open vragen stelt, moet je verwachten dat de modellen samen falen. Als je ze kunt omzetten naar meerkeuzevragen, kun je de mogelijkheid ontsluiten om ze effectief te combineren.

De Kernboodschap: Bij de moeilijkste open-eindige taken van vandaag zijn de "beste" modellen zo vergelijkbaar dat ze samen falen. Het combineren van deze modellen verslaat zelden het enkele beste model, tenzij je een heel specifiek signaal hebt om te weten welk model juist is voor welke vraag. De magie zit niet in het aantal modellen; het zit in het vinden van modellen die op verschillende manieren falen.

Technische Samenvatting: Een Co-Failure Ceiling op Routing, Voting en Mixture-of-Agents

Probleemstelling

Het veld van Large Language Model (LLM) orchestratie is verschoven van het selecteren van één enkel "beste" model naar het beheren van heterogene pools van modellen via routing, voting, cascades en Mixture-of-Agents (MoA). Praktijkgebruikers vertrouwen momenteel op pairwise error correlation ( $\rho$ ) als de primaire diagnose om te bepalen of diversiteit zal leiden tot nauwkeurigheidswinst. De heersende aanname is dat een lage $\rho$ duidt op hoge diversiteit en dus op een hoog potentieel voor ensemble-verbetering.

Dit artikel betoogt dat $\rho$ de verkeerde diagnose is. Het stelt dat de haalbare nauwkeurigheid van elk beleid waarvan de output een antwoord van een lidmodel is (bijv. een router, majority vote, of cascade), niet wordt begrensd door pairwise correlaties, maar door $\beta$ , de snelheid waarmee alle modellen in de pool falen op een specifieke query. Het centrale probleem is dat $\rho$ niet in staat is om $\beta$ te identificeren; verschillende gezamenlijke foutverdelingen kunnen identieke marginalen en pairwise correlaties bezitten, maar toch fundamenteel verschillende co-failure rates hebben. Bijgevolg leidt het vertrouwen op $\rho$ tot een systematische onderschatting van de "co-failure tail", wat kopers ertoe kan brengen de waarde van orchestratie te overschatten of het plafond van de haalbare nauwkeurigheid verkeerd in te schatten.

Methodologie

Theoretisch Kader

De auteurs formaliseren orchestratie als een budget-beperkt allocatieprobleem.

De Ceiling Theorem (Prop. 1): Voor elk selectiebeleid $\pi$ dat een antwoord van een lidmodel output, is de nauwkeurigheid begrensd door $1 - \beta$ , waarbij $\beta = P(\text{alle } m \text{ modellen fout})$ . De maximale mogelijke winst ten opzichte van het enkelvoudige beste model is $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$ .
Niet-identificatie (Prop. 3): Voor $m \ge 3$ is de co-failure rate $\beta$ geen functie van pairwise error laws. De auteurs bewijzen dat er gezamenlijke verdelingen bestaan met identieke één- en twee-dimensionale marginalen (en dus identieke $\rho$ ), maar verschillende $\beta$ .
Het Onderprisingsmechanisme (Prop. 2): De auteurs modelleren fouten als een mengeling van een gemeenschappelijke schok (alle modellen falen met waarschijnlijkheid $\pi$ ) en onafhankelijke fouten. Ze demonstreren dat een single-factor Gaussian copula, gekalibreerd op pairwise $\rho$ , een co-failure rate $\beta_{sf}$ voorspelt die convergeert naar 0 naarmig de poolgrootte $m$ toeneemt, terwijl de ware $\beta$ convergeert naar $\pi > 0$ . De onderprisingsratio $\beta / \beta_{sf}$ divergeert hiermee met de poolgrootte.
Finite-Sample Certificate: Met behulp van Clopper–Pearson intervallen op een helden-query set, leiden de auteurs een pre-deployment "$0 certificate" af. Als de ondergrens van $\beta$ impliceert dat $1 - \beta_{lo}$ dicht bij de huidige single-best nauwkeurigheid ligt, kan geen enkel beleid de overhead van zijn orchestratie rechtvaardigen.

Experimentele Opzet

De studie evalueert 67 frontier modellen van 21 providers (waaronder GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, en anderen) over drie verschillende regimes:

Saturated Mix: Standaard benchmarks (GSM8K, MMLU, ARC-Challenge, MATH-500).
Hard Single-Domain: MMLU-Pro en MATH-Hard (Level-5).
Structurally Disjoint Domains:
- Open-ended wiskunde (MATH-500, MATH-Hard).
- Execution-graded code (competitieve programmeerproblemen met stress tests).
- Graduate-level wetenschap (GPQA-Diamond), getest in zowel multiple-choice als free-response formaten.

Beoordeling is strikt programmatisch (exact match, integer extractie, of execution-based) om LLM-judge bias te vermijden, behalve voor een specifieke free-response GPQA experiment die gegradeerd is door een 5-judge panel. Kosten worden gemeten tegen reële API-usage.

Belangrijkste Resultaten

1. De Co-Failure Tail en de $\rho$ Trap

Over open-ended domeinen (wiskunde en code) is de empirische all-wrong rate $\beta$ significant hoger dan voorspeld door pairwise correlaties.

MATH-500 (67 modellen): Empirische $\beta = 0.052$ (17/330 queries). Een correct tetrachorisch-gekalibreerde single-factor Gaussian copula voorspelt $\beta_{sf} = 0.021$ . De empirische tail is 2,5 keer dikker dan de copula-voorspelling.
Code Contests: Empirische $\beta = 0.079$ . Het single-factor model onderschat dit met een factor 3,1.
Pool Size Effect: Resampling van willekeurige subsets van modellen toont dat de onderprisingsratio monotoon groeit met de poolgrootte (van 1.0 bij $k=2$ naar een mediaan van 2.5 bij $k=67$ ).
Multiple-Choice vs. Free-Response: In multiple-choice GPQA is $\beta \approx 0$ . Echter, wanneer dezelfde vragen in free-response worden gesteld (zonder opties), springt $\beta$ naar 0.127. Dit bevestigt dat het co-failure regime gedreven wordt door taakformaat (open-endedness) in plaats van onderwerp.

2. De Twee Regimes van Orchestratie

Het paper identificeert twee verschillende regimes waar het "plafond" anders gedraagt:

Ceiling-Bound (Open-Ended Wiskunde/Code): Hier is $\beta > 0$ niet verwaarloosbaar. Het plafond $1-\beta$ is laag, en de "oracle gain" (theoretische max verbetering) is klein. De primaire beperking is de co-failure tail, die pairwise $\rho$ niet detecteert.
Realizability-Bound (Wetenschap/Multiple-Choice): Hier is $\beta \approx 0$ . Het plafond is effectief open, en de oracle gain is groot (bijv. $G=0.15$ in GPQA). Echter, deze gain vertegenwoordigt resolvable disagreement. Huidige geleerde routers falen om deze gain te vangen omdat het signaal op query-niveau onvoldoende is om te onderscheiden welk model correct zal zijn wanneer de frontier partijen van mening verschillen.

3. Prestaties van Orchestratie Strategieën

Learned Routers: Op de 15-model saturated mix ving een geleerde router (TF-IDF + domain) slechts 9% van de oracle gain op (statistisch ononderscheidbaar van nul). Een sterkere LLM-als-router ving 0% op.
Naive Diversity: Unweighted majority voting op heterogene triplets levert vaak negatieve winsten op ten opzichte van het enkelvoudige beste lid, omdat zwakkere diverse modellen de sterke overstemmen.
Matched-Quality Ensembles: Wanneer een hoog-gecorreleerde Self-MoA (meerdere samples van het beste model) wordt vergeleken met een laag-gecorreleerd heterogeen ensemble van gelijke kwaliteit, wint het heterogene ensemble (gemiddelde winst +0.027). Dit ondersteunt de diversificatie-stelling, maar alleen wanneer de kwaliteit van de leden gecontroleerd is.
Cascades: Cascade prestaties storten in naar random mixing zodra de verifier's AUC de 0.5 nadert, wat de theoretische bounds bevestigt.

Significantie en Claims

Het paper claimt de economie van LLM orchestratie te herdefiniëren door de focus te verleggen van pairwise correlatie ( $\rho$ ) naar de co-failure rate ( $\beta$ ).

De Diagnostische Verschuiving: $\rho$ is blind voor de "all-wrong" tail. Een koper kan de levensvatbaarheid van orchestratie niet bepalen door enkel naar $\rho$ te kijken; men moet $\beta$ direct schatten.
Het $0 Certificate: Een enkele gegradeerde query set kan een statistische ondergrens bieden op $\beta$ . Als $1 - \beta_{lo}$ dicht bij de huidige beste model nauwkeurigheid ligt, claimt het paper dat het wiskundig onmogelijk is voor enig routing of voting beleid om zijn kosten te rechtvaardigen.
De Limiet van Schaal: Het simpelweg toevoegen van meer modellen aan een pool garandeert geen betere prestaties. Als de pool een "common-mode atom" deelt (een gedeelde foutmodus), blijft de co-failure rate $\beta$ positief, wat de bruikbaarheid van de gehele pool ongeacht de grootte begrenst.
Formaat Afhankelijkheid: Het "ceiling-bound" regime is een functie van taakformaat (open-ended vs. multiple-choice), niet alleen van domein moeilijkheidsgraad. Open-ended taken dragen inherent een co-failure tail met zich mee die de effectiviteit van ensemble methoden beperkt.

De auteurs concluderen dat voor huidige frontier modellen op verifieerbare, open-ended taken, de "hendel" voor verbetering niet het toevoegen van meer modellen of het vertrouwen op naïeve diversiteit is, maar het identificeren van failure-mode heterogeneity en het beheren van market churn (de optiewaarde van breedte). De afhankelijkheid van het veld van $\rho$ verhult het werkelijke plafond dat door $\beta$ wordt bepaald.