🤖 AI

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

Dieses Paper argumentiert, dass die Leistungssteigerungen von Multi-Modell-LLM-Systemen wie Routing und Voting fundamental durch die „Co-Failure-Rate“ (die Häufigkeit, mit der alle Modelle gleichzeitig versagen) begrenzt werden, eine Metrik, die von Standard-Korrelationsmaßen erfasst wird und die Ensemble-Genauigkeit oft auf die des besten Einzelmodells begrenzt, sofern kein starkes Query-Level-Routing-Signal vorhanden ist.

Ursprüngliche Autoren: Josef Chen

Veröffentlicht 2026-06-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Josef Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Warum „mehr Stimmen“ nicht immer „bessere Antworten“ bedeuten

Stellen Sie sich vor, Sie sind ein Manager, der versucht, ein schwieriges Rätsel zu lösen. Sie haben ein Team von 67 verschiedenen Experten (KI-Modellen) zur Auswahl. Der gängige Rat in der Tech-Welt lautet: „Wählen Sie nicht nur die klügste Person; fragen Sie eine Gruppe und lassen Sie über die Antwort abstimmen. Wenn sie sich uneinig sind, ist die Gruppe meistens klüger als jede einzelne Person.“

Dieses Paper argumentiert, dass dieser Rat oft falsch ist. Manchmal führt das Fragen einer Gruppe von Experten zum gleichen Ergebnis wie das Fragen des einen besten Experten, aber zu einem viel höheren Preis. Tatsächlich kann die gesamte Gruppe bei schwierigen Problemen gemeinsam scheitern, und kein Maß an Abstimmung kann das korrigieren.

Die zwei Hauptprobleme

Die Autoren fanden heraus, dass das Kombinieren von Modellen gegen eine „Gläserne Decke“ (ein Limit, das man nicht durchbrechen kann) stößt, und zwar aus zwei Gründen.

1. Die „Alle-liegen-falsch“-Decke (Der gemeinsame blinde Fleck)

Stellen Sie sich vor, Sie stellen 67 Experten eine sehr knifflige Mathefrage.

Der alte Glaube: Wenn die Experten vielfältig sind, werden sie unterschiedliche Fehler machen. Wenn Experte A falsch liegt, könnte Experte B richtig liegen.
Die Realität: Bei schwierigen, offenen Fragen (wie komplexer Mathematik oder Programmierung) liegen alle 67 Experten oft gleichzeitig bei der exakt gleichen Frage falsch. Sie teilen einen „blinden Fleck“.

Das Paper nennt dies $\beta$ (Beta): die Rate, mit der jedes einzelne Modell bei derselben Frage versagt.

Die Regel: Egal wie Sie sie kombinieren (Abstimmung, Routing oder Kaskadierung), Ihre Genauigkeit kann niemals höher sein als 100 % minus $\beta$ .
Die Analogie: Stellen Sie sich eine Gruppe von 67 Menschen vor, die versuchen, einen versteckten Schlüssel in einem Raum zu finden. Wenn sie alle in der gleichen falschen Ecke suchen (weil sie alle das Gleiche Falsche gelernt haben), hilft es nicht, alle zu fragen. Sie werden den Schlüssel niemals finden, egal wie viele Leute Sie fragen.

2. Die „Korrelationsfalle“ (Die falsche Metrik)

Unternehmen entscheiden derzeit darüber, ob sie eine Gruppe von Modellen verwenden, indem sie auf $\rho$ (Rho) schauen, was misst, wie oft zwei Modelle denselben Fehler machen.

Die Falle: Das Paper beweist, dass $\rho$ ein schlechter Vorhersagewert für das „Alle-liegen-falsch“-Problem ist. Sie können zwei Modelle haben, die sehr unterschiedlich erscheinen (geringe Korrelation), aber dennoch bei den schwierigsten Fragen gemeinsam scheitern.
Die Analogie: Es ist, als würde man prüfen, ob zwei Wetterberichterstatter übereinstimmen, ob es morgen regnen wird. Sie mögen zu 90 % uneinig sein. Aber wenn ein massiver Hurrikan aufzieht (ein schweres Problem), könnten beide gleichzeitig falsch liegen. Die tägliche Übereinstimmung sagt Ihnen nicht, ob sie beide bei einem großen Sturm scheitern werden.

Die zwei Regime: Wann kombinieren, wann aufhören

Das Paper unterteilt Aufgaben in zwei unterschiedliche „Welten“ oder Regime:

Welt A: Die „durch die Decke begrenzten“ Aufgaben (Offene Mathematik & Code)

Was passiert: Dies sind schwierige Probleme ohne Multiple-Choice-Optionen.
Das Ergebnis: Die „Alle-liegen-falsch“-Rate ( $\beta$ ) ist hoch. Die Experten scheitern alle gemeinsam.
Die Lektion: Das Kombinieren von Modellen ist hier nutzlos. Sie können das einzelne beste Modell nicht schlagen, weil die gesamte Gruppe in demselben blinden Fleck feststeckt. Das Paper fand heraus, dass die „Alle-liegen-falsch“-Rate bei diesen Aufgaben etwa 2,5 Mal höher war, als es die Standardmathematik vorhersagte.

Welt B: Die „durch Realisierbarkeit begrenzten“ Aufgaben (Wissenschaft & Multiple Choice)

Was passiert: Dies sind Aufgaben, bei denen die Antwort klar ist oder Optionen zur Auswahl stehen (wie bei einem Multiple-Choice-Test).
Das Ergebnis: Die „Alle-liegen-falsch“-Rate liegt nahe bei Null. Die Experten liegen selten gemeinsam falsch.
Die Lektion: Hier gibt es Raum für Verbesserungen. Die Experten sind sich bei den Antworten uneinig, sodass ein intelligentes System theoretisch die richtige auswählen könnte. Das Paper fand jedoch heraus, dass aktuelle „Router“-Systeme (KI, die entscheidet, welches Modell verwendet werden soll) zu dumm sind, um diese Unterschiede tatsächlich zu finden. Sie verpassen die Chance.

Die Überraschung beim „Format“

Die Autoren führten ein interessantes Experiment mit Wissenschaftsfragen (GPQA) durch.

Als Multiple-Choice gefragt, lagen die Modelle selten alle gemeinsam falsch.
Als Freitext gefragt (ohne die Optionen wegzulassen), begannen die Modelle plötzlich mit hoher Rate gemeinsam falsch zu liegen.
Die Erkenntnis: Es ist nicht das Thema (Wissenschaft), das den Fehler verursacht, sondern das Format. Offene Fragen lösen den „Alle-liegen-falsch“-blinden Fleck aus.

Die ökonomische Lektion: Vielfalt vs. Qualität

Das Paper testete auch eine verbreitete Idee: „Wenn ich ein kluges Modell mit einem dummen, aber vielfältigen Modell mische, erziele ich ein besseres Ergebnis.“

Das Ergebnis: Das ist meistens falsch. Wenn das „dumme“ Modell zu sehr abweicht, stimmt es oft für die falsche Antwort ab und zieht das kluge Modell mit nach unten.
Die Ausnahme: Vielfalt hilft nur dann, wenn die Modelle von gleicher Qualität sind. Wenn Sie eine Gruppe von Modellen mischen, die alle gleich klug sind, aber unterschiedliche Arten von Fehlern machen, dann funktioniert das Kombinieren. Aber wenn Sie ein Genie mit einem Anfänger mischen, schadet der Anfänger dem Team meistens.

Zusammenfassung: Was sollten Sie tun?

Hören Sie auf, der „paarweisen Korrelation“ zu vertrauen. Sie sagt Ihnen nichts darüber aus, ob die ganze Gruppe gemeinsam scheitern wird.
Prüfen Sie die „Alle-liegen-falsch“-Rate ( $\beta$ ). Bevor Sie ein komplexes System aus mehreren Modellen bauen, prüfen Sie, ob diese alle bei denselben schwierigen Fragen scheitern. Wenn ja, haben Sie eine Decke erreicht. Kein Maß an Abstimmung wird diese durchbrechen.
Fügen Sie nicht einfach mehr Modelle hinzu. Mehr Modelle zu einer Gruppe hinzuzufügen, die bereits einen gemeinsamen blinden Fleck teilt, ist so, als würde man mehr Leute zu einer Suchmannschaft schicken, die bereits im falschen Raum sucht. Es hilft nicht.
Konzentrieren Sie sich auf das „Format“. Wenn Sie offene Fragen stellen, müssen Sie damit rechnen, dass die Modelle gemeinsam scheitern. Wenn Sie diese in Multiple-Choice-Fragen umwandeln können, könnten Sie die Fähigkeit freischalten, sie effektiv zu kombinieren.

Das Fazente Fazit: Bei den heutigen schwierigsten offenen Aufgaben sind die „besten“ Modelle so ähnlich, dass sie gemeinsam scheitern. Das Kombinieren von Modellen schlägt das einzelne beste Modell selten, es sei denn, man hat ein sehr spezifisches Signal, um zu wissen, welches Modell für welche Frage richtig ist. Die Magie liegt nicht in der Anzahl der Modelle, sondern darin, Modelle zu finden, die auf unterschiedliche Weise scheitern.

Technisches Resümee: Eine Co-Failure-Decke für Routing, Voting und Mixture-of-Agents

Problemstellung

Das Feld der LLM-Orchestrierung hat sich von der Auswahl eines einzelnen „besten“ Modells hin zur Verwaltung heterogener Modellpools mittels Routing, Voting, Kaskaden und Mixture-of-Agents (MoA) verschoben. Praktiker verlassen sich derzeit auf die paarweise Fehlerkorrelation ( $\rho$ ) als primäres Diagnoseinstrument, um zu bestimmen, ob Diversität Genauigkeitsgewinne ermöglicht. Die vorherrschende Annahme lautet, dass ein niedriges $\rho$ eine hohe Diversität und somit ein hohes Potenzial für Ensemble-Verbesserungen impliziert.

Dieses Paper argumentiert, dass $\rho$ das falsche Diagnosewerkzeug ist. Es postuliert, dass die erreichbare Genauigkeit jeder Policy, deren Output die Antwort eines Mitgliedmodells ist (z. B. ein Router, Mehrheitsentscheid oder eine Kaskade), nicht durch paarweise Korrelationen begrenzt wird, sondern durch $\beta$ , die Rate, mit der alle Modelle in einem Pool bei einer Anfrage scheitern. Das zentrale Problem besteht darin, dass $\rho$ $\beta$ nicht identifizieren kann; distinkte gemeinsame Fehlerverteilungen können identische Marginals und paarweise Korrelationen aufweisen, aber dennoch drastisch unterschiedliche Co-Failure-Raten besitzen. Folglich führt das Vertrauen auf $\rho$ zu einer systematischen Unterschätzung des „Co-Failure-Tails“, was Käufer dazu führen kann, den Wert der Orchestrierung zu überschätzen oder die Decke der erreichbaren Genauigkeit falsch einzuschätzen.

Methodik

Theoretischer Rahmen

Die Autoren formalisieren Orchestrierung als budgetbeschränktes Allokationsproblem.

Das Ceiling-Theorem (Prop. 1): Für jede Selektions-Policy $\pi$ , die die Antwort eines Mitglieds ausgibt, ist die Genauigkeit durch $1 - \beta$ beschränkt, wobei $\beta = P(\text{alle } m \text{ Modelle sind falsch})$ . Der maximale mögliche Gewinn gegenüber dem besten Einzelmodell ist $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$ .
Nicht-Identifizierbarkeit (Prop. 3): Für $m \ge 3$ ist die Co-Failure-Rate $\beta$ keine Funktion der paarweisen Fehlergesetze. Die Autoren beweisen, dass gemeinsame Verteilungen existieren, die identische ein- und zweidimensionale Marginals (und somit identisches $\rho$ ) besitzen, aber unterschiedliche $\beta$ -Werte aufweisen.
Der Underpricing-Mechanismus (Prop. 2): Die Autoren modellieren Fehler als eine Mischung aus einem gemeinsamen Schock (alle Modelle scheitern mit Wahrscheinlichkeit $\pi$ ) und unabhängigen Fehlern. Sie zeigen, dass eine Single-Factor-Gaussian-Copula, die auf paarweisem $\rho$ kalibriert ist, eine Co-Failure-Rate $\beta_{sf}$ vorhersagt, die gegen 0 konvergiert, wenn die Poolgröße $m$ steigt, während das wahre $\beta$ gegen $\pi > 0$ konvergiert. Somit divergiert das Underpricing-Verhältnis $\beta / \beta_{sf}$ mit der Poolgröße.
Finite-Sample-Zertifikat: Unter Verwendung von Clopper–Pearson-Intervallen auf einem Held-out-Abfrage-Set leiten die Autoren ein prä-deployment „$0$-Zertifikat“ ab. Wenn die untere Schranke von $\beta$ impliziert, dass $1 - \beta_{lo}$ nahe an der aktuellen Genauigkeit des besten Einzelmodells liegt, kann keine Policy die Kosten ihrer Orchestrierung rechtfertigen.

Experimentelles Setup

Die Studie evaluiert 67 Frontier-Modelle von 21 Providern (einschließlich GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro und anderen) über drei Regime hinweg:

Saturated Mix: Standard-Benchmarks (GSM8K, MMLU, ARC-Challenge, MATH-500).
Hard Single-Domain: MMLU-Pro und MATH-Hard (Level-5).
Strukturell disjunkte Domänen:
- Offene Mathematik (MATH-500, MATH-Hard).
- Ausführungsbasierte Programmierung (Competitive Programming Aufgaben mit Stresstests).
- Graduate-Level Naturwissenschaften (GPQA-Diamond), getestet sowohl in Multiple-Choice- als auch in Free-Response-Formaten.

Das Grading erfolgt strikt programmatisch (Exact Match, Integer Extraction oder Execution-basiert), um LLM-Judge-Bias zu vermeiden, mit Ausnahme eines spezifischen Free-Response-GPQA-Experiments, das von einem 5-Richter-Panel bewertet wurde. Die Kosten werden gegen den tatsächlichen API-Verbrauch gemessen.

Zentrale Ergebnisse

1. Der Co-Failure-Tail und die $\rho$ -Falle

In offenen Domänen (Mathematik und Code) ist die empirische All-Wrong-Rate $\beta$ signifikant höher als durch paarweise Korrelationen vorhergesagt.

MATH-500 (67 Modelle): Empirisches $\beta = 0,052$ (17/330 Abfragen). Eine korrekt tetrachorisch kalibrierte Single-Factor-Gaussian-Copula sagt $\beta_{sf} = 0,021$ voraus. Der empirische Tail ist 2,5-mal dicker als die Copula-Vorhersage.
Code-Contests: Empirisches $\beta = 0,079$ . Das Single-Factor-Modell unterschätzt dies um den Faktor 3,1.
Pool-Größen-Effekt: Resampling von zufälligen Teilmengen von Modellen zeigt, dass das Underpricing-Verhältnis monoton mit der Poolgröße wächst (von 1,0 bei $k=2$ bis zu einem Median von 2,5 bei $k=67$ ).
Multiple-Choice vs. Free-Response: In Multiple-Choice-GPQA ist $\beta \approx 0$ . Wenn dieselben Fragen jedoch als Free-Response gestellt werden (Wegfall der Optionen), springt $\beta$ auf 0,127. Dies bestätigt, dass das Co-Failure-Regime durch das Aufgabenformat (Offenheit) getrieben wird, nicht durch den Fachinhalt.

2. Die zwei Regime der Orchestrierung

Das Paper identifiziert zwei distinkte Regime, in denen sich die „Decke“ unterschiedlich verhält:

Ceiling-Bound (Offene Mathematik/Code): Hier ist $\beta > 0$ nicht vernachlässigbar. Die Decke $1-\beta$ ist niedrig, und der „Oracle Gain“ (theoretischer maximaler Gewinn) ist gering. Die primäre Limitation ist der Co-Failure-Tail, den paarweise $\rho$ nicht detektieren kann.
Realizability-Bound (Wissenschaft/Multiple-Choice): Hier ist $\beta \approx 0$ . Die Decke ist effektiv offen, und der Oracle Gain ist groß (z. B. $G=0,15$ in GPQA). Dieser Gewinn repräsentiert jedoch lösbare Disagreements. Aktuelle gelernte Router erfassen diesen Gewinn nicht, weil das Abfrage-Signal unzureichend ist, um zu unterscheiden, welches Modell korrekt sein wird, wenn die Frontier-Modelle uneinig sind.

3. Performance von Orchestrierungsstrategien

Gelernte Router: Bei einem 15-Modell Saturated Mix erfasste ein gelernter Router (TF-IDF + Domain) nur 9 % des Oracle Gains (statistisch nicht unterscheidbar von Null). Ein stärkerer LLM-as-Router erfasste 0 %.
Naive Diversität: Ungewichtetes Mehrheitsvoting (Majority Voting) über heterogene Tripletts liefert oft negative Gewinne im Vergleich zum besten Einzelmitglied, da schwächere diverse Modelle das starke Modell überstimmen.
Matched-Quality Ensembles: Beim Vergleich eines hochkorrelierten Self-MoA (mehrere Samples des besten Modells) mit einem niedrigkorrelierten heterogenen Ensemble gleicher Qualität gewinnt das heterogene Ensemble (durchschnittlicher Gewinn +0,027). Dies stützt das Diversitäts-Theorem, jedoch nur unter Kontrolle der Mitgliedsqualität.
Kaskaden: Die Performance von Kaskaden bricht auf Random Mixing zusammen, sobald der AUC des Verifiers sich 0,5 nähert, was die theoretischen Grenzen bestätigt.

Bedeutung und Behauptungen

Das Paper beansprucht, die Ökonomie der LLM-Orchestrierung neu zu definieren, indem es den Fokus von der paarweisen Korrelation ( $\rho$ ) auf die Co-Failure-Rate ( $\beta$ ) verschiebt.

Der diagnostische Wandel: $\rho$ ist blind für den „All-Wrong“-Tail. Ein Käufer kann die Rentabilität der Orchestrierung nicht allein durch Betrachtung von $\rho$ bestimmen; er muss $\beta$ direkt schätzen.
Das $0-Zertifikat: Ein einzelner bewerteter Abfrage-Satz kann eine statistische untere Schranke für $\beta$ liefern. Wenn $1 - \beta_{lo}$ nahe an der Genauigkeit des aktuellen besten Modells liegt, behauptet das Paper, ist es mathematisch unmöglich, dass irgendeine Routing- oder Voting-Policy die Kosten rechtfertigt.
Die Grenze der Skalierung: Das Hinzufügen von mehr Modellen zu einem Pool garantiert keine bessere Performance. Wenn der Pool einen „Common-Mode-Atom“ (einen gemeinsamen Fehlermodus) teilt, bleibt die Co-Failure-Rate $\beta$ positiv, was den Nutzen des gesamten Pools unabhängig von der Größe deckelt.
Format-Abhängigkeit: Das „Ceiling-Bound“-Regime ist eine Funktion des Aufgabenformats (offen vs. Multiple-Choice) und nicht primär der Schwierigkeit des Fachgebiets. Offene Aufgaben tragen inhärent einen Co-Failure-Tail, der die Effektivität von Ensemble-Methoden einschränkt.

Die Autoren kommen zu dem Schluss, dass für aktuelle Frontier-Modelle bei verifizierbaren, offenen Aufgaben der Hebel zur Verbesserung nicht das Hinzufügen von mehr Modellen oder das Vertrauen auf naive Diversität ist, sondern die Identifizierung von Fehlermodus-Heterogenität und das Management von Markt-Churn (der Optionswert von Breite). Die Abhängigkeit des Feldes von $\rho$ verschleiert die wahre Decke, die durch $\beta$ gesetzt wird.