💻 computer science

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

Diese Arbeit stellt die Zuverlässigkeit der Verwendung von Selbstkonsistenz und modellübergreifender Übereinstimmung als Konfidenzsignale für Large Language Models in Frage und zeigt durch eine groß angelegte Studie auf, dass Übereinstimmung zwar ein positiver, aber schwacher Prädiktor für Korrektheit ist, jedoch häufig zu Überkonfidenz in Frontier-Modellen führt, bei denen eine hohe Übereinstimmung mit häufigen Fehlern einhergeht.

Ursprüngliche Autoren: Kaihua Ding

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaihua Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige Talentshow, um das beste KI-Gehirn zu finden. Sie haben eine Jury (die KI-Modelle) und stellen ihnen eine Million knifflige Fragen. Die große Regel, der alle folgen, lautet: „Wenn sich alle Richter über eine Antwort einig sind, muss sie richtig sein.“ Das klingt nach gesundem Menschenverstand, oder? Wenn zehn Leute alle sagen, der Himmel sei grün, denken wir vielleicht, sie hätten alle denselben seltsamen Filter auf den Augen? Aber wenn es hundert Leute sind, ist es wahrscheinlich wahr!

Dieses Paper ist wie eine Detektivgeschichte, die hinter die Kulissen blickt, um zu prüfen, ob diese Regel tatsächlich funktioniert. Der Autor, Kaihua Ding, führte ein riesiges Experiment mit 53 verschiedenen „Runnern“ (Personen, die die KI-Tests durchführen) durch und ließ sie 265.000 Antworten auf einige der schwierigsten verfügbaren Mathematik- und Naturwissenschaftsfragen (genannt GPQA Diamond und AIME) generieren.

Hier ist die Wendung, die das Paper aufdeckt: Einigkeit ist nicht dasselbe wie Korrektheit.

Die „Echokammer“-Falle

Betrachten Sie die KI-Modelle wie eine Gruppe von Schülern, die alle aus demselben leicht fehlerhaften Lehrbuch gelernt haben. Wenn sie alle die gleiche falsche Antwort auf eine Frage auswendig gelernt haben, werden sie alle die Hand heben und sich auf diese falsche Antwort einigen. Sie sind sich nicht einig, weil sie klug sind, sondern weil sie dieselbe Voreingenommenheit oder eine „auswendig gelernte Heuristik“ teilen.

Das Paper fand heraus, dass sich KI-Modelle, wenn sie sich selbst (oder einander) zustimmen, oft nur deshalb einig sind, weil sie einen gemeinsamen Fehler widerspiegeln, und nicht, weil dies ein Zeichen von Wahrheit ist.

Der „überhebliche“ Musterschüler

Die überraschendste Entdeckung betrifft die „Frontier“-Modelle – die superintelligenten, fortschrittlichsten KI-Versionen. Man könnte denken, dass das intelligenteste Modell das zuverlässigste wäre. Das Paper zeigt das Gegenteil.

Das Ergebnis: Das fortschrittlichste Modell (gpt-4.1) war sich in 89 % der Fälle selbst einig (ein sehr hoher Konfidenzwert). Aber wenn es sich einig war, lag es nur in etwa 48 % der Fälle richtig.
Die Analogie: Stellen Sie sich einen Schüler vor, der sich seiner Antwort so sicher ist, dass er sie mit 100 % Zuversicht herausschreit, aber tatsächlich die Hälfte der Zeit falsch liegt. Das Paper nennt dies „Überkonfidenz“ (Over-confidence). Tatsächlich war dieses superintelligente Modell schlechter darin, zu signalisieren, wann es recht hatte, als ein etwas weniger fortgeschrittenes „Mittelklasse“-Modell.
Der Beweis: Die Studie maß dies mithilfe eines statistischen Zusammenhangs (einer Korrelation) zwischen „Einigkeit“ und „Korrektheit“. Für das intelligenteste Modell war dieser Zusammenhang sehr schwach (etwa 0,20), was bedeutet, dass seine hohe Zuversicht fast nutzlos als Vertrauenssignal war.

Hilft „Chain-of-Thought“?

Einige Leute glauben, wenn man die KI bittet, „ihren Rechenweg aufzuzeigen“ (eine Methode namens Chain-of-Thought), wird sie ehrlicher.

Das Ergebnis: Ja, die Aufforderung an die KI, ihren Rechenweg aufzuzeigen, machte sie etwas genauer (sie beantwortete mehr Fragen richtig).
Der Haken: Es verbesserte jedoch die „Einigkeits-Signalisierung“ nicht wesentlich. Die KI konnte immer noch nicht zuverlässig sagen, wann sie recht hatte, nur basierend darauf, wie sehr sie sich selbst zustimmte. Es ist, als würde ein Schüler eine lange, detaillierte Erklärung schreiben, aber am Ende immer noch die falsche Antwort geben, und man kann den Unterschied nicht erkennen, nur indem man sieht, wie ordentlich er geschrieben hat.

Das Rätsel der „gemeinsamen Voreingenommenheit“

Die Forscher prüften auch, ob verschiedene KI-Familien (wie GPT und Claude) dieselben Fehler machen.

Die Entdeckung: Sie fanden heraus, dass verschiedene KI-Modelle, wenn sie eine Frage falsch beantworteten, oft exakt dieselbe falsche Antwort wählten.
Die Analogie: Es ist, als würden zwei verschiedene Schüler aus verschiedenen Schulen bei derselben Matheaufgabe beide denselben Fehler machen, weil sie beide einen spezifischen, falschen Trick im Unterricht gelernt haben. Dies deutet darauf an, dass die Einigkeit der KIs über eine falsche Antwort kein glücklicher Zufall ist, sondern eine gemeinsame Voreingenommenheit, die in ihr Training eingebettet ist.

Sollten wir die Einigkeit also nicht mehr nutzen?

Nicht ganz. Das Paper sagt nicht: „Nutze Einigkeit niemals.“ Es sagt: „Nutze sie vorsichtig und kenne deine Grenzen.“

Gut für die Budgetierung: Einigkeit ist großartig, um zu entscheiden, wie viel Rechenleistung man aufwenden sollte. Wenn sich die Modelle alle unsicher sind (geringe Einigkeit), möchte man vielleicht mehr Zeit oder Geld investieren, um eine bessere Antwort zu erhalten.
Schlecht für das Vertrauen: Sie sollten Einigkeit niemals als eigenständigen „Vertrau mir“-Knopf verwenden. Wenn ein superintelligentes Modell sagt: „Ich bin mir zu 90 % sicher“, und es sich selbst zustimmt, können Sie trotzdem nicht sicher sein, ob es recht hat. Tatsächlich legt das Paper nahe, dass es eine schlechte Idee ist, schwierige Fragen basierend auf dem Vertrauen an das „intelligenteste“ Modell zu routen, da dieses Modell am überkonfidentesten ist.

Das Fazit

Das Paper kommt zu dem Schluss, dass Selbstkonsistenz (Einigkeit) ein „bedingter Stellvertreter“ (conditional proxy) ist. Es ist ein hilfreicher Hinweis in bestimmten Situationen (wie bei Modellen der Mittelklasse), aber es ist keine Garantie für die Wahrheit.

Was bewiesen wurde: In diesen spezifischen Tests bedeutete hohe Einigkeit oft hohe Zuversicht, aber geringe Genauigkeit, insbesondere bei den fortschrittlichsten Modellen.
Was angedeutet wird: Die „Überkonfidenz“ könnte eine Nebenwirkung dessen sein, wie diese Modelle trainiert werden, und gemeinsame Fehler treten auf, weil verschiedene Modelle aus ähnlichen Daten lernen.
Was unbekannt ist: Das Paper merkt an, dass diese Ergebnisse spezifisch für die getesteten Modelle und Fragen sind. Wir wissen nicht, ob dies bei jeder Art von KI oder jeder Art von Frage geschieht, aber die Warnung ist deutlich: Gehen Sie nicht davon aus, dass sie recht haben, nur weil alle einer Meinung sind. Manchmal schauen sie einfach alle auf dieselbe falsche Karte.

Technisches Resümee: Wenn LLMs übereinstimmen, haben sie dann recht?

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als „LLM-as-judge“-Systeme eingesetzt, oft in Ensembles oder „Mixture-of-Experts“-Panels, um KI-Outputs in Enterprise-Pipelines zu bewerten. Diese Systeme operieren auf einer weit verbreiteten Intuition: dass Übereinstimmung (entweder unter mehreren Richtern oder durch Selbstkonsistenz über stochastische Stichproben eines einzelnen Modells hinweg) ein Signal für Korrektheit ist. Folglich wird Übereinstimmung als Konfidenz-Proxy für kostenbasierte Routings, adaptive Stichproben-Budgetallokation und selektive Vorhersage (Abstention) verwendet.

Das Paper argumentiert jedoch, dass diese Annahme unzuverlässig ist. Übereinstimmung ist nicht gleichbedeutend mit Genauigkeit. Ein Modell kann mit sich selbst oder anderen Modellen übereinstimmen aufgrund gemeinsamer Biases, auswendig gelernter Heuristiken, Optionsposition-Priors oder systematischer Halluzinationen statt der Wahrheit. Die zentrale Frage lautet: Unter welchen Bedingungen fungiert das Übereinstimmungs-Signal als brauchbarer Proxy für Korrektheit, und wann versagt es?

Methodik

Die Autoren führen ein groß angelegtes Cross-Runner-Audit durch, um wiederkehrende konfidente Fehler von stochastischem Rauschen zu trennen.

Datenprovenienz: Die Studie analysiert 265.000 Samples, die von 53 Runnern (Teilnehmern eines Graduate-Kurses) generiert wurden, welche Modell-Outputs eingereicht haben. Obwohl die Runner denselben Kurs-Kontext teilten, wurden ihre Durchläufe als unabhängige Einreichungen behandelt. Der Datensatz deckt 394 eindeutige Fälle aus GPQA Diamond (Graduate-Level 4-Optionen Multiple-Choice) und AIME (Wettbewerbsmathematik) ab.
Experimentelles Design:
- Modelle: Die Experimente konzentrieren sich auf die gpt-4.1-Familie (Nano, Mini und Frontier gpt-4.1) sowie eine explorative Überprüfung von drei Stufen von Anthropics Claude (Haiku, Sonnet, Opus).
- Vergleichsachsen:
  - Achse A (Tier): Nano vs. Mini.
  - Achse B (Prompting): Zero-shot vs. Chain-of-Thought (CoT) beim Mini-Modell.
  - Achse C (Skala): Mini vs. Frontier gpt-4.1.
- Parameter: Temperatur = 1.0, $K=50$ Samples pro Fall.
Metriken:
- Selbstkonsistenz ( $C$ ): Der Anteil der Samples, die mit der Mehrheitsantwort übereinstimmen ( $n_{maj}/K$ ).
- Mehrheits-Korrektheit ( $M$ ): Ein binärer Indikator, ob die Mehrheitsantwort mit der Ground Truth übereinstimmt.
- Stichproben-Genauigkeit ( $A$ ): Der Anteil der individuellen Samples, die mit der Ground Truth übereinstimmen.
- Korrelation: Spearmans $\rho$ zwischen $C$ und $M$ (sowie $A$ ).
Statistische Inferenz: Aufgrund der nicht-i.i.d.-Daten (Runner tragen mehrere Zeilen bei; Fälle werden geteilt) verwenden die Autoren ein hierarchisches, runner-geclustertes Bootstrapping (Resampling von Runnern, dann Fälle innerhalb der Runner) und ein case-geclustertes Bootstrapping zur Robustheitsprüfung.

Zentrale Beiträge

Groß angelegtes Audit: Ein 265.000-Sample-Audit der Selbstkonsistenz als Konfidenzsignal auf anspruchsvollen Reasoning-Benchmarks, unter Verwendung von hierarchischem Bootstrapping zur Kontrolle von Runner- und Case-Abhängigkeiten.
Nachweis der Frontier-Degradation: Demonstration, dass das Agreement-Signal bei den konsistentesten Frontier-Modellen degradiert. Diese Modelle zeigen Überkonfidenz (hohes $C$ ) ohne entsprechende Gewinne in der Genauigkeit, was ein kostenbasiertes Routing zu ihnen kontraproduktiv macht.
Rekurrenz-Analyse: Eine Trennung von stochastischen Fehlern und rekurrierender konfidenter Falschheit. Die Studie zeigt, dass viele konfidente Fehler kein Sampling-Rauschen sind, sondern über verschiedene Runner und Prompts hinweg rekurrieren.
Kontrolle des Positions-Bias: Ein Experiment zum Shuffeln von Optionen zeigt, dass ein signifikanter Teil der „Konfidenz“ in Multiple-Choice-Settings durch Optionsposition-Priors (z. B. Vermeidung von Option D) getrieben wird statt durch semantisches Verständnis.
Cross-Family Check: Eine explorative Analyse zeigt, dass konfide-Fehler teilweise providerübergreifend geteilt werden (GPT und Claude), was darauf hindeutet, dass die Übereinstimmung zwischen Modellen eher gemeinsame Pretraining-Biases widerspiegelt als unabhängige Verifizierung.
Datensatz-Release: Öffentliche Veröffentlichung eines de-identifizierten, schema-validierten Datensatzes und einer Analyse-Pipeline.

Ergebnisse

1. Übereinstimmung ist ein positiver, aber schwacher Prädiktor

Über alle 12 experimentellen Zellen (Kombinationen aus Modell, Prompt und Benchmark) hinweg ist die Korrelation zwischen Selbstkonsistenz ( $C$ ) und Mehrheits-Korrektheit ( $M$ ) positiv, aber schwach ( $\rho \approx 0,20–0,59$ ).

Keine Zelle übersteigt $\rho = 0,60$ .
Eine „High-Agreement Auto-Accept“-Regel lässt immer noch eine beträchtliche Anzahl falscher Antworten zu.
Das Signal ist regimestark abhängig: Es ist stärker für Mid-Tier-Modelle und schwächer für Frontier-Modelle.

2. Das Frontier-Modell-Paradoxon

Das Frontier-Modell (gpt-4.1) weist die höchste Selbstkonsistenz ( $C=0,89$ auf GPQA) auf, aber die geringste Korrelation zwischen Übereinstimmung und Korrektheit ( $\rho(C, M) = 0,20$ ).

Überkonfidenz: 77 % der GPQA-Fälle für das Frontier-Modell haben $C \ge 0,8$ , dennoch sind 48 % dieser hoch-konsistenten Antworten falsch.
Kalibrierung: Das Frontier-Modell hat den schlechtesten Expected Calibration Error (ECE = 0,41) unter allen getesteten Konfigurationen.
Implikation: Das Routing schwieriger Fälle an das Frontier-Modell basierend auf hoher Übereinstimmung ist kontraproduktiv, da dieses Modell eine hohe Fehlerrate erbt.

3. Effekte von Chain-of-Thought (CoT)

Genauigkeit: CoT verbessert die Genauigkeit robust ( $\Delta A \approx +0,067$ auf GPQA).
Signal: CoT bietet nur eine marginale Verbesserung des Agreement-Korrektheits-Signals ( $\rho(C, M)$ ). Während es die Korrelation mit der Stichproben-Genauigkeit ( $A$ ) verbessert, ist sein Effekt auf das Deployment-Label ( $M$ ) je nach Resampling-Methode grenzwertig oder null.

4. Rekurrierende und geteilte Fehler

Rekurrenz: Ein nicht unerheblicher Teil der konfidenten Fehler (z. B. 28 % der eindeutigen GPQA-Fälle für gpt-4.1) ist für jeden Runner konfident falsch ( $C \ge 0,8$ ), was darauf hindeutet, dass es sich um systematische Biases und nicht um Sampling-Rauschen handelt.
Positions-Bias: Beim Shuffeln der Optionen in GPQA sinkt die Genauigkeit signifikant und verändert die Mehrheits-Antwort-Verteilungen, was bestätigt, dass „Konfidenz“ oft Positions-Priors (z. B. Unterwahl von „D“) widerspiegelt statt der Wahrheit.
Cross-Provider Sharing: Bei geteilten GPQA-Items stimmen GPT- und Claude-Modelle häufig bei denselben falschen Antworten mit hoher Konfidenz überein. Diese Rate übersteigt eine Label-Permutation-Nullhypothese, was auf geteilte Biases über Provider hinweg hindeutet.

5. System-Implikationen

Adaptives Sampling: Übereinstimmung ist nützlich für die Allokation von Rechenleistung (adaptives Sampling). Eine adaptive Regel, die Übereinstimmung nutzt, um das Sampling vorzeitig zu stoppen, spart ca. 60 % der Samples bei gleichbleibenden Fehlerraten.
Routing-Policies: Ein durch Konfidenz gesteuertes Cascade-System (billig $\to$ teuer) performt besser als Random-Routing, wird aber von der Strategie dominiert, immer das Mid-Tier-Modell zu verwenden. Das Routing zum überkonfidenten Frontier-Modell verschlechtert die Performance.

Signifikanz und Ansprüche

Das Paper kommt zu dem Schluss, dass Selbstkonsistenz nicht Genauigkeit ist, sondern vielmehr ein konditionale, regimeabhängiger empirischer Proxy dafür.

Nutzbare Regime: Übereinstimmung ist ein nützliches, grobes Signal für die Allokation von Rechenleistung (adaptives Sampling) und am zuverlässigsten für ungesättigte Mid-Tier-Modelle.
Unbrauchbare Regime: Übereinstimmung ist ein schlechter eigenständiger Konfidenz-Score, insbesondere für Frontier-Modelle, bei denen hohe Übereinstimmung aufgrund von Überkonfidenz und geteilten Biases von der Korrektheit entkoppelt ist.
Sicherheitsimplikation: Systeme, die Selbstkonsistenz als definitiven Konfidenz-Schwellenwert behandeln, riskieren, konfident-falsche Antworten in vertrauenswürdige Pfade zu routen. Das Paper warnt davor, Übereinstimmung als Grund zu nutzen, um schwierige Fälle an die konsistentesten Frontier-Modelle zu eskalieren.

Die Autoren betonen die Bescheidenheit ihrer Ansprüche: Die Studie ist ein Audit spezifischer Benchmarks (GPQA, AIME) und Modellfamilien, und die Ergebnisse unterstreichen die Notwendigkeit, Übereinstimmung als „grobes, kostensparendes Signal“ statt als vertrauenswürdigen Schwellenwert für Korrektheit zu behandeln.