🤖 AI

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

Diese Arbeit zeigt, dass bei kleinen, instruktionsoptimierten LLMs bei komplexen naturwissenschaftlichen Problemen Self-Consistency mittels Mehrheitsentscheidung oft die Genauigkeit im Vergleich zur Einzelproben-Inferenz reduziert, da eine hohe Übereinstimmung unter den generierten Antworten nicht zuverlässig mit der Korrektheit korreliert.

Ursprüngliche Autoren: Utkarsh Bahuguna

Veröffentlicht 2026-08-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Utkarsh Bahuguna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein wirklich kniffliges Rätsel zu lösen. Sie fragen einen Freund nach der Antwort, aber er scheint unsicher zu zu sein. Also stellen Sie ihm dasselbe Rätsel zehnmal. Wenn er acht Mal die gleiche Antwort gibt, denken Sie wahrscheinlich: „Okay, er muss recht haben!“ Das ist ein bisschen so, wie moderne Computergehirne, sogenannte Large Language Models (LLMs), versuchen, klüger zu werden. Anstatt nur einmal zu raten, wird ihnen oft gesagt, sie sollen „über ein Problem nachdenken“, indem sie viele verschiedene Gedankengänge generieren, und dann die Antwort auswählen, die am häufigsten vorkommt. Diese Technik nennt man Self-Consistency (Selbstkonsistenz). Es ist wie eine Abstimmung in einer Menge; die Idee ist, dass die „Mehrheitsentscheidung“ fast immer die richtige ist.

Warum ist das wichtig? Weil diese Computergehirne immer häufiger eingesetzt werden, um schwierige wissenschaftliche Probleme zu lösen, von der Biologie bis zur Physik. Wenn der „Mehrheitsentscheidungs-Trick“ funktioniert, können wir den Computer einfach länger und intensiver nachdenken lassen, um bessere Ergebnisse zu erzielen. Aber was, wenn die Menge eigentlich falsch liegt? Was, wenn der Computer so überzeugt von einer falschen Antwort ist, dass das mehrfache Fragen ihn nur dazu bringt, noch tiefer in seinem Irrtum zu verharren? Das ist die beängstigende Frage, die dieses Paper stellt. Die Forscher wollten wissen: Hilft es bei den schwierigsten wissenschaftlichen Fragen tatsächlich, den Computer über seine eigenen Antworten abstimmen zu lassen, oder macht es die Sache versehentlich sogar schlimmer?

Das große Abstimmungs-Backfire

In dieser Studie testeten die Forscher zwei beliebte, kleinere Computergehirne (eines namens Qwen2.5-7B und das andere Llama-3-8B) auf einem sehr anspruchsvollen Test namens GPQA Diamond. Dieser Test enthält 198 Aufgaben auf Graduiertenniveau in den Bereichen Biologie, Chemie und Physik. Es ist die Art von Stoff, die einen Studenten im Abschlussjahr zum Schwitzen bringen würde.

Das Team nutzte eine geschickte, geplante Methode, um zu sehen, was passiert, wenn sie diese Modelle über ihre eigenen Antworten „abstimmen“ lassen. Sie baten die Modelle, bis zu 64 verschiedene Versuche zur Lösung jedes Problems zu generieren, und nahmen dann die am häufigsten genannte Antwort (die Mehrheitsentscheidung).

Hier kommt die Wendung: Die Mehrheitsentscheidung schlug fehl (Backfire).

Anstatt klüger zu werden, wurden die Computergehirne bei den meisten Problemen tatsächlich schlechter.

Beim Qwen-Modell verschlechterte die Abstimmungsmethode die Genauigkeit bei 56,6 % der Probleme.
Beim Llama-Modell verschlechterte sie die Genauigkeit bei 65,7 % der Probleme.

Stellen Sie sich das so vor: Stellen Sie sich einen Studenten vor, der eine schwere Matheprüfung schreibt. Er ist sich bei einer Frage unsicher, also fragt er sich selbst: „Was ist die Antwort?“ zehnmal. Wenn er in seinem Kopf acht Mal versehentlich denselben Fehler macht, sagt ihm die „Mehrheitsentscheidung“, dass er diese falsche Antwort mit hoher Zuversicht wählen soll. Je öfter er sich selbst fragt, desto überzeugter wird er von der falschen Antwort. Das Paper nennt dies „Backfire“. Es stellt sich heraus, dass bei diesen schweren wissenschaftlichen Fragen das Selbstvertrauen des Computers eine Lügner ist.

Der „Oracle“-Traum vs. die Realität

Die Forscher stellten dann eine praktische Frage: „Können wir einen günstigen, intelligenten Filter bauen, der uns sagt, wann wir abstimmen sollten und wann wir einfach nur einmal raten sollen?“

Sie stellten sich ein perfektes „Oracle“ (einen magischen Führer, der die richtige Antwort kennt) vor. Wenn dieses Oracle jedes Problem betrachten und sagen könnte: „Für dieses hier, stimme 64 Mal ab“ oder „Für jenes, rate einfach nur einmal“, hätten die Modelle ihre Punktzahlen um 14 bis 17 Prozentpunkte verbessern können. Das ist ein riesiger Sprung!

Aber die Forscher testeten zwei reale, „verifier-freie“ Signale, um zu sehen, ob sie als günstiger Ersatz für dieses magische Oracle dienen könnten:

Das Agreement Gate (Zustimmungs-Tor): „Wenn die Antworten genug untereinander übereinstimmen, vertraue der Abstimmung.“
Das Entropy Gate (Entropie-Tor): „Wenn der Computer ‚unsicher‘ erscheint (hohe Entropie), stimme nicht ab; wenn er sich ‚sicher‘ erscheint (niedrige Entropie), stimme ab.“

Das Ergebnis? Beide Tore versagten.
Keine der Methoden kam auch nur annähernd an das Potenzial des magischen Oracle heran. Tatsächlich verbesserte die Verwendung dieser Tore die Punktzahl überhaupt nicht im Vergleich zu einem bloßen blinden Abstimmen 64 Mal. Das „Agreement Gate“ war so nutzlos, dass es kaum einen Unterschied machte (weniger als 0,002 Differenz). Auch das „Entropy Gate“ war eine Sackgasse.

Warum ist das passiert?

Das Paper erklärt, dass das Problem einfach, aber frustrierend ist: Konfidenz ist nicht gleich Korrektheit.

Bei diesen schwierigen wissenschaftlichen Problemen bleiben die Computermodelle oft bei einer falschen Antwort hängen. Wenn sie 64 Antworten generieren, generieren sie diese eine falsche Antwort vielleicht 50 Mal. Die „Mehrheitsentscheidung“ sieht 50 Stimmen für die falsche Antwort und sagt: „Das muss richtig sein!“ Der Computer ist selbstbewusst falsch.

Die Forscher untersuchten die Daten und fanden etwas Interessantes beim Llama-Modell: Die Probleme, bei denen die Antworten am stärksten übereinstimmten, waren tatsächlich am wenigsten genau. Je mehr der Computer mit sich selbst übereinstimmte, desto wahrscheinlicher war er falsch. Es ist wie eine Gruppe von Freunden, die alle denselben schrecklichen Filmplot bestätigen; je mehr sie sich einig sind, desto eher weiß man, dass der Plot Unsinn ist.

Was das bedeutet

Das Paper kommt zu dem Schluss, dass man bei diesen spezifischen, schweren wissenschaftlichen Problemen nicht einfach davon ausgehen kann, dass „mehr Nachdenken“ oder „Abstimmen“ hilft.

Die schlechte Nachricht: Wenn Sie sich darauf verlassen, dass die Übereinstimmung des Computers entscheidet, ob er recht hat, könnten Sie getäuscht werden. Die „Mehrheit“ ist oft falsch.
Die gute Nachricht: Wir wissen genau, war Warum es fehlschlägt (Konfidenz bildet Korrektheit nicht ab), und wir wissen, dass einfache Tricks wie das Prüfen von Übereinstimmung oder Unsicherheit das Problem nicht lösen werden.
Die offene Frage: Die Forscher haben die neuesten, „reasoning-nativen“ Modelle (die superintelligenten Modelle, die speziell für Logik entwickelt wurden) nicht getestet. Sie lassen dies als ein Mysterium für die Zukunft offen. Vielleicht funktionieren diese neuen Modelle nicht so sehr im Sinne eines Backfires? Wir wissen es noch nicht.

Kurz gesagt: Bei den schwierigsten wissenschaftlichen Fragen führt das bloße Abstimmen der Antworten eines Computers oft dazu, dass seine Fehler zementiert werden. Um die echten Vorteile zu nutzen, müssen wir vielleicht einen klügeren Weg finden, die Arbeit zu überprüfen, anstatt nur eine lautere Stimme zu erheben.

Technisches Resümee: Wenn Self-Consistency nach hinten losgeht

Problemstellung

Self-Consistency (SC), eine Technik, bei der mehrere Chains of Thought (Gedankengänge) gesampelt und die Antwort mit der Mehrheit über eine Mehrheitsentscheidung ausgewählt wird, gilt weithin als risikoarme Methode zur Verbesserung des Schließvermögens von Large Language Models (LLMs). Die vorherrschende Heuristik legt nahe, dass das Erhöhen der Anzahl der Stichproben ( $N$ ) und das Abstimmen mindestens so gute Ergebnisse liefert wie eine einzelne Stichprobe ( $N=1$ ).

Dieses Paper stellt diese Annahme bei schwierigen wissenschaftlichen Denkaufgaben infrage. Es untersucht, ob Mehrheitsentscheidungen („Majority Voting“) „nach hinten losgehen können“ – definiert als ein Szenario, in dem die Erhöhung von $N$ die Genauigkeit pro Problem reduziert ( $mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$ ). Der Autor stellt die Hypothese auf, dass bei schwierigen Problemen, wenn die Sampling-Verteilung eines Modells auf eine falsche Antwort konzentriert ist, zusätzliche Stichproben den Fehler lediglich verfestigen, anstatt ihn zu korrigieren. Darüber hinaus stellt das Paper die Frage, ob kostengünstige, verifizierfreie Signale (wie etwa der Grad der Übereinstimmung oder die Token-Entropie) effektiv identifizieren können, für welche Probleme abgestimmt werden sollte und welche übersprungen werden müssen, um dieses „Backfire“-Phänomen zu vermeiden.

Methodik

Die Studie verwendet ein präregistriertes, konfirmatorisches experimentelles Design unter Verwendung des GPQA Diamond Benchmarks, der aus 198 Multiple-Choice-Fragen auf Graduiertenniveau in den Fächern Biologie, Chemie und Physik besteht.

Modelle: Zwei kleine, instruktionsgesteuerte, nicht-reasoning-fähige Modelle wurden evaluiert: Qwen2.5-7B-Instruct und Meta-Llama-3-8B-Instruct.
Sampling-Protokoll: Für jedes Problem wurden $N=64$ Chains of Thought bei einer Temperatur von 0,7 generiert.
Experimentelle Aufteilung: Der Datensatz wurde in 47 explorative Probleme (zur Generierung von Hypothesen) und 151 konfirmatorische Probleme unterteilt. Alle Hypothesen und Schwellenwerte wurden vor der konfirmatorischen Analyse festgelegt und mittels Git-Tag fixiert.
Metriken:
- $MV\_acc(N)$ : Die erwartete Genauigkeit der Mehrheitsentscheidung über $N$ Stichproben, geschätzt mittels Monte-Carlo-Subsampling.
- Backfire: Definiert als $MV\_acc(64) < MV\_acc(1)$ .
- Routing Gates (Routing-Tore): Zwei verifizierfreie Signale wurden getestet, um Probleme auf ein optimales $N$ $N$ zu routen:
  1. Plurality Agreement Gate: Gibt die Probe-Antwort zurück, wenn der Anteil der Übereinstimmung über $k$ Stichproben einen Schwellenwert $\tau$ überschreitet; andernfalls wird auf $N=64$ zurückgegriffen.
  2. Token Entropy Gate: Gibt die Probe-Antwort zurück, wenn die mittlere pro-Token-Entropie über $k$ Stichproben unter einem Schwellenwert liegt; andernfalls wird auf $N=64$ zurückgegriffen.
Oracle Bounds (Orakel-Grenzen): Ein „Grid Oracle“ wurde konstruiert, um eine theoretische obere Grenze festzulegen. Dieses Orakel routet jedes Problem zu dem spezifischen $N \in \{1, 2, 4, 8, 16, 32, 64\}$ , das die Genauigkeit unter Verwendung der Ground Truth maximiert.

Kernergebnisse

1. Prävalenz von Backfire

Die Mehrheitsentscheidung reduziert die Genauigkeit bei der Mehrheit der einzelnen Probleme für beide Modelle, obwohl die aggregierten Metriken flach oder leicht positiv erscheinen.

Qwen2.5-7B: Backfire tritt bei 56,6 % der 198 Probleme auf.
Llama-3-8B: Backfire tritt bei 65,7 % der Probleme auf.
Fachbereichs-Aufschlüsselung: Chemie zeigte die höchsten Backfire-Raten (66,7 % für Qwen, 68,8 % für Llama), gefolgt von Physik und Biologie.
Aggregat vs. Individuum: Während die aggregierte Genauigkeit einen moderaten Anstieg verzeichnete (z. B. Qwen von 0,342 auf 0,369), kaschiert dies eine weit verbreitete Verschlechterung auf Ebene der einzelnen Probleme. Die schlechtesten Einzelprobleme verloren ca. 47 Prozentpunkte an Genauigkeit, während einige signifikant gewannen, was zu einem irreführenden Durchschnitt führt.

2. Versagen von Verifier-Free Gates

Die Studie untersuchte, ob kostengünstige Signale den „Spielraum“ zwischen fester Budget-Voting ( $N=64$ ) und dem Oracle-Upper-Bound wiederherstellen könnten.

Potenzial des Oracles: Ein Grid Oracle konnte die Genauigkeit im Vergleich zu $N=1$ um 14 Punkte (Qwen) und 17 Punkte (Llama) verbessern.
Leistung der Gates: Weder das Agreement Gate noch das Entropy Gate verbesserten die Genauigkeit gegenüber der festen $N=64$ $N = 64$ Baseline signifikant.
- Das Agreement Gate erfasste nur 0,8 % des verfügbaren Spielraums für Qwen und -1,6 % für Llama (relativ zu $N=64$ ).
- Das Entropy Gate scheiterte ebenfalls daran, signifikanten Spielraum zurückzugewinnen.
Fazit: Diese Gates bieten keinen Mechanismus, um zwischen Problemen zu unterscheiden, bei denen Voting hilft, und solchen, bei denen es schadet.

3. Mechanismus: Konfidenz korreliert nicht mit Korrektheit

Das Paper identifiziert die Ursache des Scheiterns: Fehlkalibrierung (Miscalibration).

Übereinstimmung $\neq$ Korrektheit: Selbst im Bereich der höchsten Übereinstimmung (in dem das Modell am sichersten ist) ist die Pluralitätsantwort nur etwa 52,5 % der Zeit für Qwen und 28,6 % für Llama korrekt.
Nicht-Monotonie: Für Llama war die Genauigkeit im Bereich der höchsten Übereinstimmung tatsächlich niedriger als im Bereich der niedrigsten Übereinstimmung. Hohe Selbstkonsistenz korreliert bei diesen schwierigen Aufgaben nicht mit hoher Genauigkeit.
Signalversagen: Da Konfidenz (Übereinstimmung oder niedrige Entropie) nicht mit der Korrektheit korreliert, können Gates, die auf diesen Signalen basieren, das Computing nicht effektiv steuern.

Bedeutung und Ansprüche

Das Paper stellt die folgenden spezifischen Ansprüche bezüglich seines Beitrags:

Quantifizierung von Backfire: Es liefert die erste präregistrierte, replizierte Quantifizierung, die zeigt, dass Self-Consistency bei der Mehrheit der Probleme in einem schwierigen, wissenschaftlichen Graduierten-Benchmark über zwei Modellfamilien hinweg nach hinten losgeht.
Versagen einfacher Heuristiken: Es demonstriert, dass zwei natürliche, verifizierfreie Signale (Plurality Agreement und Token-Entropie) unzureichend sind, um das Backfire zu verhindern oder die theoretischen Genauigkeitsgewinne zu realisieren, die durch per-Problem-Routing möglich wären.
Identifikation des Mechanismus: Es bestätigt, dass das Scheitern dadurch getrieben wird, dass Konfidenz nicht mit Korrektheit auf schwierigen Inputs korreliert; hohe Übereinstimmung signalisiert oft eine selbstbewusst falsche Antwort.
Offene Frage: Das Paper stellt explizit fest, dass es keine „Reasoning-native“ Modelle (Modelle mit verborgener Chain-of-Thought) testet. Ob diese Architekturen dem Backfire-Phänomen entkommen, bleibt die zentrale offene Frage, da vorläufige Versuche zur Evaluierung durch Token-Budget-Beschränkungen behindert wurden.

Der Autor kommt zu dem Schluss, dass Praktiker bei schwierigen Denkaufgaben nicht davon ausgehen sollten, dass Self-Consistency sicher ist, noch sollten sie erwarten, dass interne Modellsignale wie Übereinstimmung oder Entropie anzeigen, wann dies vorteilhaft ist. Die Rückgewinnung der verlorenen Genauigkeit erfordert wahrscheinlich externe Signale, wie etwa trainierte Verifier oder Process Reward Models, anstatt sich auf die eigene Sampling-Verteilung des Modells zu verlassen.