💬 NLP

The Calibration Floor: Format Repair Can Masquerade as Self-Correction at Small-to-Mid Scale

Dieses Paper zeigt auf, dass die beobachteten Genauigkeitsgewinne durch die Selbstrevision von Sprachmodellen häufig durch die Wiederherstellung des Formats an der Grenze der Antwortextraktion getrieben werden, statt durch echte Verbesserungen im logischen Schließen – ein Phänomen, das mit der Modellgröße intensiviert wird und die meisten Behauptungen zur Selbstkorrektur vernachlässigbar macht, wenn sie kausal von Parsing-Artefakten isoliert werden.

Ursprüngliche Autoren: Mingguang Chen, Bo Qu, Licheng Wang

Veröffentlicht 2026-08-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingguang Chen, Bo Qu, Licheng Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel der KI-Selbstkorrektur

Stellen Sie sich vor, Sie sind ein Schüler, der eine schwierige Mathearbeit schreibt. Sie notieren Ihre Antwort, erhalten dann aber eine zweite Chance, Ihre Arbeit zu überprüfen. Sie entdecken einen Fehler, korrigieren ihn und schreiben eine neue Antwort. Wenn Ihre neue Antwort besser ist, haben Sie erfolgreich „selbstkorrigiert“. In der Welt der Künstlichen Intelligenz ist das eine große Sache. Wissenschaftler bringen KI-Modellen bei, sich wie dieser Schüler zu verhalten: Sie generieren eine Antwort, kritisieren ihre eigene Logik und versuchen, Fehler zu beheben, ohne dass ein menschlicher Lehrer über ihre Schulter schaut. Die große Frage, die sich alle stellen, ist: Macht das die KI tatsächlich intelligenter oder macht es sie nur selbstbewusster in ihren Fehlern?

Um die Entdeckung des Papers zu verstehen, müssen wir uns ansehen, wie wir diese KI-Tests bewerten. Normalerweise liest ein Computerprogramm den ungeordneten, frei fließenden Text der KI und versucht, die endgültige Antwort zu finden, wie etwa eine Zahl oder eine Buchstabenwahl. Wenn das Programm die Antwort nicht finden kann, weil die KI vergessen hat, sie klar zu schreiben, oder der Platz ausgegangen ist, wertet der Computer dies als falsch. Dieses Paper untersucht ein hinterlistiges Problem: Manchmal, wenn eine KI ihre Antwort „korrigiert“, ändert sie gar nicht ihre Meinung über die Mathematik oder die Fakten. Stattdessen ändert sie nur die Art und Weise, wie sie die Antwort schreibt, damit das Bewertungsprogramm sie endlich lesen kann. Es ist wie ein Schüler, der die Antwort die ganze Zeit wusste, sie aber in unsichtbarer Tinte geschrieben hat; wenn er sich „korrigiert“, wechselt er einfach zu blauer Tinte. Die Note steigt, aber der Schüler hat nichts Neues gelernt. Dieses Paper fragt: Messen wir echte Intelligenz oder messen wir nur eine bessere Handschrift?

Die große Entdeckung des Papers: Es ist oft nur eine Formatierungskorrektur

Dieses Paper mit dem Titel „The Calibration Floor“ taucht tief in 29 verschiedene Tests ein, die KI-Modelle unterschiedlicher Größe umfassen, von winzigen (0,8 Milliarden Parametern) bis hin zu sehr großen (bis zu 55 Milliarden aktiven Parametern). Die Forscher fanden heraus, dass das, was wie eine massive Verbesserung des KI-Reasonings aussieht, oft eine Illusion ist, die durch einen „Formatierungsfehler“ verursacht wird.

Stellen Sie sich die Antwort der KI als eine Schatzkiste vor. Der „Inhalt“ ist das Gold im Inneren (die tatsächliche korrekte Antwort), und das „Format“ ist das Schloss an der Kiste. In vielen Fällen hat die KI nicht mehr Gold gefunden; sie hat nur das Schloss besser geknackt. Als die Forscher das „Gold“ (echte Änderungen im Denken/Reasoning) vom „Schloss“ (ob die Antwort lesbar war) trennten, entdeckten sie etwas Überraschendes: Der Großteil des scheinbaren Erfolgs bestand lediglich daraus, dass das Schloss geknackt wurde.

Hier ist, was sie in einfachen Worten fanden:

Das „Magische“ war größtenteils vorgetäuscht: Wenn sie sich die Änderungen der Gesamtpunktzahl ansah, schienen einige Modelle nach der Selbstkorrektur viel besser zu werden. Aber sobald sie die Formatierungskorrekturen entfernten, war das echte „Gold“ (tatsächliche Änderungen im Reasoning) bei den klügeren Modellen fast null. Tatsächlich war die echte Inhaltsänderung bei den großen, leistungsfähigen Modellen (im Bereich von 4B bis 12B und sogar bei den massiven Frontier-Modellen) in vielen Fällen exakt 0,000. Die „Verbesserung“ lag ausschließlich darin, dass die KI es endlich geschafft hatte, die Antwort in einer Weise zu schreiben, die der Computer lesen konnte.
Die kleinen Modelle machen eigentlich alles schlimmer: Die winzigen Modelle (0,8B und 2B) waren anders. Sie änderten zwar ihre eigentlichen Antworten, aber meistens zum Schlechteren. Sie waren wie ein Schüler, der die Antwort wusste, sich während der Überprüfung verwirrte und eine korrekte Antwort in eine falsche änderte. Die Forscher fanden heraus, dass diese kleinen Modelle eine 16- bis 21-mal höhere Wahrscheinlichkeit hatten, eine schädliche Änderung an ihrem eigentlichen Reasoning vorzunehmen, im Vergleich zu den größeren Modellen.
Das „Squeeze“-Problem: Das Paper beschreibt einen „Squeeze“ (eine Verengung), bei dem keines der Modell-Größen einen idealen Punkt trifft. Die kleinen Modelle haben Raum zur Verbesserung, aber es fehlt ihnen an dem Signal, um zu wissen, wann sie aufhören und Dinge korrigieren sollen (sie ändern Dinge zu viel und oft falsch). Die großen Modelle haben das Signal, um zu wissen, wenn sie falsch liegen, aber sie ändern ihre eigentlichen Antworten selten, sodass es für einen „Gatekeeper“ (Wächter) nichts zu kontrollieren gibt. Die einzige Ausnahme war ein spezifischer Test (9B TriviaQA), der einen winzigen, marginalen Nutzen zeigte, aber das war kein Game-Changer.

Was sie taten, um es zu beweisen

Die Forscher haben nicht nur geraten; sie bauten ein kluges Experiment, um zu beweisen, dass die „Verbesserungen“ nur die Formatierung waren.

Der „Schlossknacker“-Test: Sie nahmen den ursprünglichen, unordentlichen Reasoning-Text der KI und zwangen sie dazu, die Antwort unter strengen Regeln (wie einer Grammatikbeschränkung) neu zu extrahieren, was garantierte, dass die Antwort lesbar wäre. Als sie dies taten, verschwanden die „magischen“ Verbesserungen. Zum Beispiel: In einem Test, bei dem die KI scheinbar um +0,145 an Genauigkeit gewann, senkte das Erzwingen des lesbaren Formats diesen Gewinn auf +0,053. In einem anderen Fall wurde ein Gewinn von +0,020 tatsächlich zu einem Verlust von -0,017, sobald das Formatierungsrauschen entfernt wurde. Dies bewies, dass die „Korrektur“ hauptsächlich darum ging, die Antwort lesbar zu machen, und nicht darum, klüger zu werden.
Der „Vorzeichenumkehr“-Trick: Sie führten dieselben Tests mit zwei verschiedenen Prompts durch: einem, der anfällig dafür war, den Text der KI abzuschneiden (Truncation), und einem, der korrigiert war. Bei einem schlechten Prompt wurde die überarbeitete Antwort der KI oft abgeschnitten, was den Anschein erweckte, die KI sei schlechter geworden. Als sie den Prompt korrigierten, wurde die ursprüngliche Antwort abgeschnitten, was die Überarbeitung wie einen riesigen Erfolg aussehen ließ. Das eigentliche Reasoning änderte sich nicht; nur die „Lesbarkeit“ änderte sich.
Der „Copy-Paste“-Check: Sie versuchten, eine berühmte vorherige Studie zu replizieren, die behauptete, dass die Selbstkorrektur der KI hervorragend funktioniere. Als sie genau denselben Test auf einem anderen KI-Modell ausführten, funktionierte es überhaupt nicht. Stattdessen zeigten sie dasselbe Muster, das dieses Paper fand: Die KI wurde nicht klüger, sondern formatierte nur ihre Antworten besser.

Das Fazntfazit

Das Paper kommt zu dem Schluss, dass die KI-Community lange Zeit die „Selbstkorrektur“ als einen großen Durchbruch im Reasoning gefeiert hat. Doch diese Studie legt nahe, dass für die getesteten Modelle (von klein bis sehr groß) der Inhalt nur einen Minderheitenanteil dessen ausmacht, was wir messen.

Wenn der Score einer KI steigt, nachdem sie sich selbst „korrigiert“ hat, kann es einfach bedeuten, dass die KI die Antwort endlich in einer Weise geschrieben hat, die der Computer verstehen kann, und nicht, dass sie ein schwierigeres Problem gelöst hat. Die Autoren warnen, dass wir, solange wir das „Gold“ nicht vom „Schloss“ trennen, nicht sicher sein können, ob eine KI tatsächlich klüger wird oder nur besser darin wird, Formatierungsregeln zu befolgen. Die einzige echte „Korrektur“, die sie fanden, war, dass die kleinsten Modelle dazu neigen, ihre Antworten zu verschlechtern, während die größten Modelle so stabil sind, dass sie ihre Meinung fast nie ändern.

Technisches Resümee: Der Kalibrierungsboden (The Calibration Floor)

1. Problemstellung

Die Arbeit befasst sich mit einem kritischen Störfaktor (Confound) bei der Evaluierung der intrinsischen Selbstkorrektur von Large Language Models (LLMs). Standardmetriken für die Selbstkorrektur messen die Änderung der Genauigkeit ( $\Delta_{total}$ ) zwischen einer initialen Antwort ( $a_0$ ) und einer revidierten Antwort ( $a_f$ ), die generiert wurde, nachdem das Modell seine eigene Argumentation kritisiert hat.

Die Autoren argumentieren, dass $\Delta_{total}$ oft fälschlicherweise als Änderung des Inhalts der Argumentation (das Modell korrigiert tatsächlich einen Fehler) interpretiert wird. Da es sich jedoch um die Generierung von freiem Text handelt, ist die Genauigkeit von der Extrahierbarkeit abhängig: ob die Ausgabe des Modells einen String enthält, den ein Antwort-Extraktor parsen kann. Wenn sich die Erfolgsrate der Extraktion zwischen $a_0$ und $a_f$ unterscheidet, ist das beobachtete Genauigkeitsdelta durch Format-Artefakte kontaminiert und nicht durch echte Änderungen in der Argumentation.

Das Paper postuliert:

Scheinbare Gewinne oder Verluste bei der Selbstkorrektur können vollständig dadurch getrieben sein, ob das Modell erfolgreich einen parsbaren String emittiert hat, und nicht dadurch, ob es seine Meinung geändert hat.
Dieser Störfaktor verschleiert die wahre „Inhaltsmarge“ (die tatsächliche Verbesserung oder Verschlechterung der Argumentation).
Die bestehende Literatur hat die Wirksamkeit der Selbstkorrektur möglicherweise überschätzt oder die Ursachen für Erfolg oder Misserfolg falsch zugeordnet.

2. Methodik

2.1 Die Margen-Dekomposition

Der zentrale methodische Beitrag ist eine exakte, additive Dekomposition des gesamten Genauigkeitsdeltas:
$\Delta_{total} = \Delta_{content} + \Delta_{format\_recover} + \Delta_{format\_loss}$

$\Delta_{content}$ (Inhaltsmarge): Die Änderung der Genauigkeit, beschränkt auf Stichproben, bei denen sowohl $a_0$ als auch $a_f$ parsbar sind. Dies ist die einzige Marge, die auf echte Änderungen der Argumentation zurückzuführen ist.
$\Delta_{format\_recover}$ : Fälle, in denen $a_0$ nicht parsbar (falsch gewertet) war, aber $a_f$ parsbar (richtig gewertet) ist. Dies ist eine „zweite Chance“ für die Extraktion, nicht unbedingt eine Korrektur der Argumentation.
$\Delta_{format\_loss}$ : Fälle, in denen $a_0$ parsbar (richtig gewertet) war, aber $a_f$ unparsbar (falsch gewertet) wurde. Dies ist ein Verlust einer funktionierenden Antwort aufgrund von Formatierungsproblemen.
Dead: Fälle, in denen beide nicht parsbar sind (tragen 0 zur Differenz bei).

2.2 Der Kalibrierungsboden

Die Autoren verfeinern das Kriterium des „Kalibrierungsbodens“ (die minimale Signalqualität, die erforderlich ist, damit eine selektive Revision profitabel ist), um es nur auf die Inhaltsmarge anzuwenden. Sie definieren eine Profitabilitätsschwelle $\delta$ (festgelegt auf 0,01) und berechnen den erforderlichen minimalen AUROC ( $AUROC^*$ ) für ein Gating-Signal, um diesen Boden zu überwinden. Wenn das beste verfügbare Signal den $AUROC^*$ nicht übersteigen kann, gilt die Zelle als „eingequetscht“ (keine lebensfähige Gating-Nische).

2.3 Experimentelles Design

Modelle: 29 primäre Zellen über Qwen3.5 (0,8B, 2B, 4B, 9B) und Gemma-4-12B.
Frontier-Check: API-basierte Tests auf Tencent Hy3 und Nvidia Nemotron-3-Ultra-550B (~55B aktive Parameter).
Aufgaben: GSM8K, MATH, MMLU, ARC-Challenge, HumanEval, MBPP, TriviaQA, etc.
Protokoll: Ein „Frozen-Trajectory“-Ansatz, bei dem Modelle eine initiale Antwort generieren, diese kritisieren und dann eine Revision erstellen. Gating-Entscheidungen werden offline basierend auf intrinsischen Signalen (Token-Logprobs, verbalisiertes Vertrauen usw.) getroffen.

2.4 Kausale Kontrollen

Um über beobachtbare Korrelationen hinauszugehen, verwendet das Paper:

Forced-Continuation Probe: Das Modell wird gezwungen, unmittelbar nach der initialen Generierung eine finale Antwort auszugeben (unter Umgehung des Revisionsschritts), um zu sehen, ob die „Antwort“ bereits vorhanden, aber nicht extrahiert war.
Constrained-Decoding Kausale Kontrolle: Re-Extraktion von Antworten aus dem bereits generierten freien Text mittels grammatikgesteuerter Dekodierung (um die Parsbarkeit zu garantieren). Dies testet, wie stark das $\Delta_{total}$ schrumpft, wenn das Format-Rauschen entfernt wird, um den wahren Inhaltseffekt zu isolieren.
Prompt-Regime-Vorzeichenumkehr: Vergleich von „abbruchgefährdeten“ Prompts (hohe Extraktionsfehlerquote) mit „reparierten“ Prompts, um zu zeigen, wie das Vorzeichen von $\Delta_{total}$ basierend auf dem Extraktionserfolg fluktuiert, während $\Delta_{content}$ stabil bleibt.

3. Zentrale Beiträge

Exakte Dekomposition: Eine algebraische Identität, die die Verschiebungen der Genauigkeit bei der Selbstkorrektur in Inhalts- und Formatmargen trennt, anwendbar auf jede „Always-Revise“-Trajektorie.
Kausale Evidenz: Eine durch Constrained-Decoding kontrollierte Untersuchung, die auf Zellen mit einem aktiven Extraktionskanal ( $a_0$ -bad $\ge 8\%$ ) die Lücke zwischen Standard-Gesamteffekten und Inhaltsmarge-Schätzungen im Median um 71 % schließt (Bereich 55–100 %), mit exakter Konvergenz auf zwei Zellen und Berichterstattung über ehrliche Residuen auf anderen.
Skalenabhängiges Quetschen (Scale-Dependent Squeeze): Empirische Belege dafür, dass:
- Modelle auf Bodenniveau (0,8B–2B): Reale Änderungen auf Inhaltsebene zeigen (oft schädlich), aber nicht über eine ausreichende Signalqualität verfügen, um den Kalibrierungsboden zu überwinden.
- Leistungsfähige Skalen (4B–12B+): Nahezu null Inhaltsänderungen (Inertia/Trägheit) aufweisen, obwohl sie über zuverlässige Signale verfügen, was keinen Spielraum für Gating lässt.
Replikationsfehler des Protokolls: Eine wortgetreue Replikation eines zitierten Confidence-Gating-Protokolls (IoE) auf einer neuen Modellfamilie scheitert daran, die ursprünglichen Gewinne zu reproduzieren, und zeigt stattdessen dieselbe nahe-null Inhaltsmarge und die durch das Format getriebenen Effekte.
Reproduzierbarkeit: Veröffentlichung einer vollständigen Offline-Trajektorien-Bibliothek, Extraktions-Gates und Analyse-Code.

4. Kernergebnisse

4.1 Dominanz von Format-Artefakten (Behauptung C1)

Über 12 Zellen mit signifikanten unparsablen Raten übersteigt die Größenordnung der Formateffekte ( $|\Delta_{format}|$ ) signifikant die der Inhaltseffekte ( $|\Delta_{content}|$ ) (Wilcoxon $p=1,7 \times 10^{-3}$ ).
Vorzeichenumkehr: In mehreren Zellen (z. B. 0,8B ARC) kehrte das Ändern des Prompt-Regimes von abbruchgefährdet zu repariert das Vorzeichen des Gesamteffekts (von scheinbarem Schaden zu scheinbarem Gewinn), während die Inhaltsmarge klein und stabil blieb.
Kausale Schließung: Bei der erzwungenen parsbaren Re-Extraktion der vorhandenen Argumentation kollabierte der Gesamteffekt in Richtung der Inhaltsmarge. Für Zellen mit einem aktiven Extraktionskanal ( $a_0$ -bad $\ge 8\%$ ) betrug die mediane Schließung 71 % (Bereich 55–100 %). Beispielsweise sank der scheinbare Gewinn von +0,145 auf +0,053 bei 9B MMLU; bei 0,8B MMLU kippte er von +0,020 auf -0,017. Zwei Zellen (2B/4B ARC) konvergierten exakt, während 4B/9B MMLU ein Residuum gegenüber einer Near-Zero-Inhaltsmarge beibehielt.

4.2 Skalen-Kontrast: Trägheit vs. Instabilität (Behauptung C2)

Leistungsfähige Skala (4B–12B): Die Inhaltsmargen sind effektiv Null. In 11 von 13 Zellen der leistungsfähigen Skala lag die Rate der Inhaltsänderung bei $\le 0,05$ und $\Delta_{content}$ lag innerhalb von $\pm 0,03$ . Die Modelle ändern ihre parsbaren Antworten selten.
Bodenniveau (0,8B–2B): Inhaltsmargen sind aktiv und oft schädlich. Modelle auf Bodenniveau zeigen signifikant höhere Inhaltsänderungsraten (Median 11,5 % vs. 0,5 % bei leistungsfähigen Modellen) und netto-schädliche Inhaltseffekte. Ein geclustertes GEE-Modell schätzt, dass Zeilen auf Bodenniveau eine 16- bis 21-mal höhere Chance auf Inhaltsänderungen und Schäden haben als Zeilen der leistungsfähigen Skala.

4.3 Das Quetschen (The Squeeze) (Behauptung C3)

Wendet man das Kalibrierungsboden-Kriterium auf die Inhaltsmarge an, ist die „lebensfähige Gating-Region“ (in der ein Modell sowohl echte Inhaltsänderungen als auch ein starkes Signal besitzt, um diese zu erkennen) fast leer.
Bodenniveau-Zellen: Haben reale Inhaltsänderungen (Headroom), scheitern aber am Signalboden (unzureichendes Signal).
Leistungsfähige Skalen: Verfügen über zuverlässige Signale, haben aber fast keinen Inhalts-Headroom (Trägheit).
Ergebnis: Nur eine Zelle (9B TriviaQA) besetzt marginal den lebensfähigen Quadranten, und selbst dort ist der Gewinn (+0,020) gering und nicht robust unter der versiegelten Policy.

4.4 Frontier- und Cross-Family-Checks

Gemma-4-12B: Repliziert das Qwen-Muster: große Gesamtschwankungen, die vollständig durch das Format getrieben sind, bei einer Inhaltsmarge von Null.
Frontier-Modelle (Hy3, Nemotron-550B): Trotz größerer Skala intensiviert sich das Muster. Die Gesamteffekte erreichten bis zu +0,275 (Hy3 MMLU), aber $\Delta_{content}$ war in allen 5 Frontier-Zellen exakt 0,000. Die Formatmarge erklärt den gesamten gemessenen Effekt.

5. Bedeutung und Behauptungen

Das Paper behaupten, dass der Inhalt nur einen Minderheitenanteil dessen ausmacht, was die Fachwelt als „Selbstkorrektur“ gemessen hat.

Messkorrektur: Ein Benchmark-Score nach der Selbstrevision ist das Ergebnis zweier gekoppelter Systeme (Argumentation + Extraktion). Standard-Genauigkeitsdeltas kollabieren diese Systeme. Das Paper argumentet, dass ohne die Dekomposition der Margen, beobachtete Gewinne oft lediglich „Verbesserungen der Antwortformatierung“ sind.
Versöhnung der Literatur: Die Ergebnisse versöhnen widersprüchliche Literatur (z. B. Huang et al., die Selbstkorrektur als schädlich fanden, vs. Li et al., die sie als hilfreich fanden). Die Autoren legen nahe, dass beides wahr sein kann: Der „Schaden“ kann eine reale Verschlechterung des Inhalts bei kleinen Skalen sein, während der „Nutzen“ bei großen Skalen durch Format-Recovery entsteht, wobei der wahre Inhaltseffekt bei leistungsfähigen Modellen vernachlässigbar ist.
Praktischer Standard: Das Paper schlägt einen neuen Standard für die Selbstkorrekturforschung vor:
1. Berichten Sie die Parsbarkeit-Raten für initiale und revidierte Ausgaben.
2. Dekomponieren Sie die gesamten Genauigkeitsänderungen in Inhalts- und Formatmargen.
3. Testen Sie die Dekomposition kausal (z. B. via Constrained-Decoding), sofern Extraktionskanäle aktiv sind.
4. Berichten Sie die Gewinne der versiegelten Policy („sealed policy gains“) neben der Gesamtgenauigkeit.

Das Paper schließt mit dem Hinweis, dass man, solange diese Schritte nicht unternommen werden, Verbesserungen, die der Argumentation zugeschrieben werden, lediglich Verbesserungen der Antwortformatierung sein könnten. Der „Kalibrierungsboden“ auf der Inhaltsmarge offenbart ein „Quetschen“, bei dem weder kleine noch große Modelle derzeit eine robuste, skalierbare Nische für konfidenzbasiertes Gating der Selbstkorrektur bieten.