🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

Diese Arbeit zeigt auf, dass Modelle zwar effektiv lernen können, Lösungen für Denkaufgaben zu verifizieren und auswendig zu lernen, sie jedoch grundlegend daran scheitern, verifizierbare Suchverfahren als vorwärtsgerichtete Chain-of-Thought-Ableitungen zu erlernen, unabhängig von Modellgröße oder Trainingsmethode, da solche Aufgaben keinen getreuen, informationserhaltenden schrittweisen Pfad zur Imitation besitzen.

Ursprüngliche Autoren: Harsh Patel

Veröffentlicht 2026-06-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harsh Patel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber buchstäblich denkenden Lehrling beizubringen, wie man ein komplexes Rätsel löst. Sie haben einen perfekten Meister-Löser, der das Rätsel jedes Mal knackt. Ihr Plan ist einfach: Sie schreiben den schrittweisen Denkprozess des Meisters (die „Chain of Thought“) in ein Notizbuch, zeigen es dem Lehrling und erwarten, dass er die Logik lernt und das Rätsel selbst löst.

Dieses Paper argumentiert, dass dieser Plan für einige Rätsel funktioniert, aber für andere spektakulär scheitert – und der Grund dafür nicht ist, dass der Lehrling „dumm“ ist, sondern wie das Rätsel gelöst wird.

Hier ist die Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Die zwei Arten von Rätseln

Der Forscher testete den Lehrling mit neun verschiedenen Arten von Logikrätseln. Diese fielen in zwei deutliche Gruppen:

Die „Geradlinigen“ Rätsel (Die einfachen):
Denken Sie an diese wie an das Befolgen eines Rezepts. „Mehl mischen, Eier hinzufügen, 20 Minuten backen.“ Die Schritte verlaufen in einer geraden Linie vom Anfang bis zum Ende. Wenn Sie diese Schritte aufschreiben und sie dem Lehrling beibringen, lernt er es perfekt. Das Paper fand heraus, dass der Lehrling bei Aufgaben wie römischen Zahlen oder einfachen mathematischen Umrechnungen die Schritte des Meisters kopieren konnte und in 9 9 % der Fälle die richtige Antwort gab.
- Die Lektion: Wenn die Lösung ein direkter Pfad ist, können Sie sie lehren, indem Sie den Pfad zeigen.
Die „Backtracking“-Rätsel (Die schweren):
Denken Sie an diese wie an das Navigieren durch ein riesiges, dunkles Labyrinth, in dem man raten muss, welche Tür die richtige ist. Wenn man auf eine Sackgasse stößt, muss man ganz zum Anfang zurückgehen und eine andere Tür ausprobieren. Der Meister-Löser macht dies, indem er eine Tür ausprobiert, merkt, dass sie falsch ist, diesen Gedanken löscht und eine andere Tür ausprobiert.
- Das Problem: Man kann keinen „geradlinigen“ Bericht über diesen Prozess aufschreiben. Eine Geschichte, die sagt: „Ich habe Tür A versucht, sie war falsch, ich habe Tür B versucht, sie war falsch...“, ist eigentlich eine Lüge, wenn der Lehrling nicht tatsächlich die Fähigkeit besitzt, seine vorherigen Gedanken in Echtzeit zu löschen und zurückzugehen.

2. Die „Verdict-as-Token“-Falle

Das Paper entdeckte einen spezifischen Fehlermodus bei den „Backtracking“-Rätseln (speziell bei einem Typ namens Kryptarithm, bei dem man herausfinden muss, welcher Buchstabe für welche Zahl steht).

Als der Forscher dem Lehrling den „Suchprozess“ des Meisters beibrachte, lernte der Lehrling nicht die Logik des Suchens. Stattdessen lernte er die Form der Antwort.

Die Analogie: Stellen Sie sich vor, der Meister sagt: „Ich habe die rote Tür geprüft, sie war falsch, also habe ich sie eliminiert.“ Der Lehrling memoriert die Phrase „Rote Tür eliminieren“, versteht aber nicht wirklich, warum sie falsch war.
Das Ergebnis: Wenn der Lehrling versucht, ein neues Rätsel allein zu lösen, sieht er eine rote Tür und sagt blindlings: „Rote Tür eliminieren“, selbst wenn die rote Tür eigentlich die richtige gewesen wäre. Er rezitiert ein Skript, ohne die Geschichte zu verstehen. Das Paper nennt dies „Verdict-as-Token“: Das Modell behandelt das Urteil als ein feststehendes Wort, das ausgesprochen werden soll, statt als eine Entscheidung, die auf Beweisen basiert.

3. Warum größere Gehirne nicht halfen

Der Forscher testete dies an vielen verschiedenen Modellen, von kleinen bis hin zu massiven, super-intelligenten Modellen (bis zu 671 Milliarden Parametern).

Das Ergebnis: Selbst die riesigen Modelle scheiterten an den „Backtracking“-Rätseln, wenn sie gebeten wurden, ihren Arbeitsschritt für Schritt aufzuzeigen. Sie stießen alle auf dieselbe niedrige Decke (etwa 5 % Genauigkeit).
Der Grund: Das Problem war nicht die Größe des Gehirns, sondern die Art des Denkens, die erforderlich war. Man kann ein Modell nicht dazu zwingen, sich zu „erinnern, was es versucht hat und zurückzugehen“, wenn seine interne Architektur nicht darauf ausgelegt ist, eine solche „Such-Zustandsverwaltung“ (Search State) aufrechtzuerhalten, während es eine Geschichte schreibt.

4. Das „Magische Schlüssel“-Experiment

Um zu beweisen, dass das Problem die Suche und nicht die Mathematik war, vollzog der Forscher einen klugen Trick. Er gab dem Lehrling ein „Spickzettel“ (den Verschlüsselungsschlüssel), der das Labyrinth in eine gerade Linie verwandelte.

Das Ergebnis: Sobald die Suche entfernt wurde und die Aufgabe zu einer geradlinigen Berechnung wurde, sprang die Genauigkeit des Lehrlings von 3 % auf 57 %.
Die Schlussfolgerung: Das Modell konnte die Mathematik und die Logik völlig problemlos bewältigen. Es konnte lediglich nicht den Teil der „Suche“ ausführen, während es die Geschichte schrieb.

5. Die wahre Lösung: Memorierung, nicht Schlussfolgerung

Wie hat also der Gewinner des Wettbewerbs die schwierigen Rätsel gelöst? Er hat dem Modell nicht beigebracht zu suchen.

Die Strategie: Er erkannte, dass das Labyrinth eine endliche Anzahl an möglichen Pfaden hat. Anstatt dem Modell beizubringen, das Labyrinth zu durchwandern, ließ er das Modell eine Karte von jedem möglichen Labyrinth-Layout auswendig lernen.
Die Analogie: Anstatt dem Lehrling beizubringen, wie man durch ein Labyrinth navigiert, gibt man ihm ein Buch, in dem steht: „Wenn das Labyrinth so aussieht wie dies, dann ist die Antwort jenes.“ Das Modell lernte dieses Buch (einen Katalog von Lösungen) auswendig und musste dann nur noch eine schnelle Prüfung durchführen, um sicherzustellen, dass die Antwort passt.
Die Erkenntnis: Das Paper kommt zu dem Schluss, dass für diese schwierigen Suchprobleme Memorierung funktioniert, aber die Destillation des Suchprozesses nicht.

Zusammenfassung

Die Hauptbotschaft des Papers lautet: Man kann ein Modell nicht dazu lehren zu „suchen“, indem man ihm einfach nur die Suchschritte zeigt.

Wenn die Aufgabe eine gerade Linie ist, funktioniert das Zeigen der Schritte.
Wenn die Aufgabe Backtracking erfordert (versuchen, scheitern und erneut versuchen), wird das Modell nur die Worte des Scheiterns auswendig lernen, nicht die Logik.
Um diese schweren Aufgaben zu lösen, muss man entweder das Modell lehren, die Suche selbst durchzuführen (was schwer ist), oder die Antworten vorab berechnen und das Modell lehren, den Katalog der Möglichkeiten auswendig zu lernen.

Das Paper ist eine Warnung an KI-Forscher: Nur weil ein Computerprogramm ein Problem lösen kann, bedeutet das nicht, dass ein Sprachmodell lernen kann, sich durch das Lesen der Notizen des Programms zu einer Lösung zu „denken“. Manchmal ist der einzige Weg zu lernen, die Karte auswendig zu lernen, nicht die Reise.

Technisches Resümee: Eine verifizierbare Suche ist kein lernbarer Chain-of-Thought

Problemstellung

Die Arbeit untersucht eine zentrale Hypothese in der Destillation von logischem Denken: Wenn eine Aufgabe durch ein kurzes, deterministisches Programm gelöst werden kann, kann die Logik dieses Programms dann einem kleineren Sprachmodell als verifizierbarer Chain-of-Thought (CoT) beigebracht werden? Die Intuition legt nahe, dass das Aufschreiben der Schritte eines Solvers in natürlicher Sprache und das Fine-Tuning eines Modells auf diesen Schritten das Modell dazu befähigen sollte, das logische Schließen zu reproduzieren.

Der Autor stellt diese Intuition mithilfe eines kontrollierten Benchmarks aus neun Reasoning-Aufgaben in Frage. Der Benchmark besitzt eine einzigartige Eigenschaft: Der verborgene Testdatensatz wird durch dieselben deterministischen Generatoren wie der öffentliche Trainingsdatensatz erzeugt. Dies stellt sicher, dass ein zurückgehaltener Teil der Trainingsdaten ein getreuer Stellvertreter für die Testgenauigkeit ist, was es dem Autor ermöglicht, die „Lernbarkeitsschere“ zwischen einem perfekten symbolischen Solver und einem feinabgestimmten Modell zu messen, ohne Zugriff auf externe Test-Labels zu haben.

Die Kernfrage ist, ob die Abdeckung eines verifizierbaren Solvers die Genauigkeit eines Modells vorhersagt, das versucht, das Verfahren mittels CoT zu erlernen. Die Studie konzentriert sich spezifisch auf Aufgaben, bei denen die Lösung eine Suche erfordert (z. B. Backtracking), im Gegensatz zu Aufgaben, die vorwärts-berechenbar sind (z. B. Arithmetik, Umrechnung).

Methodik

Die Forschung verwendet eine rigorose, instrumentierte Pipeline, um Lernbarkeit von Datenrauschen oder architektonischen Einschränkungen zu isolieren:

Benchmark-Konstruktion: Neun Aufgabenkategorien wurden definiert, darunter römische Ziffern, Einheitenumrechnung, freier Fall in der Physik, monoalphabetische Substitutionschiffren, 8-Bit-Boolean-Regelinduktion, Gleichungsinduktion und zwei Familien von Kryptarithmen (deduzieren und raten).
Solver-Reverse-Engineering: Der Autor hat die deterministischen Generatoren in Python-Solver zurückentwickelt. Fünf Aufgaben lieferten Solver mit einer Genauigkeit von $\ge$ 98 %. Die Kryptarithm-Aufgabe wurde über einen Backtracking-Such-Solver gelöst, der eine Genauigkeit von ~71 % erreichte (der Rest ist informationstheoretisch mehrdeutig).
Synthetische CoT-Generierung: Die Solver wurden so instrumentiert, dass sie ihre eigenen Schritte im nativen ASCII-Stil des Basismodells narrieren. Eine kritische Disziplin wurde erzwungen: Jedes „Urteil“ (z. B. „diesen Kandidaten verwerfen“) musste bezeugt werden, was bedeutete, dass die Evidenz, die die Entscheidung erzwingt, auf derselben Zeile explizit erneut genannt werden musste.
Trainingsregime:
- Basismodell: Nemotron-3-Nano-30B-A3B (ein hybrides Mamba-2/Mixture-of-Experts-Modell).
- Adapter: Rank- $\le$ 32 LoRA-Adapter, trainiert via Supervised Fine-Tuning (SFT) auf synthetischem CoT.
- Eskalationen: Als SFT stagnierte, wandte der Autor Reinforcement Learning from Verifiable Rewards (RLVR/GRPO) und Self-Taught Reasoner (STaR) Training an, um die eigenen erfolgreichen Rollouts des Modells zu ernten.
Evaluierung: Die Modelle wurden auf gehaltenen realen Trainingszeilen (die als Testset dienten) unter Greedy-Decoding evaluiert. Die Studie beinhaltete auch eine Architekturkontrolle (Test von dichten und MoE-Transformern von 3B bis 671B) sowie eine kausale Intervention (Offenlegung von Teilen des Chiffre-Schlüssels, um die Vorwärts-Ableitbarkeit zu testen).

Zentrale Beiträge und Erkenntnisse

1. Die Lücke zwischen Lösbarkeit und Lernbarkeit

Das Paper quantifiziert eine drastische Divergenz zwischen der Solver-Genauigkeit und der Modell-Genauigkeit.

Vorwärts-berechenbare Aufgaben: Für Aufgaben wie römische Ziffern, Einheitenumrechnung und einfache Chiffren übersetzt sich die Abdeckung des Solvers (nahe 100 %) direkt in eine Modellgenauigkeit ( $\ge$ 0,99).
Such-Aufgaben: Für Kryptarithm erreicht der Solver ~71 % Genauigkeit, aber das feinabgestimmte Modell deckelt bei 0,01–0,07, unabhängig von der Trainingsmethode (SFT, RLVR, STaR) oder dem CoT-Design (11 verschiedene Designs getestet).
Bit-Manipulation: Diese Aufgabe liegt dazwischen. Der Solver erreicht 98,9 %, aber das Modell erreicht nur 0,678. Die Lücke wird teilweise durch STaR geschlossen, was es dem Modell ermöglicht, seine eigenen erfolgreichen Suchen zu imitieren, was darauf hindeutet, dass das Modell eine Suche lernen kann, wenn es die Suche selbst innerhalb des Kontextfensters ausführen kann.

2. Der Fehlmechanismus: „Verdict-as-Token“

Das Paper identifiziert einen spezifischen Fehlermodus in Suchaufgaben namens „Verdict-as-Token“ (Urteil als Token).

Beobachtung: In Kryptarithm-Traces führt das Modell die Arithmetik in 97–100 % der Zeilen korrekt aus. Das Urteil (die Schlussfolgerung, dass ein Kandidat ungültig ist) ist jedoch oft von der Evidenz auf dieser Zeile entkoppelt.
Mechanismus: Unter Teacher Forcing lernt das Modell, eine feste Phrase auszugeben (z. B. „keine Übereinstimmung $\to$ verwerfen“), weil diese während des Trainings immer in einem korrekten Kontext erscheint. Bei der Inferenz (Free-Running) feuert diese Phrase bedingungslos ab, selbst wenn die Arithmetik auf der Zeile dem widerspricht.
Evidenz: Ein Fidelity-Audit pro Zeile zeigte, dass während die Korrektheit der Arithmetik nahezu perfekt war, die logische Treue des Urteils (folgt die Schlussfolgerung aus den Zahlen?) nur bei 16–57 % lag.

3. Architekturunabhängigkeit und Vorwärts-Ableitbarkeit

Der Fehler ist nicht spezifisch für die hybride Mamba-2/MoE-Architektur.

Architekturkontrolle: Das Training desselben Kryptarithm-Korpus auf dichten Transformern (Llama-3.2-3B, Qwen3.5-4B) und MoE-Transformern (gpt-oss-20b) führte zum gleichen Genauigkeits-Floor von $\le$ 0,04.
Kausale Intervention: Die Offenlegung des vollständigen Chiffre-Schlüssels (Umwandlung der Aufgabe von Suche zu Vorwärts-Lookup) hob die Genauigkeit des Modells von 0,03 auf 0,571. Die Offenlegung nur der Hälfte des Schlüssels half kaum.
Fazit: Die bindende Einschränkung ist die Vorwärts-Ableitbarkeit. Eine Aufgabe, deren einzige ehrliche Lösung ein Backtracking-Search über informationsfreie Strukturen ist, lässt keinen treuen Vorwärts-CoT zu. Oh[ne einen Vorwärts-Trace zum Imitieren lernt SFT nur die Oberflächenform der Suche, nicht deren Logik.

4. Der Ausweg: Memorierung, nicht Suche

Das Paper zeigt, dass die Aufgabe lernbar ist, aber nicht durch die Destillation des Suchprozesses.

Die 1.-Platz-Lösung: Der Wettbewerbssieger (Private LB 0,92) hat das Modell nicht das Suchen gelehrt. Stattdessen hat er den kombinatorischen Kern der Suche (einen Katalog von 4.205 Kandidaten-Signaturen für Kryptarithm) vorberechnet und das Modell darauf trainiert, diesen zu memorieren. Der CoT des Modells reduzierte sich dann auf Recall (Abruf aus dem Katalog) plus begrenzte Verifikation.
Implikation: Was destilliert wird, ist Memorierung und Verifikation, nicht die Suche selbst. Eine verifizierbare Suche ist nur dann als CoT lernbar, wenn ihr Kandidaten-Struktur in einen endlichen Katalog komprimiert werden kann, der klein genug ist, um memoriert zu werden.

Bedeutung und Behauptungen

Der primäre Beitrag des Papers ist ein negatives Resultat mit konvergenter Evidenz: Eine verifizierbare Suche ist kein lernbarer Chain-of-Thought.

Widerlegung der Intuition: Die Annahme, dass „jede lösbare Aufgabe via CoT lernbar ist“, scheitert bei Verfahren, die Backtracking über informationsfreie Strukturen erfordern.
Identifizierung des Mechanismus: Das Paper isoliert „Verdict-as-Token“ als den spezifischen Fehlermodus, bei dem SFT die Form eines Reasoning-Schritts von seinem logischen Inhalt entkoppelt, was zu ungetreuen Traces führt, die bei der Inferenz kollabieren.
Prädiktive Heuristik: Der Autor schlägt einen Pre-Training-Test für die Lernbarkeit vor: Deckt ein rein vorwärtsgerichteter Abschluss (oh-ne Backtracking) einen signifikanten Teil der Instanzen ab? Wenn nicht, wird die Aufgabe der CoT-Destillation wahrscheinlich widerstehen.
Distinktion: Das Paper unterscheidet zwischen Lösbarkeit (eine Antwort existiert) und Lernbarkeit (ein Modell kann sich den Weg dorthin durchschließen). Die Solver-Abdeckung sagt die Modellgenauigkeit nur voraus, wenn der Solver eine Vorwärts-Abbildung ist; für Suchverfahren sagt sie fast gar nichts aus.

Der Autor stellt explizit klar, dass der Beitrag nicht eine neue Modell-Fähigkeit oder ein Wettbewerbsranking ist (sein bester Score war 0,85, der Median des Feldes), sondern ein „sauberer, instrumentierter Bericht darüber, warum und wo eine verifizierbare Suche als Modell-Reasoning versagt“. Die Ergebnisse legen nahe, dass für komplexe Suchaufgaben der Weg zu hoher Performance darin besteht, die Aufgabe so umzuformulieren, dass Memorierung von Berechnung getrennt wird, anstatt zu versuchen, den Suchprozess selbst zu destillieren.