🤖 machine learning

Transformers Provably Learn to Internalize Chain-of-Thought

Dieser Artikel liefert den ersten theoretischen Beweis, dass ein mehrschichtiger Transformer, der mit einem neuartigen Log-ICoT-Lehrplan trainiert wird, nachweislich $k$ -Parität mit polynomieller Stichprobeneffizienz und logarithmischen Trainingsstufen erlernen kann, wodurch die Stichprobeneffizienz einer expliziten Chain-of-Thought-Argumentation erreicht und gleichzeitig deren Inferenz-Overhead durch internalisierte Zwischenschritte eliminiert wird.

Ursprüngliche Autoren: Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Laut Denken ist langsam

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Mathe-Rätsel zu lösen.

Der alte Weg (Explizite Chain-of-Thought): Sie schreiben jeden einzelnen Schritt auf ein Blatt Papier, um die Antwort zu erhalten. Dies hilft Ihnen, die richtige Antwort zu finden (es ist sehr genau), dauert aber lange, da Sie jeden Schritt aufschreiben müssen, bevor Sie das Endergebnis nennen können. In KI-Terminologie ist dies „explizites Denken", und es macht den Computer langsam und teuer im Betrieb.
Das Ziel: Wir wollen, dass die KI das Denken in ihrem Kopf (in ihren versteckten Zuständen) erledigt, damit sie die Antwort sofort ausspucken kann, ohne die Schritte aufzuschreiben. Dies wird als Implizite Chain-of-Thought (ICoT) bezeichnet.

Die Herausforderung: Wie man der KI beibringt, „lautlos zu denken"

Forscher versuchten, der KI dies beizubringen, indem sie die „Denkschritte" schrittweise aus den Trainingsdaten entfernten.

Die Standardmethode: Stellen Sie sich vor, Sie bringen einem Schüler bei, ein Rätsel zu lösen. Sie beginnen damit, ihm die vollständige Lösung zu zeigen. Dann verbergen Sie einen Schritt. Dann verbergen Sie zwei Schritte. Dann drei. Sie fahren so fort, einen Schritt nach dem anderen, bis er das Ganze in seinem Kopf lösen muss.
Das Problem: Wenn das Rätsel 1.000 Schritte hat, benötigt diese Methode 1.000 Trainingssitzungen. Das ist zu langsam und ineffizient.

Die Lösung: Log-ICoT (Der „geometrische" Abkürzungsweg)

Die Autoren dieses Papiers schlagen einen klügeren Weg vor, um die KI zu trainieren, den sie Log-ICoT nennen.

Anstatt die Schritte einzeln zu verbergen, verbergen sie sie in geometrischen Blöcken (die Menge der verdeckten Schritte wird jedes Mal verdoppelt).

Analogie: Stellen Sie sich vor, Sie bringen einem Schüler bei, eine 16-stufige Leiter zu erklimmen.
- Standardmethode: Sie verdecken Stufe 1, dann Stufe 2, dann Stufe 3 ... bis hinauf zu 16. (16 Trainingssitzungen).
- Log-ICoT-Methode:
  - Sitzung 1: Zeigen Sie alle 16 Schritte.
  - Sitzung 2: Verdecken Sie die unteren 8 Schritte. (Der Schüler muss die untere Hälfte in seinem Kopf herausfinden).
  - Sitzung 3: Verdecken Sie die unteren 12 Schritte.
  - Sitzung 4: Verdecken Sie die unteren 14 Schritte.
  - Sitzung 5: Verdecken Sie die unteren 15 Schritte.
- Ergebnis: Sie benötigten nur 5 Sitzungen (da $2^5 = 32$ , was 16 abdeckt) statt 16. Das Papier beweist mathematisch, dass dieser „geometrische" Ansatz viel schneller ist und genauso effektiv funktioniert.

Das Experiment: Das „Parity"-Spiel

Um zu beweisen, dass dies funktioniert, nutzten die Forscher ein klassisches Logikspiel namens k-Parity.

Das Spiel: Ihnen wird eine Liste von Zahlen (1en und -1en) gegeben. Sie müssen eine geheime Gruppe davon finden und diese miteinander multiplizieren. Wenn das Ergebnis 1 ist, lautet die Antwort „Ja"; wenn -1, lautet die Antwort „Nein".
Warum es schwer ist: Ohne Hilfe ist es für Computer unglaublich schwierig, dies schnell zu lernen. Es ist wie der Versuch, eine Nadel im Heuhaufen zu finden, wobei sich der Heuhaufen ständig in seiner Form verändert.
Die Baumstruktur: Die Forscher erkannten, dass dieses Problem wie ein Stammbaum aussieht. Um das große Problem zu lösen, löst man zuerst zwei kleine Probleme und kombiniert dann ihre Antworten, um das nächste Level nach oben zu lösen, und so weiter.

Wie die KI lernte (Die „Gated"-Architektur)

Das Papier stellt eine spezifische Art vor, die KI (einen Transformer) zu bauen, um dieses Lernen möglich zu machen. Sie verwendeten drei wichtige Tricks:

Die „Gated"-Türen: Stellen Sie sich vor, die KI hat viele Etagen mit Räumen. Normalerweise fließt Information frei, aber manchmal wird sie trüb oder verwirrt (dies wird als „Repräsentationskollaps" bezeichnet). Die Autoren setzten „Tore" in die Türen zwischen den Räumen. Diese Tore sind so voreingestellt, dass sie nur zu bestimmten Zeiten spezifische Informationen durchlassen. Es ist wie ein Sicherheitsbeamter, der nur die „untere Hälfte" des Rätsels in den ersten Raum und die „obere Hälfte" in den zweiten Raum lässt, um zu verhindern, dass die Räume verwirrt werden.
Die „Kausale" Maske: Dies ist eine Regel, die besagt: „Sie können nur auf Informationen aus der Vergangenheit schauen, nicht auf die Zukunft." In ihrem spezifischen Setup passten sie diese Regel so an, dass die KI nur die spezifischen „Kind"-Knoten im Rätselbaum betrachtet, die sie gerade lösen muss, und alles andere ignoriert.
Ganzzahl-Rundung: Nach jedem Trainingsschritt zwangen sie die internen Zahlen der KI, ganze Ganzzahlen zu sein (das Abrunden der Dezimalstellen). Dies wirkt wie eine „Einfrieren"-Taste. Sobald eine Schicht der KI einen Teil des Rätsels gelernt hat, sperrt die Rundung dieses Wissen an Ort und Stelle, damit es nicht durcheinandergebracht wird, wenn die KI den nächsten, schwierigeren Teil lernt.

Die Ergebnisse

Das Papier beweist mathematisch, dass:

Geschwindigkeit: Mit ihrer neuen Log-ICoT-Methode lernt die KI das komplexe Rätsel in einer Anzahl von Schritten, die im Vergleich zur Größe des Rätsels sehr langsam wächst (logarithmisch).
Effizienz: Die KI lernt genauso gut, als wären ihr alle Schritte auf Papier gezeigt worden (Explizite CoT), aber sie lernt, dies in ihrem „Kopf" (versteckte Zustände) zu tun.
Inferenz: Sobald sie trainiert ist, kann die KI das Rätsel sofort in einem einzigen Vorwärtspass lösen, ohne eine lange Liste von Denktokens generieren zu müssen.

Zusammenfassung

Das Papier zeigt, dass wir nicht zwischen „klug aber langsam" (Gedanken aufschreiben) und „schnell aber dumm" (Raten) wählen müssen. Indem wir die KI auf eine spezifische, strukturierte Weise trainieren (Schritte in großen Blöcken statt einzeln verbergen) und eine spezielle „gated"-Architektur verwenden, können wir der KI beibringen, komplexes Denken zu internalisieren. Sie lernt die Logik tief in ihren Schichten, was es ihr ermöglicht, schwierige Probleme schnell zu lösen, ohne die hohen Kosten der Generierung einer langen Gedankenkette.

Technische Zusammenfassung: Transformer lernen nachweislich, Chain-of-Thought zu internalisieren

Problemstellung

Chain-of-Thought (CoT)-Prompting verbessert die Stichprobeneffizienz von Transformern für komplexe Aufgaben wie das $k$ -Paritätslernen erheblich und reduziert die Komplexität von exponentiell auf polynomial in Bezug auf die Eingabelänge. Die explizite Generierung von CoT verursacht jedoch aufgrund der sequenziellen Generierung von Zwischenschritt-Tokens erhebliche Inferenzlatenz und Rechenoverhead. Implicit Chain-of-Thought (ICoT) hat sich als empirische Lösung etabliert, bei der Modelle trainiert werden, Schlussfolgerungsschritte in den versteckten Zuständen zu internalisieren, indem während des Fine-Tunings schrittweise Zwischentokens entfernt werden. Trotz des empirischen Erfolgs bleiben die theoretischen Grundlagen von ICoT unklar: Insbesondere, ob Modelle die Stichprobeneffizienz von explizitem CoT erreichen können, während sie die Inferenzkosten eliminieren, und wie mehrschichtige Architekturen diese Internalisierung ermöglichen.

Methodik

Aufgabenstellung

Die Autoren analysieren das $k$ -Paritätslernproblem, einen kanonischen Testfall für Zwischenaufsicht. Gegeben eine geheime Indexmenge $S \subset [n]$ und Eingabebits $b \in \{\pm 1\}^n$ , ist das Ziel, die Parität $y = \prod_{j \in S} b_j$ vorherzusagen. Ohne Zwischenaufsicht ist diese Aufgabe für Methoden auf Gradientenbasis mit endlicher Präzision, die polynomiale Stichproben verwenden, nachweislich schwer. Die Aufgabe wird in einen hierarchischen binären Baum von Zwei-Paritätsberechnungen mit der Tiefe $L = \log_2 k$ zerlegt.

Modellarchitektur

Die Studie verwendet einen vereinfachten $L$ -schichtigen Transformer mit spezifischen Designentscheidungen, um die theoretische Handhabbarkeit sicherzustellen:

Aufmerksamkeit: Single-Head-Aufmerksamkeit mit einer neu parametrisierten Schlüssel-Abfrage-Matrix $W^{KQ}$ , bei der nur der obere $T \times T$ -Block trainierbar ist.
Kausale Maske: Eine angepasste, niveaubeschränkte kausale Maske stellt sicher, dass Zwischenzustände auf Niveau $\ell$ nur von Tokens aus streng niedrigeren Ebenen des Paritätsbaums abhängen.
Link-Funktion: Eine glatte, symmetrische Funktion $\phi$ (z. B. $-\cos(\pi t)$ ), die $\phi(0)=-1$ , $\phi(\pm 1)=1$ erfüllt und an diesen Punkten verschwindende Ableitungen aufweist, was lokale Taylor-Entwicklungen ermöglicht.
Gesteuerte Verbindungen: Anstelle standardmäßiger Residualverbindungen verwendet das Modell gesteuerte Verbindungen, wobei die Gate-Vektoren $g^{(\ell)}$ durch die Struktur des Paritätsbaums vorgegeben sind. Dies isoliert Gradientensignale auf bestimmte Baumebenen und verhindert einen Zusammenbruch der Repräsentation, bei dem Eingabezustände zu einheitlichen Werten konvergieren.
Quantisierung: Aufmerksamkeitsgewichte werden nach jedem Gradientenupdate auf die nächste ganze Zahl quantisiert, um die Fehlerausbreitung zu kontrollieren und zuvor trainierte Schichten zu „einfrieren".

Trainingscurriculum: Log-ICoT

Die Arbeit stellt Log-ICoT vor, ein Curriculum, das Zwischenschritte von CoT in geometrischen Blöcken entfernt, die den Ebenen des Paritätsbaums entsprechen, und nicht einen Token nach dem anderen (wie beim standardmäßigen ICoT).

Stufe 1: Vollständige CoT-Aufsicht (alle Zwischenknoten sichtbar).
Stufe $t$ ( $2 \le t \le L$ ): Die ersten $k(1 - 2^{-(t-1)})$ Zwischentokens werden durch Padding (Nullen) ersetzt, während Knoten höherer Ebenen sichtbar bleiben.
Stufe $L$ : Alle Zwischentokens werden gepaddet; das Modell muss die endgültige Ausgabe nur unter Verwendung von Eingabebits und internalisierten versteckten Zuständen vorhersagen.
Dies reduziert die Anzahl der Trainingsstufen von linear in $k$ (standardmäßiges ICoT) auf logarithmisch, $L = \log_2 k$ .

Hauptbeiträge

Erste theoretische Analyse von ICoT: Die Arbeit liefert den ersten rigorosen Beweis, dass ICoT die Stichprobeneffizienz von explizitem CoT bewahrt. Sie zeigt, dass ein unter dem Log-ICoT-Curriculum trainierter $L$ -schichtiger Transformer $k$ -Parität mit $\text{poly}(n)$ Stichproben und $\log_2 k$ Trainingsstufen löst.
Log-ICoT-Curriculum: Die Autoren schlagen ein Curriculum vor, das Schlussfolgerungstokens in geometrischen Schritten entfernt. Dies entspricht der rekursiven Struktur des Paritätsbaums, reduziert die Trainingsstufen von $O(k)$ auf $O(\log k)$ und bewahrt gleichzeitig die Inferenzeffizienz (ein einziger Vorwärtsdurchlauf).
Konvergenzgarantie für mehrschichtige Modelle: Satz 1 beweist, dass ein mehrschichtiger Transformer Parität effizient lernen kann, und erweitert damit frühere Garantien für einlagige Modelle. Der Beweis stützt sich auf:
- Gesteuerte Verbindungen: Um einen Zusammenbruch der Repräsentation zu verhindern und Gradientensignale auf bestimmte Baumebenen zu isolieren.
- Ganzzahlige Quantisierung: Um Gewichte trainierter Schichten zu sperren und eine stufenweise Analyse zu ermöglichen, indem vorherige Schichten als fixiert behandelt werden.
- Angepasste kausale Maske: Um sicherzustellen, dass Gradientensignale nur von den korrekten Kindknoten abhängen.
Kontrolle der Fehlerausbreitung: Die Analyse zeigt, dass Approximationsfehler in versteckten Zuständen exponentiell abklingen, wodurch der finale Vorhersagefehler trotz der sequenziellen Natur der Trainingsstufen vernachlässigbar bleibt ( $\exp(-\Omega(n^{\epsilon/16}))$ ).

Ergebnisse

Theoretisch: Der Hauptsatz stellt fest, dass bei einer stufenweisen Batch-Größe $B = \Omega(n^{2+\epsilon})$ das trainierte Modell mit hoher Wahrscheinlichkeit eine nahezu perfekte Genauigkeit auf dem Testset erreicht. Die Stichprobenkomplexität ist polynomial in $n$ und entspricht damit explizitem CoT, während die Inferenz nur einen einzigen Vorwärtsdurchlauf erfordert (im Vergleich zu $O(k)$ sequenziellen Schritten für autoregressives CoT).
Empirisch: Experimente an einem 4-schichtigen Transformer mit $n=30$ $n = 30$ und $k=16$ $k = 16$ ( $L=4$ $L = 4$ ) bestätigen die Theorie.
- Validierungsverlust: Der Verlust sinkt bei jedem Übergang zwischen den Stufen rapide, mit transienten Spitzen, während das Modell neue Ebenen internalisiert, und erreicht schließlich bei allen gepaddeten CoT-Tokens eine Genauigkeit von 100 %.
- Aufmerksamkeitskarten: Die Visualisierung zeigt, dass sich im letzten Stadium die Aufmerksamkeit jeder Schicht scharf auf genau zwei Schlüsselpositionen konzentriert (die Kinder des abgefragten Paritätsknotens), was die theoretische Vorhersage der Softmax-Konzentration bestätigt.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine rigorose theoretische Grundlage für Implicit Chain-of-Thought zu liefern und die Lücke zwischen der Ausdruckskraft expliziten Schlussfolgerns und der Lernbarkeit internalisierten Schlussfolgerns zu schließen. Indem bewiesen wird, dass mehrschichtige Transformer komplexe Schlussfolgerungsprozesse internalisieren können, ohne die Stichprobeneffizienz zu beeinträchtigen, adressiert die Arbeit die hohen Inferenzkosten, die mit explizitem CoT verbunden sind.

Die Autoren betonen, dass ihre Analyse auf spezifischen Architekturvereinfachungen (vorgeschriebene Gates, feste Wertematrizen, ganzzahlige Quantisierung) beruht, um die Dynamik des mehrschichtigen Trainings handhabbar zu machen. Sie erkennen an, dass die Anwendung von Log-ICoT auf praktische Large Language Models (LLMs) ohne die explizite hierarchische Struktur von Paritätsaufgaben eine Herausforderung bleibt und Heuristiken für die Stufeneinteilung des Curriculums erfordert. Die Arbeit positioniert sich als Schritt hin zum Verständnis der Mechanismen von Selbst-Distillation und der Internalisierung von Schlussfolgerungen in tiefen Architekturen.