💬 NLP

CoT-Space: A Theoretical Framework for Internal Slow-Thinking via Reinforcement Learning

Dieses Paper führt CoT-Space ein, ein theoretisches Framework, das Chain-of-Thought-Reasoning als Optimierungsprozess innerhalb eines kontinuierlichen semantischen Raums modelliert, um die Konvergenz der optimalen Reasoning-Länge als Kompromiss zwischen Underfitting und Overfitting zu erklären und damit eine fundierte Grundlage für Test-Time-Scaling mittels Reinforcement Learning zu bieten.

Ursprüngliche Autoren: Zeyu Gan, Hao Yi, Yong Liu

Veröffentlicht 2026-06-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeyu Gan, Hao Yi, Yong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Warum denken KI-Modelle nicht einfach ewig weiter?

Stellen Sie sich vor, Sie versuchen, eine knifflige Matheaufgabe zu lösen. Sie könnten einen Schritt aufschreiben, das Ergebnis prüfen und aufhören. Oder Sie könnten tausend Schritte aufschreiben und jede einzelne Zahl doppelt prüfen, bis Sie absolut sicher sind.

In der Welt der KI bemerkten Forscher etwas Seltsames. Wenn sie Large Language Models (LLMs) darauf trainieren, intensiver nachzudenken (mittels einer Methode namens Reinforcement Learning), generieren die Modelle nicht einfach immer längere Ketten von Gedankengängen. Stattdessen finden sie ganz natürlich ein bestimmtes „Sweet Spot“-Längenmaß. Wenn sie zu wenig schreiben, bekommen sie die Antwort falsch. Wenn sie zu viel schreiben, sind sie ebenfalls falsch (oder verschwenden Zeit).

Die Arbeit stellt die Frage: Warum findet die KI ganz natürlich diese perfekte Länge und hört genau dort auf?

Das Problem: Wörter zählen vs. Gedanken verstehen

Lange Zeit analysierten Wissenschaftler KI, indem sie sie Wort für Wort (Token für Token) betrachteten. Sie behandelten das Denken der KI wie einen Zug, der von einer Station (Wort) zur nächsten fährt.

Die Autoren sagen, das sei so, als würde man versuchen, eine Galaxie zu verstehen, indem man die einzelnen Sterne zählt. Es ist zu unordentlich und diskret. Stattdessen schlagen sie vor, die Galaxie selbst (den „semantischen Raum“) zu betrachten.

Die alte Sichtweise (Token-Ebene): Stellen Sie sich vor, Sie gehen durch einen Wald, in dem jedes einzelne Blatt ein separater, unterscheidbarer Schritt ist. Es ist schwer, den Pfad zu erkennen.
Die neue Sichtweise (Reasoning-Ebene): Die Autoren zoomen heraus. Sie sagen, dass die KI zwar viele verschiedene Wörter verwendet, um dieselbe Idee auszudrücken (z. B. „berechne die Summe“, „ermittle die Gesamtsumme“, „mache die Rechnung“), aber all diese verschiedenen Wortkombinationen denselben Gedanken repräsentieren.
Die Analogie: Betrachten Sie den Denkraum der KI als einen glatten, kontinuierlichen Hügel. Auch wenn die KI viele verschiedene Wörter schreiben muss (diskrete Schritte), ist die zugrunde liegende Landschaft der Ideen glatt und kontinuierlich, wie eine Rutsche.

Die zentrale Entdeckung: Der „Goldlöckchen“-Kompromiss

Die Arbeit argumentiert, dass die KI die perfekte Denk-Länge findet, weil sie ein klassisches Gleichgewicht zwischen Underfitting und Overfitting herstellt.

1. Underfitting (Zu wenig denken)

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen breiten Fluss durch Sprünge zu überqueren. Wenn Sie nur ein oder zwei kleine Sprünge machen, fallen Sie ins Wasser.
Die Behauptung der Arbeit: Wenn die Kette des logischen Schlussfolgens (Reasoning Chain) zu kurz ist, hat die KI nicht genug „Schritte“ gemacht, um zur Lösung zu gelangen. Es ist, als würde man versuchen, eine kompleuse Matheaufgabe zu lösen, ohne die notwendigen Zwischenrechnungen durchzuführen. Die KI scheitert, weil sie nicht genug gedacht hat.

2. Overfitting (Zu viel denken)

Die Analogie: Stellen Sie sich vor, Sie gehen über denselben Fluss, aber jetzt machen Sie 1.000 winzige, wackelige Schritte. Sie fangen an zu schwanken, lassen sich von jedem Kieselstein verwirren, und Sie könnten versehentlich vom Pfad abkommen, weil Sie jeden einzelnen Schritt zu intensiv analysieren.
Die Behauptung der Arbeit: Wenn die Kette des logischen Schlussfolgens zu lang ist, beginnt die KI, die spezifischen Eigenheiten der Frage auswendig zu lernen, anstatt die allgemeine Logik zu verstehen. Sie wird zu empfindlich gegenüber der exakten Formulierung des Prompts. Dieses übermäßige Nachdenken führt „Rauschen“ und Verwirrung ein. Es ist wie ein Schüler, der die Lösungen eines Übungstests auswendig lernt, aber bei der echten Prüfung scheitert, weil die Fragen leicht anders sind.

Die „Rauschen“-Metapher: Die perfekte Schrittgröße finden

Die Autoren verwenden eine kluge Analogie aus der Physik und dem maschinellen Lernen, die mit Rauschen (Zufälligkeit) zu tun hat.

Das Setup: Stellen Sie sich vor, die KI versucht, den Boden eines Tals zu finden (die korrekte Antwort).
Zu kurz (Geringes Rauschen): Wenn die KI sehr große, selbstbewusste Schritte macht (sehr kurzes Reasoning), könnte sie direkt über den Boden des Tals hinwegspringen und auf der anderen Seite landen, wodurch sie die Lösung verpasst.
Zu lang (Hohes Rauschen): Wenn die KI winzige, zögerliche Schritte macht (sehr langes Reasoning), verirrt sie sich in den Details. Sie beginnt so stark zu zittern und zu schwanken (Rauschen), dass sie den glatten Pfad nach unten nicht mehr findet.
Der Goldlöckchen-Punkt: Es gibt eine „Goldlöckchen“-Menge an Denk-Länge, die genau das richtige Maß an „Rauschen“ bietet, um der KI zu helfen, das Tal zu erkunden, ohne sich zu verirren oder das Ziel zu überspringen.

Was die Experimente zeigten

Die Forscher testeten diese Theorie mit echten KI-Modellen und fanden vier wesentliche Dinge heraus:

Schwierigere Probleme erfordern längere Pfade: Genau wie ein schwieriges Puzzle mehr Teile benötigt, zwangen schwierigere Matheaufgaben die KI dazu, natürlich längere Ketten von Gedanken zu generieren, um „Underfitting“ zu vermeiden.
Klügere Modelle brauchen kürzere Pfade: Überraschenderweise wählten größere, leistungsfähere Modelle tatsächlich kürzere Ketten des logischen Schlussfolgerns. Warum? Weil sie so gut im Lernen sind, dass sie nicht übermäßig erklären müssen. Wenn sie zu viel denken, beginnen sie, die spezifische Frage auswendig zu lernen (Overfitting). Sie müssen früher aufhören, um „generell“ und robust zu bleiben.
Es spielt keine Rolle, wie man sie trainiert: Unabhängig davon, welche Trainingsalgorithmen (wie verschiedene Arten von Reinforcement Learning) verwendet wurden, konvergierte die KI immer zur gleichen „optimalen Länge“ für ein gegebenes Problem. Die Länge ist eine Eigenschaft des Problems und des Modells, nicht der Trainingsmethode.
Mehr Rauschen = Kürzere Pfade: Wenn die Trainingsumgebung „rauschiger“ (zufälliger) war, lernte die KI, kürzere, robustere Pfade zu nehmen, um nicht verwirrt zu werden.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass die „Konvergenz“ der Denk-Länge kein Fehler ist, sondern ein Merkmal. Es ist das natürliche Ergebnis des Versuchs der KI, das Gleichgewicht zwischen genug Arbeit leisten, um das Problem zu lösen (Vermeidung von Underfitting) und nicht so viel Arbeit leisten, dass man verwirrt wird oder die falschen Dinge auswendig lernt (Vermeidung von Overfitting) zu finden.

Indem sie das logische Schließen der KI als eine glatte, kontinuierliche Reise statt als eine abgehackte Liste von Wörtern betrachten, zeigen die Autoren, dass diese Modelle tatsächlich denselben grundlegenden Regeln des Lernens folgen, denen Menschen und klassische Maschinen seit Jahrzehnten folgen. Sie finden einfach nur die perfekte „Goldlöckchen“-Länge zum Nachdenken.

Technisches Resümee: Warum konvergiert die Länge des Schlussfolgerns? Aufdeckung des Underfitting-Overfitting-Trade-offs in der Chain-of-Thought

Problemstellung

Jüngste Fortschritte bei Large Language Models (LLMs), insbesondere solchen, die Reinforcement Learning (RL) für das „Test-Time Scaling“ nutzen (z. B. DeepSeek-R1, OpenAI o1), haben gezeigt, dass Modelle autonom optimale Chain-of-Thought (CoT)-Schlussfolgerungsstrategien entdecken können. Empirisch konvergieren diese Modelle während des Trainings zu einer spezifischen, optimalen Schlussfolgerungslänge ( $L_{opt}$ ). Es besteht jedoch eine signifikante theoretische Lücke: Die traditionelle Analyse auf Token-Ebene, welche das Schlussfolgern als diskreten Markov-Entscheidungsprozess (MDP) über einen spärlichen Zustandsraum modelliert, erfasst nicht die makroskopischen Dynamiken des Reasoning-Level-Scalings. Infolgedessen fehlt für das Phänomen des „Overthinking“ (bei dem Modelle zu einer spezifischen Länge konvergieren, anstatt unendlich zu wachsen) eine klare mechanistische Erklärung, die in der klassischen Lerntheorie verwurzelt ist.

Methodik: Das CoT-Space-Framework

Um die Lücke zwischen diskreter Token-Generierung und kontinuierlicher Lerntheorie zu schließen, führen die Autoren CoT-Space ein, ein neuartiges theoretisches Framework, das den Schlussfolgerungsprozess als Optimierungsproblem innerhalb eines kontinuierlichen, auf der Ebene der Schlussfolgerung liegenden semantischen Räums umformt.

1. Von der Token-Ebene zur Schlussfolgerungs-Ebene

Die Autoren argumentieren, dass die Modellierung von CoT auf der Token-Ebene nicht mit der Natur des Schlussfolgerns übereinstimmt, bei dem Aktionen abstrakte Gedanken und nicht einzelne Tokens sind. Sie schlagen eine „Zoom-out“-Perspektive vor:

Semantische Äquivalenz: Mehrere unterschiedliche Token-Sequenzen können denselben abstrakten Schlussfolgerungsschritt realisieren.
Kontinuums-Approximation: Wenn das Reasoning-Token-Budget ( $K$ ) steigt, wächst die Dichte semantisch äquivalenter Zustände exponentiell (Annahme 2.9). Dies ermöglicht es, den diskreten Zustandraum des Schlussfolgerns als eine kontinuierliche Mannigfaltigkeit ( $\tilde{S}$ ) zu approximieren.
Formalisierung: Das Framework definiert Schlussfolgerungszustände ( $s_o$ ), erreichbare Minima (erfolgreiche Lösungen) und eine Schlussfolgerungs-Loss-Funktion ( $C$ ), welche die Distanz zum nächstgelegenen optimalen Zustand quantifiziert.

2. Theoretische Analyse der Konvergenz

Unter Verwendung der Perspektive der kontinuierlichen Mannigfaltigkeit analysieren die Autoren die Konvergenz der CoT-Länge durch zwei Linsen: Optimierungsrauschen und Reasoning-Risiko.

Rausch-Perspektive (Optimierungsdrift):
Die Autoren modellieren die CoT-Generierung als stochastische Differentialgleichung (SDE) auf der semantischen Mannigfaltigkeit. Sie leiten eine Beziehung ab, bei der die Skala des Optimierungsrauschens ( $\sigma$ ) invers proportional zur Schlussfolgerungslänge ( $L$ ) ist ( $\sigma \propto 1/L$ ).
- Kurze CoT: Hohe Rauschskala, was zu instabilen Trajektorien führt, die möglicherweise nicht konvergieren (Underfitting).
- Lange CoT: Niedrige Rauschskala, was zu Trajektorien führt, die zu starr und anfällig für das Overfitting spezifischer Prompt-Muster sind.
Risiko-Perspektive (Generalisierungs-Bound):
Die Autoren leiten eine informations-theoretische Generalisierungs-Schranke für das erwartete Populationsrisiko ( $R_{pop}$ ) ab. Die Schranke besteht aus zwei konkurrierenden Termen:
1. Optimierungsdrift (Underfitting-Regime): Proportional zu $L\sigma^2$ (oder $1/L$ ). Dies stellt die Abweichung vom optimalen Pfad aufgrund übermäßigen Rauschens dar.
2. Informationskomplexität (Overfitting-Regime):: Proportional zu $\sqrt{L \log L}$ . Dies repräsentiert die gegenseitige Information zwischen dem Schlussfolgerungspfad und dem Input, die mit der Länge zunimmt, was zu einer Memorierung prompt-spezifischer Abkürzungen und schlechter Generalisierung führt.

Die Konvergenz zu einem optimalen $L_{opt}$ wird als das natürliche Resultat der Minimierung der Summe dieser beiden Terme gezeigt, was effektiv den Trade-off zwischen Underfitting und Overfitting ausbalanciert.

Zentrale Beiträge

CoT-Space Framework: Eine theoretische Brücke, die diskretes LLM-Schlussfolgern mit kontinuierlicher klassischer Lerntheorie verbindet, indem sie einen auf der Ebene der Schlussfolgerung liegenden Zustandsraum definiert, der zu einer kontinuierlichen Mannigfaltigkeit konvergiert.
Mechanistische Erklärung von $L_{opt}$ : Ein Beweis, dass die beobachtete Konvergenz der Schlussfolgerungslänge in RL-trainierten Modellen nicht willkürlich ist, sondern eine fundamentale Folge des Underfitting-Overfitting-Trade-offs darstellt.
Theoretische Vorhersagen: Das Framework liefert vier spezifische, testbare Behauptungen bezüglich der Faktoren, die $L_{opt}$ $L_{o pt}$ steuern:
- Aufgabenkomplexität: Komplexere Aufgaben (höherer Glattheitsparameter $\beta$ ) erfordern eine längere $L_{opt}$ , um das Optimierungsrauschen zu reduzieren.
- Modellkapazität: Größere Modelle (höhere Kapazität) sind anfälliger für Overfitting und konvergieren daher zu einer kürzeren $L_{opt}$ , um die notwendige Stochastizität einzuführen.
- Algorithmen-Unabhängigkeit: Die endgültige konvergierte $L_{opt}$ ist eine intrinsische Eigenschaft der Aufgabe und des Modells und weitgehend unabhängig vom spezifischen verwendeten RL-Algorithmus.
- Rausch-Korrelation: Höhere Skalen des Optimierungsrauschens korrelieren mit kürzeren optimalen Schlussfolgerungslängen.

Experimentelle Ergebnisse

Die Autoren validieren ihre theoretischen Behauptungen empirisch unter Verwendung verschiedener RL-Algorithmen (GRPO, PPO, DAPO etc.) auf mathematischen Schlussfolgerungs-Benchmarks (GSM8K, MATH) mit Modellen unterschiedlicher Größe (Qwen, Llama-Serien).

Aufgabenkomplexität: Experimente bestätigen einen monotonen Anstieg von $L_{opt}$ , wenn die Schwierigkeit der Aufgabe zunimmt (von GSM8K zu MATH Level 5).
Modellkapazität: Größere Modelle konvergieren auf denselben Aufgaben konsistent zu kürzeren Schlussfolgerungslängen im Vergleich zu kleineren Modellen, was die Hypothese stützt, dass größere Modelle weniger „Nachdenken“ benötigen, um Overfitting zu vermeiden.
Algorithmen-Agnostik: Verschiedene RL-Algorithmen führen Policies zu ähnlichen finalen $L_{opt}$ -Werten für ein gegebenes Task-Modell-Paar, trotz unterschiedlicher initialer Dynamiken.
Rauschskala: Eine klare inverse Korrelation wird zwischen der Skala des Optimierungsrauschens (proxied durch den KL-Loss) und der konvergierten $L_{opt}$ beobachtet.

Bedeutung und Ansprüche

Das Paper beansprucht, eine fundierte theoretische Basis für das Verständnis des internen Test-Time-Scalings in LLMs zu liefern. Durch die Wiederbelebung grundlegender Prinzipien des klassischen maschinellen Lernens (speziell der Rausch-Analyse und Generalisierungs-Bounds) argumentieren die Autoren, dass diese Theorien nicht obsolet sind, sondern einen Wechsel der analytischen Perspektive (von der Token-Ebene zur Schlussfolgerungs-Ebene) erfordern, um anwendbar zu sein.

Die Bedeutung dieser Arbeit liegt in:

Erklärung von „Overthinking“: Bereitstellung einer mechanistischen Begründung, warum Modelle die Länge des Schlussfolgerns nicht weiter steigern, indem es als notwendiger Trade-off zur Vermeidung von Overfitting gerahmt wird.
Optimierungssteuerung: Angebot einer theoretischen Basis für die Optimierung von Schlussfolgerungspfaden, was nahelegt, dass das Ziel nicht bloß die Maximierung der Länge ist, sondern das Finden der spezifischen $L_{opt}$ , die den Gesamtfehler minimiert.
Vereinigung von Phänomenen: Das Framework wird als konzeptionelles Werkzeug präsentiert, das potenziell andere LLM-Phänomene erklären kann, wie etwa Halluzinationen (gefangen in Phantom-Minima), Prompt-Sensitivität (Instabilität der Landschaft) und emergente Fähigkeiten (topologische Phasenübergänge in der Zustandsdichte), wobei diese als potenzielle Erweiterungen des Frameworks und nicht als primäre experimentelle Validierungen in dieser Arbeit dargestellt werden.

Die Autoren kommen zu dem Schluss, dass CoT-Space einen Weg zur Gestaltung prinzipierterer Algorithmen und zum Aufbau zuverlässigerer KI-Schlussfolgerungssysteme bietet, indem es moderne LLM-Verhaltensweisen mit etablierter Lerntheorie in Einklang bringt.