💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT ist ein trainingsfreies Schlussfolgerungsframework, das das Standardparadigma der Chain-of-Thought umkehrt, indem es zunächst eine Entwurfslösung generiert und dann kontinuierlich-räumliche kontrastive Verifizierer einsetzt, um bedarfsgesteuerte on-policy-Reflexion nur bei Bedarf dynamisch auszulösen, wodurch die Genauigkeit erheblich gesteigert und die Token-Kosten bei vielfältigen Schlussfolgerungsaufgaben reduziert werden.

Ursprüngliche Autoren: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein brillanter Detektiv, der versucht, ein Rätsel zu lösen.

Der alte Weg (Chain-of-Thought):
Traditionell verhalten sich Large Language Models (LLMs), wenn sie ein Problem lösen wollen, wie ein Detektiv, der darauf besteht, einen 10-seitigen Polizeibericht zu schreiben, bevor er den Täter nennen darf. Sie denken, denken, denken, schreiben jeden Schritt auf und geben dann die Antwort.

Das Problem: Manchmal weiß der Detektiv die Antwort bereits in der ersten Sekunde. Aber weil die Regeln besagen „zuerst denken", schreiben sie den Bericht trotzdem weiter. Das verschwendet Zeit (Tokens) und Energie, selbst wenn die Antwort offensichtlich war. Dies wird als „performative Reasoning" bezeichnet – Denken nur um des Denkens willen.

Der neue Weg (CopT):
Die Arbeit stellt CopT (Contrastive On-Policy Thinking) vor. Es kehrt das Spiel um. Anstatt vor der Antwort zu denken, verhält sich CopT wie ein Detektiv, der sofort eine Entwurfsantwort herausruft.

Schritt 1: Der Bauchcheck. Das Modell sagt: „Ich denke, die Antwort ist X."
Schritt 2: Der magische Spiegel. Bevor diese Antwort akzeptiert wird, nutzt CopT einen speziellen „magischen Spiegel" (einen kontrastiven Mechanismus), um zu prüfen, ob die Antwort vertrauenswürdig ist.
- Es betrachtet die Antwort aus einer Standardperspektive (diskrete Tokens).
- Es betrachtet die Antwort aus einer „verschwommenen, unsicheren" Perspektive (kontinuierliche Einbettungen, die alle „vielleicht"-Möglichkeiten enthalten, die das Modell in Betracht zog).
- Wenn das Modell zuversichtlich ist, stimmen die beiden Perspektiven perfekt überein. Wenn das Modell ratet oder verwirrt ist, kollidieren die beiden Perspektiven.
Schritt 3: Die Entscheidung.
- Wenn der Spiegel sagt „Sieht gut aus": Der Detektiv akzeptiert die Antwort sofort. Kein Bedarf, den langen Bericht zu schreiben. Ergebnis: Riesige Einsparungen bei Zeit und Geld.
- Wenn der Spiegel sagt „Sieht wackelig aus": Der Detektiv sagt: „Okay, ich muss mehr nachdenken." Aber hier liegt der clevere Teil: Sie vergessen ihren ersten Verdacht nicht einfach. Sie nutzen einen „Sichtbarkeits-Schalter". Sie könnten den wackeligen ersten Verdacht verstecken, wenn er sie verwirrt, oder sichtbar lassen, wenn er ein hilfreicher Hinweis ist, während sie tiefgründig nachdenken, um ihn zu korrigieren.

Die Kernmetapher: Die „verschwommene Linse" vs. die „scharfe Linse"

Um den „magischen Spiegel" (den kontrastiven Verifizierer) zu verstehen, stellen Sie sich vor, Sie betrachten ein Gemälde durch zwei verschiedene Linsen:

Die scharfe Linse (diskreter Input): Sie sehen die endgültigen, scharfen Pinselstriche, die das Modell zu malen entschied. Dies ist die „Entwurfsantwort".
Die verschwommene Linse (kontinuierlicher Input): Sie sehen die gesamte Farbpalette, die das Modell in Betracht zog, bevor es den endgültigen Strich wählte. Dies umfasst alle „Was-wäre-wenn"-Szenarien und Unsicherheiten.

Wie CopT dies nutzt:
CopT fragt: „Sieht die scharfe Linse genauso aus wie die verschwommene Linse?"

Ja: Das Modell war sicher. Die Antwort ist wahrscheinlich korrekt. Denken Sie nicht weiter, sparen Sie Tokens.
Nein: Die verschwommene Linse zeigt, dass das Modell tatsächlich sehr verwirrt war oder viele verschiedene Möglichkeiten in Betracht zog, obwohl es eine bestimmte Farbe wählte. Die Antwort ist wahrscheinlich falsch. Beginnen Sie mit dem Denken (on-policy thinking), um es zu korrigieren.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, diese Methode sei ein Game-Changer, da sie das Modell daran hindert, unnötiges Denken zu „performen".

Geschwindigkeit & Kosten: Bei einfachen Problemen, bei denen das Modell die Antwort sofort kennt, überspringt CopT den langen Denkprozess vollständig. Die Arbeit zeigt, dass dies die „Kosten" (Anzahl der generierten Wörter/Tokens) in einigen Fällen um fast die Hälfte senkt.
Intelligenteres Denken: Bei schwierigen Problemen, bei denen die erste Vermutung falsch ist, gibt CopT nicht einfach auf. Es nutzt den „magischen Spiegel", um zu erkennen: „Warte, ich bin verwirrt", und beginnt dann nur dann mit tiefgründigem Denken, wenn es notwendig ist.
Kein Training erforderlich: Dies ist kein neues Modell, das jahrelanges Training benötigt. Es ist eine neue Art, bestehende Modelle zu nutzen. Es ist, als würde man einem klugen Detektiv einen neuen Satz Regeln geben, anstatt ihm eine neue Sprache beizubringen.

Der „Sichtbarkeits-Schalter"

Wenn das Modell erkennt, dass es mehr nachdenken muss, muss es entscheiden, ob es seinen ersten (möglicherweise falschen) Verdacht weiter betrachtet.

Wenn der Denkprozess chaotisch wird, kann CopT den ersten Verdacht verstecken, damit das Modell nicht durch seinen eigenen Fehler verwirrt wird.
Wenn der erste Verdacht einen guten Hinweis enthält, zeigt CopT ihn, um die Korrektur zu unterstützen.
Dies wird durch einen zweiten „magischen Spiegel"-Check während des Denkprozesses gesteuert.

Zusammenfassung

CopT ist eine intelligentere Art, KI-Reasoning zu nutzen. Anstatt die KI zu zwingen, lange zu denken, bevor sie spricht, lässt CopT die KI zuerst sprechen, prüft mit einem speziellen „Unsicherheits-Detektor", ob diese Aussage vertrauenswürdig ist, und zwingt sie nur dann zum tiefgründigen Denken, wenn der Detektor sagt: „Hey, das sieht nicht richtig aus." Dies macht KI schneller, günstiger und bei schwierigen Problemen genauso intelligent (oder intelligenter).

Technischer Überblick: CopT: Kontrastives On-Policy-Denken mit kontinuierlichen Räumen für allgemeines und agentisches Reasoning

Problemstellung

Chain-of-Thought (CoT)-Prompting hat sich zum Standard für die Auslösung von Reasoning-Fähigkeiten in Large Language Models (LLMs) entwickelt. Das vorherrschende CoT-Paradigma behandelt Denken jedoch als strikte Voraussetzung für die Beantwortung und zwingt Modelle dazu, einen vollständigen Reasoning-Pfad zu generieren, bevor sie eine endgültige Antwort produzieren. Neuere Beobachtungen deuten darauf hin, dass LLMs oft „performative Reasoning"-Verhalten zeigen, bei dem sie weiterhin Reasoning-Schritte generieren, selbst nachdem sie intern eine plausible Antwort identifiziert haben. Dieses Verhalten verzögert den Zugriff auf korrekte Antworten und verursacht unnötige Token-Kosten. Darüber hinaus opfern bestehende Methoden, die kontinuierliche Embeddings nutzen (Latent CoT), häufig die Lesbarkeit expliziten Reasonings oder führen zu Problemen wie nicht gesehenen Repräsentationen und Abdrift in Rauschen, wenn sie direkt zur Generierung verwendet werden.

Methodik: CopT

Die Autoren schlagen CopT (Contrastive On-Policy Thinking) vor, eine trainingsfreie Reasoning-Pipeline, die die Standardreihenfolge der Operationen umkehrt: Zuerst Antwort, dann Denken. Die Methodik besteht aus zwei Hauptphasen und einem neuartigen kontrastiven Verifikationsmechanismus.

1. Umgekehrte Reasoning-Pipeline

Entwurf-Antwort-Elicitation: Anstatt zuerst zu denken, wird das Modell gezwungen, sofort einen <answer>-Token auszugeben und eine Entwurf-Antwort ( $a$ ) basierend auf der Eingabe-Frage ( $q$ ) zu generieren.
On-Policy-Denken: Wird die Entwurf-Antwort als unzuverlässig eingestuft, löst das Modell eine nachfolgende Denkphase aus, die auf dem Entwurf konditioniert ist. Dies ermöglicht Reflexion und Korrektur nur bei Bedarf.

2. Kontrastive Zuverlässigkeitsschätzung

Um zu bestimmen, ob einer Entwurf-Antwort vertraut werden sollte oder ob weiteres Denken erforderlich ist, führt CopT einen normalisierten Reverse-KL-Schätzer auf Sequenzebene ( $\kappa$ ) ein. Dieser Mechanismus nutzt kontinuierliche Embeddings als Verifizierer zur Inferenzzeit, ohne sie zur Generierung zu verwenden.

Diskrete vs. kontinuierliche Eingaben: Während der Generierung cacht das Modell zwei Repräsentationen für jeden Schritt:
1. Diskreter Prefix: Die Standardwahrscheinlichkeit $p_t$ des gewählten Tokens gegeben die diskrete Token-Historie.
2. Kontinuierlicher Prefix: Ein kontinuierliches Embedding $e_t$ , berechnet als gewichteter Durchschnitt aller Vokabular-Embeddings nach Wahrscheinlichkeit, der Unsicherheitsinformationen bewahrt.
Der Schätzer: Nach der Generierung eines Entwurfs der Länge $T_a$ vergleicht das Modell die Wahrscheinlichkeit der generierten Tokens unter dem diskreten Prefix ( $p_\theta(a_t | q, a_{<t})$ ) mit der Wahrscheinlichkeit unter dem kontinuierlichen Prefix ( $p_\theta(a_t | q, e_{<t})$ ).
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
Interpretation: Ein hohes $\kappa_a$ zeigt an, dass die Antwort signifikant weniger unterstützt wird, wenn Unsicherheitsinformationen (kontinuierliche Embeddings) berücksichtigt werden, was darauf hindeutet, dass der Entwurf unzuverlässig ist. Wenn $\kappa_a$ einen Schwellenwert $\tau_a$ überschreitet, tritt das Modell in die On-Policy-Denkphase ein.

3. Dynamische Sichtbarkeitskontrolle

Während der On-Policy-Denkphase kann die Entwurf-Antwort zwar noch nützliche partielle Informationen enthalten, aber auch das Modell irreführen, wenn sie grundlegend fehlerhaft ist. CopT adressiert dies durch die dynamische Kontrolle der Sichtbarkeit der Entwurf-Antwort während nachfolgender Denk-Chunks.

Die Denk-Trajektorie wird in Chunks partitioniert.
Für jeden Chunk wird ein zweiter KL-Schätzer ( $\kappa_r$ ) berechnet, um die Stabilität des aktuellen Denkprozesses zu bewerten.
Zeigt $\kappa_r$ Instabilität (hohe Diskrepanz), wird die Entwurf-Antwort für den nächsten Chunk ausgeblendet ( $m_k=0$ ), um zu verhindern, dass das Modell irreführt wird. Ist der Prozess stabil, bleibt die Entwurf-Antwort sichtbar ( $m_k=1$ ).

4. Theoretische Grundlage

Die Arbeit liefert eine theoretische Analyse, die zeigt, dass unter einer „mixture-linear"-Annahme der Erwartungswert des Reverse-KL-Schätzers der gegenseitigen Information $I(S; A)$ zwischen dem ungelösten latenten Reasoning-Zustand $S$ und dem emittierten Antwort-Token $A$ entspricht. Dies beweist, dass der Schätzer antwortrelevante Unsicherheit misst und nicht willkürliche Unsicherheit im latenten Zustand. Folglich steigt der Score nur dann an, wenn die in kontinuierlichen Embeddings bewahrte Unsicherheit tatsächlich die Unterstützung des Modells für die generierten Tokens verändert.

Hauptbeiträge

Umgekehrtes Paradigma: Vorschlag einer trainingsfreien Pipeline, bei der LLMs zuerst eine Entwurf-Antwort generieren und On-Policy-Denken nur dann aufrufen, wenn der Entwurf als unzuverlässig eingestuft wird, was einen früheren Zugriff auf Antworten und selektive Korrektur ermöglicht.
Kontrastive Verifikation: Einführung eines Mechanismus, der kontinuierliche Embeddings (die zuvor in Latent CoT zur Generierung verwendet wurden) als Verifizierer zur Inferenzzeit neu interpretiert. Durch den Kontrast zwischen diskreten und kontinuierlichen Eingaben wird die Zuverlässigkeit des Entwurfs geschätzt und die Sichtbarkeit des Entwurfs moduliert, ohne die Lesbarkeit expliziten CoT zu beeinträchtigen.
Theoretische Einsicht: Nachweis, dass der vorgeschlagene Schätzer die gegenseitige Information zwischen latenten Zuständen und Antworten misst, was erklärt, warum er effektiv antwortrelevante Unsicherheit erfasst.
Empirische Validierung: Umfassende Validierung der Methode über Mathematik-, Codierungs- und agentische Reasoning-Aufgaben hinweg, die konsistente Verbesserungen gegenüber Standard-CoT-Baselines zeigt.

Experimentelle Ergebnisse

Die Autoren evaluierten CopT an Qwen3- und Qwen3.5-Modellen (Skalen 2B, 8B und 35B) über 10 Benchmarks hinweg, darunter GSM8K, Math500, AIME, HumanEval, LeetCode-Contest und agentische Benchmarks (BFCL v4, ZebraArena).

Genauigkeit und Effizienz: CopT verbessert die Spitzen-Genauigkeit um bis zu 23% (z. B. auf dem großen Split von ZebraArena) und reduziert den Token-Verbrauch um bis zu 57% bei vergleichbaren oder höheren Genauigkeitsniveaus im Vergleich zum Standard-CoT.
Mathematik & Codierung: Auf GSM8K erzielte CopT einen Genauigkeitsgewinn von +0,23% bei einer Reduktion der Tokens um 55,1%. Auf herausfordernden AIME-Benchmarks verbesserte es die Genauigkeit um +3,34% (AIME24) und +2,92% (AIME25).
Agentisches Reasoning: Bei mehrstufigen agentischen Aufgaben (ZebraArena) verbesserte CopT die Genauigkeit um +23,03% auf dem großen Split bei gleichzeitiger Reduktion des Token-Verbrauchs um 19,6%.
Vergleich mit latenten Methoden: Im Gegensatz zu trainingsfreien Methoden, die kontinuierliche Embeddings zur Generierung verwenden (z. B. Soft-Thinking, SwiReasoning), behält CopT vollständig explizites, lesbares Reasoning bei und erzielt gleichzeitig höhere Genauigkeit mit weniger Tokens.
Latenz: Die Token-Einsparungen führen direkt zu Latenzreduktionen; CopT reduziert die durchschnittliche Latenz pro Probe auf HumanEval um bis zu 69%.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CopT einen praktischen Weg zu kosteneffizienterem LLM-Reasoning zur Inferenzzeit bietet, ohne zusätzliches Training zu erfordern. Durch die Umkehrung der Reihenfolge von Denken und Beantworten sowie die Nutzung kontinuierlicher Embeddings als kontrastive Verifizierer balanciert CopT erfolgreich den Kompromiss zwischen Genauigkeit, Effizienz und Reasoning-Transparenz. Die Autoren betonen, dass dieser Ansatz die Fallstricke der direkten kontinuierlichen Generierung (wie De-Diversifizierung und Rauschen) vermeidet, während er die in kontinuierlichen Räumen inhärente Unsicherheitsinformation nutzt, um intelligentere Entscheidungen darüber zu treffen, wann gedacht werden soll und wann gestoppt werden muss. Die Methode wird als generalisierbares Framework präsentiert, das auf verschiedene Modellarchitekturen und Reasoning-Domänen anwendbar ist.