Technische Samenvatting: CopT: Contrastief On-Policy Denken met Continue Ruimtes voor Algemene en Agentische Redenering

Probleemstelling

Chain-of-Thought (CoT) prompting is de standaard geworden om redeneervermogens bij Large Language Models (LLMs) op te wekken. Het heersende CoT-paradigma behandelt denken echter als een strikte voorwaarde voor het beantwoorden, waardoor modellen gedwongen worden om een volledig redeneerspore te genereren voordat ze een definitief antwoord produceren. Recente waarnemingen geven aan dat LLMs vaak "performatief redeneren" vertonen, waarbij ze redeneerstappen blijven genereren zelfs nadat ze intern een plausibel antwoord hebben geïdentificeerd. Dit gedrag vertraagt de toegang tot correcte antwoorden en veroorzaakt onnodige tokenkosten. Bovendien offeren bestaande methoden die continue embeddings gebruiken (Latent CoT) vaak de leesbaarheid van expliciete redenering op, of introduceren ze problemen zoals onbekende representaties en afdrijven naar ruis wanneer ze direct voor generatie worden gebruikt.

Methodologie: CopT

De auteurs stellen CopT (Contrastive On-Policy Thinking) voor, een trainingsvrije redeneringspijplijn die de standaard volgorde van bewerkingen omkeert: Eerst Antwoorden, Dan Denken. De methodologie bestaat uit twee hoofdfasen en een nieuw contrastief verificatiemechanisme.

1. Omgekeerde Redeneringspijplijn

• Elicitatie van Conceptantwoord: In plaats van eerst te denken, wordt het model gedwongen onmiddellijk een <answer>-token uit te geven en een conceptantwoord ($a$) te genereren op basis van de invoervraag ($q$).
• On-Policy Denken: Als het conceptantwoord onbetrouwbaar wordt geacht, triggert het model een daaropvolgende denkfase die is gekoppeld aan het conceptantwoord. Dit maakt reflectie en correctie mogelijk alleen wanneer dat nodig is.

2. Contrastieve Betrouwbaarheidsschatting

Om te bepalen of een conceptantwoord vertrouwd moet worden of dat verder denken vereist is, introduceert CopT een genormaliseerde schatter voor omgekeerde KL op sequentieniveau ($\kappa$). Dit mechanisme maakt gebruik van continue embeddings als verifiers tijdens de inferentie, zonder ze te gebruiken voor generatie.

• Discrete versus Continue Invoeren: Tijdens de generatie cacheert het model twee representaties voor elke stap:
  1. Discrete Prefix: De standaardkans $p_t$ van het gekozen token gegeven de discrete tokengeschiedenis.
  2. Continue Prefix: Een continue embedding $e_t$ berekend als het kans-gewogen gemiddelde van alle vocabulaire-embeddings, waarbij onzekerheidsinformatie behouden blijft.
• De Schatter: Na het genereren van een concept van lengte $T_a$, vergelijkt het model de kans van de gegenereerde tokens onder de discrete prefix ($p_\theta(a_t | q, a_{<t})$) met de kans onder de continue prefix ($p_\theta(a_t | q, e_{<t})$).
  $$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$$
• Interpretatie: Een hoge $\kappa_a$ geeft aan dat het antwoord aanzienlijk minder ondersteund wordt wanneer onzekerheidsinformatie (continue embeddings) in overweging wordt genomen, wat suggereert dat het concept onbetrouwbaar is. Als $\kappa_a$ een drempel $\tau_a$ overschrijdt, gaat het model de on-policy denkfase in.

3. Dynamische Zichtbaarheidscontrole

Tijdens de on-policy denkfase kan het conceptantwoord nog steeds nuttige gedeeltelijke informatie bevatten, maar kan het het model ook misleiden als het fundamenteel gebrekkig is. CopT lost dit op door de zichtbaarheid van het conceptantwoord tijdens daaropvolgende denkbrokken dynamisch te controleren.

• De denktrajectie wordt opgedeeld in brokken.
• Voor elk brok wordt een tweede KL-schatter ($\kappa_r$) berekend om de stabiliteit van het huidige denkproces te beoordelen.
• Als $\kappa_r$ instabiliteit aangeeft (hoge discrepantie), wordt het conceptantwoord verborgen ($m_k=0$) voor het volgende brok om te voorkomen dat het model wordt misleid. Als het stabiel is, blijft het conceptantwoord zichtbaar ($m_k=1$).

4. Theoretische Fundamenten

Het artikel biedt een theoretische analyse die aantoont dat onder een "mixture-linear"-aanneming de verwachte waarde van de omgekeerde KL-schatter gelijk is aan de mutuele informatie $I(S; A)$ tussen de onopgeloste latente redeneertoestand $S$ en het uitgezonden antwoordtoken $A$. Dit bewijst dat de schatter antwoordrelevante onzekerheid meet in plaats van willekeurige onzekerheid in de latente toestand. Bijgevolg neemt de score alleen toe wanneer de onzekerheid die in continue embeddings is behouden, daadwerkelijk de ondersteuning van het model voor de gegenereerde tokens verandert.

Belangrijkste Bijdragen

1. Omgekeerd Paradigma: Stelt een trainingsvrije pijplijn voor waarbij LLMs eerst een conceptantwoord genereren en alleen on-policy denken inroepen wanneer het concept onbetrouwbaar wordt geacht, wat vroegere toegang tot antwoorden en selectieve correctie mogelijk maakt.
2. Contrastieve Verificatie: Introduceert een mechanisme dat continue embeddings (voorheen gebruikt voor generatie in Latent CoT) herformuleert als verifiers tijdens de inferentie. Door discrete en continue invoeren te contrasten, schat het de betrouwbaarheid van het concept en moduleert het de zichtbaarheid van het concept zonder de leesbaarheid van expliciete CoT op te offeren.
3. Theoretisch Inzicht: Demonstreert dat de voorgestelde schatter mutuele informatie meet tussen latente toestanden en antwoorden, wat verklaart waarom het effectief antwoordrelevante onzekerheid vastlegt.
4. Empirische Validatie: Valideert de methode uitgebreid op wiskunde-, coderings- en agentische redeneringstaken, waarbij consistente winsten worden aangetoond ten opzichte van standaard CoT-baselines.

Experimentele Resultaten

De auteurs hebben CopT geëvalueerd op Qwen3- en Qwen3.5-modellen (schaal 2B, 8B en 35B) over 10 benchmarks, waaronder GSM8K, Math500, AIME, HumanEval, LeetCode-Contest en agentische benchmarks (BFCL v4, ZebraArena).

• Nauwkeurigheid en Efficiëntie: CopT verbetert de pieknauwkeurigheid met tot 23% (bijvoorbeeld op de grote split van ZebraArena) en vermindert het tokengebruik met tot 57% bij vergelijkbare of hogere nauwkeurigheidsniveaus in vergelijking met standaard CoT.
• Wiskunde en Codering: Op GSM8K behaalde CopT een nauwkeurigheidswinst van +0,23% met een reductie van 55,1% in tokens. Op uitdagende AIME-benchmarks verbeterde het de nauwkeurigheid met +3,34% (AIME24) en +2,92% (AIME25).
• Agentische Redenering: Bij multi-turn agentische taken (ZebraArena) verbeterde CopT de nauwkeurigheid met +23,03% op de grote split, terwijl het tokengebruik met 19,6% werd gereduceerd.
• Vergelijking met Latente Methoden: In tegenstelling tot trainingsvrije methoden die continue embeddings gebruiken voor generatie (bijvoorbeeld Soft-Thinking, SwiReasoning), behoudt CopT volledig expliciete, leesbare redenering terwijl het hogere nauwkeurigheid bereikt met minder tokens.
• Latentie: De tokenbesparingen vertalen zich direct in latentiereducties, waarbij CopT de gemiddelde latentie per steekproef met tot 69% vermindert op HumanEval.

Betekenis en Beweringen

Het artikel beweert dat CopT een praktische weg biedt naar kosteneffectiever LLM-redeneren tijdens de inferentie zonder extra training te vereisen. Door de volgorde van denken en antwoorden om te keren en continue embeddings te gebruiken als contrastieve verifiers, slaagt CopT erin de afweging tussen nauwkeurigheid, efficiëntie en redeneertransparantie in evenwicht te brengen. De auteurs benadrukken dat deze aanpak de valkuilen van directe continue generatie (zoals de-diversificatie en ruis) vermijdt, terwijl het gebruik maakt van de onzekerheidsinformatie die inherent is aan continue ruimtes om slimmere beslissingen te nemen over wanneer te denken en wanneer te stoppen. De methode wordt gepresenteerd als een generaliseerbaar raamwerk dat toepasbaar is op verschillende modelarchitecturen en redeneringsdomeinen.