Technische Samenvatting: Post-Redenering

Probleemstelling

De wijdverbreide adoptie van Large Language Models (LLM's) heeft geleid tot een sterke toename in tokenverbruik, aanzienlijk gedreven door tussentijdse redeneersporen die worden gegenereerd voordat het uiteindelijke antwoord wordt gegeven. Hoewel Chain-of-Thought (CoT)-prompting en modellen met redeneerfunctionaliteit de prestaties op complexe taken verbeteren, brengen ze aanzienlijke inferentielatentie en operationele kosten met zich mee. Bovendien wijzen recente studies erop dat veel real-world taken weinig tot geen expliciete redenering vereisen, en dat overmatige redenering de prestaties soms kan verslechteren. Er is een kritieke behoefte om de prestaties van instructie-gefineerde modellen (die doorgaans directe antwoorden genereren zonder expliciete redeneersporen) te verbeteren, zonder de latentie of tokenkosten te incasseren die geassocieerd zijn met redenering voor het antwoord.

Methodologie

De auteurs stellen Post-Redenering voor, een paradigma dat modellen conditioneert om rechtvaardigingen na het produceren van het uiteindelijke antwoord te genereren. Deze aanpak wordt op twee manieren geïmplementeerd:

1. Prompt-gebaseerde Post-Redenering: Het model wordt via verrijkte prompts geïnstrueerd om "direct het uiteindelijke antwoord te geven en uw antwoord te rechtvaardigen". De generatie wordt onmiddellijk na het token van het uiteindelijke antwoord afgebroken (met behulp van een aangewezen stop-token), wat betekent dat de rechtvaardigingstokens ($c_p$) tijdens inferentie nooit worden gegenereerd. Bijgevolg wordt het uiteindelijke antwoord verkregen zonder extra latentie of tokenkosten in vergelijking met een standaard direct antwoord.
2. Supervisie Post-Redenering Tuning: Het model wordt gefine-tuned om dit gedrag te internaliseren. Met behulp van een gemaskeerde verliesdoelstelling wordt het model uitsluitend getraind op de post-antwoord rechtvaardigingstokens ($c_p$), terwijl het verlies op de antwoordtokens ($y$) en de input ($x$) wordt gemaskeerd. De trainingsdoelstelling is:
   $$L = -\sum_{i=1}^{T} \log P_\theta(c_i | x, y, c_{<i})$$
   Dit moedigt het model aan om coherente redeneertrajecten te leren die geconditioneerd zijn op het antwoord, zonder het proces van directe-antwoordgeneratie te wijzigen. De auteurs onderzoeken drie trainingsstrategieën: Expert Distillatie, Herformuleerde Distillatie en Zelf-Distillatie, en constateren dat Zelf-Distillatie (waarbij het model zijn eigen rechtvaardigingen genereert) de beste prestaties en convergentiestabiliteit oplevert.

Belangrijkste Bijdragen

• Domein-Generieke Verbetering: Introductie van Post-Redenering, een methode die instructie-gefineerde modellen verbetert zonder de inferentielatentie of tokenkosten voor het uiteindelijke antwoord te verhogen.
• Prompt-gebaseerde Effectiviteit: Aantonen dat het conditioneren van modellen tot post-redenering consistent de nauwkeurigheid van directe antwoorden verbetert bij 13 open en propriëtaire modellen (variërend van 4B tot 70B parameters) en 9 diverse benchmarks.
• Supervisie Post-Redenering Kader: Voorstellen van een supervisie post-redenering tuning-kader dat modellen optimaliseert op post-antwoord rechtvaardigingen. Deze methode presteert in meer dan 75% van de geëvalueerde settings beter dan prompt-gebaseerde post-redenering en toont sterke cross-domein generalisatie.

Resultaten

De evaluatie besloeg 117 model-benchmark settings over 13 modellen en 9 benchmarks (waaronder AMC, HMMT, GSM8K, GPQA, MMLU-Pro en BIG-Bench Hard).

• Prompt-gebaseerde Prestaties: Post-Redenering verbeterde de prestaties in 88,19% van de geëvalueerde settings, met een gemiddelde relatieve verbetering van 17,37%.
  • Competitiewiskunde: Er werden aanzienlijke winsten waargenomen op AMC (gemiddeld +34,19%) en HMMT (gemiddeld +28,21%), waarbij sommige modellen verbeteringen lieten zien die 100% overtroffen (bijvoorbeeld +141,53% op AMC 8 voor Llama-3.1-8B).
  • Standaard Wiskunde: De winsten waren bescheidener op GSM8K (+1,13%), wat de kortere redeneerketen weerspiegelt die voor deze taken vereist is.
  • Algemene Redenering: Verbeteringen werden waargenomen op GPQA (gemiddeld +10,14%), MMLU-Pro (+4,45%) en BBH (+3,16%).
• Propriëtaire Modellen: De methode generaliseerde naar propriëtaire frontier-modellen (Gemini-2.5-Flash, Claude-Haiku-4.5, GPT-5.4-Mini), waarbij consistent de prestaties op complexe redeneertaken werden verbeterd.
• Supervisie Tuning: Post-redenering tuning verbeterde de prestaties in 91,11% van de settings en presteerde gemiddeld 8,01% beter dan de prompt-gebaseerde baseline.
  • Zelf-Distillatie: Deze strategie bleek superieur aan expert- of herformuleerde distillatie, met name op complexe redeneertaken zoals GPQA, wat suggereert dat het internaliseren van redenering in de native stijl van het model effectiever is dan het imiteren van externe sporen.
  • Cross-Domein Transfer: Modellen die uitsluitend op wiskundige redeneringsdata (Numina) waren getraind, toonden consistente verbeteringen op niet-wiskundige benchmarks (GPQA, MMLU-Pro), wat wijst op effectieve cross-domein transfer.

Betekenis en Claims

Het artikel vestigt Post-Redenering als een nieuw prestatiedek voor directe-antwoordcapaciteiten. De auteurs claimen dat:

1. Latentievrije Optimalisatie: Het mogelijk is om de modelprestaties op complexe taken te verbeteren zonder de latentie- en kostenstraffen van pre-antwoord redenering.
2. Latente Redeneringsverbetering: De prestatiewinsten zijn niet louter een bijproduct van verhoogde tokenaantallen of generieke instructie-augmentatie (zoals blijkt uit ablatiestudies tegen Post-Samenvatting en Post-Vertrouwen varianten). In plaats daarvan lijkt de vereiste om een antwoord na generatie te rechtvaardigen, het latente redeneerproces van het model te regulariseren, waardoor een coherenter interne traject wordt aangemoedigd voordat het uiteindelijke token wordt uitgezonden.
3. Internalisatie: Door supervisie tuning kan het post-redeneringsgedrag effectief worden geïnternaliseerd in modelgewichten, waardoor het model op een gestructureerde manier kan "denken" zonder expliciete externe prompting of tussentijdse output.

De auteurs merken beperkingen op, met name dat de winsten kleiner zijn bij taken met sterke directe-inferentie baselines (zoals GSM8K) en dat uiterst complexe algoritmische zoektaken mogelijk nog steeds baat hebben bij expliciete pre-antwoord CoT. Het werk motiveert echter toekomstig onderzoek naar latentievrije inferentiestrategieën die post-generatie beperkingen benutten om redenering te verbeteren.