Technische Samenvatting: Wanneer Denken, Wanneer Spreken: Het Leren van Openbaarmakingsbeleid voor Redenering door LLM's

Probleemformulering

Huidige autoregressieve Large Language Models (LLM's) met één stroom lopen tegen een structurele beperking aan: de koppeling van interne statupdate's met openbare openbaarmaking. In standaardinterfaces werkt elke gegenereerde token tegelijkertijd als update van de verborgen staat van het model en als een onomkeerbare openbare toezegging. Dit creëert een "stiltebelasting" waarbij gebruikers moeten wachten tot het volledige redeneerproces is voltooid voordat ze taakrelevante inhoud zien, of omgekeerd, het risico lopen op "voortijdige toezeggingen" als het model te vroeg streamt, wat potentieel latere generaties beïnvloedt met niet-onderbouwde beweringen.

Hoewel Chain-of-Thought (CoT)-prompting de nauwkeurigheid verbetert door tussenstappen in de redenering op te wekken, verergert het deze spanning door deliberatie te manifesteren als lange, voor de gebruiker zichtbare voorwoorden. Bestaande oplossingen vertrouwen óf op vaste sjablonen/heuristieken voor openbaarmaking, óf ze prikkelen tot vroeger output op manieren die lage-informatie vultekst aanmoedigen. Het kernprobleem dat wordt aangepakt, is hoe het moment van openbaarmaking een leerbare beslissingsvariabele kan maken binnen standaard autoregressieve decoding, zodat vroege zichtbare tekst strikt wordt ondersteund door de redenering die tot dat punt is geproduceerd.

Methodologie: Side-by-Side (SxS) Geïnterleaved Redenering

De auteurs stellen Side-by-Side (SxS) Geïnterleaved Redenering voor, een raamwerk dat zichtbaarheid behandelt als een beheersbaar attribuut binnen één tokenstroom. Het model kiest bij elke stap tussen twee acties:

1. Denken (R): Privé-deliberatie (niet-openbaar).
2. Spreken (A): Openbaarmaking voor de gebruiker.

Beide acties vinden plaats binnen dezelfde autoregressieve context; "Spreken"-tokens vormen een prefix van het uiteindelijke antwoord dat het model ervoor kiest eerder te onthullen, terwijl "Denken"-tokens toelaten tot verdere privé-verfijning zonder eerdere toezeggingen te contrasteren.

Trainingspijplijn

De aanpak hanteert een twee-traps trainingsproces om tempo te leren zonder vultekst te prikkelen:

1. Entailment-gealigneerde Supervised Fine-Tuning (SFT):

   • Datavorming: Standaard $(x, r, a)$-triplets (input, redenering, antwoord) worden omgezet in geïnterleaved trajecten.
   • Alignering: Een entailment-checker (geïmplementeerd via een grote LLM) bepaalt het grootste antwoord-prefix dat wordt ondersteund door een gegeven redenerings-prefix.
   • Interleaving: Het model wordt getraind om antwoordblokken alleen uit te zenden wanneer de entailment-grens vordert. Dit zorgt ervoor dat "vroegere" openbaarmaking synoniem is met "ondersteunde" openbaarmaking.
   • Achterblijvende Redenering: Als het volledige antwoord wordt ondersteund voordat de redeneringsreeks eindigt, wordt de resterende redenering toegevoegd als een achterblijvend blok om post-oplossingsgedrag (bijv. zelfcontroles) te behouden.

2. Versterkingsleren (RL):

   • Doel: SFT leert de dual-actie-semantiek, maar het geïnterleerde formaat induceert een distributieverandering die de nauwkeurigheid van de eindtaak kan verslechteren. RL wordt gebruikt om de redeneerprestaties onder het nieuwe formaat te herstellen.
   • Algoritme: Group Relative Policy Optimization (GRPO) wordt gebruikt met een beloning die alleen gebaseerd is op het resultaat (nauwkeurigheid van het uiteindelijke antwoord).
   • Granulariteitscontrole: De auteurs verkennen een optioneel mechanisme voor beloningsvorming met behulp van een kwadratisch programma om kortere redeneringsblokken aan te moedigen (hogere granulariteit), terwijl het signaal voor correctheid strikt wordt behouden (het scheiden van correcte en incorrecte rollouts).

Belangrijkste Bijdragen

1. Openbaarmaking als Controle: Het artikel formaliseert het moment van openbaarmaking als een sequentieel beslissingsprobleem (denken vs. spreken) binnen standaard autoregressieve decoding, en maakt zichtbaarheid zo tot een beheersbaar attribuut zonder dat architecturale wijzigingen of aparte modellen nodig zijn.
2. Gemotiveerde Vroege Openbaarmaking: Door entailment-gealigneerde geïnterleaved trajecten te construeren, zorgt de methode ervoor dat vroege openbaarmaking veilig is om te tonen, waardoor voortijdige toezeggingen en vultekst worden vermeden.
3. Leren van Pareto-afwegingen: De combinatie van SFT en RL toont verbeterde nauwkeurigheids-latentie-afwegingen aan over verschillende modelarchitecturen (MoE versus dicht), schalen en domeinen.

Experimentele Resultaten

De auteurs evalueerden SxS op twee Qwen3-architecturen (MoE Qwen3-30B-A3B en dicht Qwen3-4B) over domeinspecifieke (AIME25) en domeinoverstijgende (GPQA-Diamond, LiveCodeBench, KOR-Bench) benchmarks.

• De Stiltebelasting Doorbreken: SxS vermindert de Average Inter-Response Wait (AIRW) aanzienlijk, een token-niveau proxy voor de wachttijd van de gebruiker. Bijvoorbeeld, op Qwen3-4B daalde de AIRW van ~21.316 tokens (Standaard CoT) naar ~8.519 tokens (SxS), wat wijst op frequentere gedeeltelijke openbaarmakingen.
• Herstel van Nauwkeurigheid: SFT veroorzaakt aanvankelijk een daling in nauwkeurigheid (bijvoorbeeld Qwen3-30B-A3B daalde van 76,9% naar 50,8% na SFT) vanwege de distributieverandering. De daaropvolgende RL-fase herstelt de nauwkeurigheid echter succesvol (terug naar 79,2%) terwijl de geïnterleerde structuur behouden blijft.
• Robuustheid Buiten het Domein: SxS mitigeert catastrofaal vergeten op domeinoverstijgende taken. Op GPQA-Diamond zag Standaard CoT na wiskundefocust RL een significante daling (bijvoorbeeld Qwen3-4B van 55,9% naar 19,0%), terwijl SxS aanzienlijk hogere nauwkeurigheid behield (49,3%).
• Stabiliteit van Granulariteit: Het geïnterleerde gedrag blijft robuust, zelfs onder RL met alleen resultaatbeloning. Hoewel RL de frequentie van interleaving iets neigt te verminderen, stort het niet in tot één monolithisch redeneringsblok. Granulariteit kan desgewenst actief worden gecontroleerd via beloningsvorming.

Betekenis en Aanspraken

Het artikel positioneert het tempo van antwoorden als een praktische en onderbelichte controle-as voor redenerende modellen. De auteurs stellen dat SxS de nauwkeurigheids-inhouds-latentie Pareto-afweging verbetert zonder architecturale modificaties. Door openbaarmaking een geleerde toezeggingspolitiek te maken die gekoppeld is aan een concrete ondersteuningsvoorwaarde (entailment), stelt de methode modellen in staat om gedeeltelijke voortgang eerder te onthullen terwijl betrouwbaarheid behouden blijft.

De bevindingen suggereren dat de waargenomen afweging tussen deliberatie en responsiviteit grotendeels wordt gevormd door de conventie van openbaarmaking in één stroom. SxS toont aan dat tempo kan worden geleerd als een stabiel gedragsbeleid in plaats van opgelegd door heuristieken, waardoor "interactie op elk moment" mogelijk wordt waarbij het model gerechtvaardigde gedeeltelijke voortgang vroeg onthult en privé verder deliberatieert. De auteurs merken op dat hoewel absolute nauwkeurigheidswinsten soms bescheiden zijn, de consistente vermindering van de vertraging tussen betekenisvolle zichtbare updates een significante verbetering voorstelt in de door de gebruiker waargenomen responsiviteit.