Technische Samenvatting: Diverse Denk-schemata Eliciteren Beter Redeneren in Large Language Models

Probleemstelling

Large Reasoning Models (LRMs) hebben significante capaciteiten aangetoond bij het oplossen van complexe wiskundige problemen door uitgebreide chains of thought te genereren. De huidige benaderingen leunen echter vaak op overmatig vooraf gedefinieerde redeneerstructuren, zoals strikt lineaire ketens of expliciet georganiseerde bomen, wat de cognitieve flexibiliteit kan beperken. De auteurs identificeren twee cruciale maar nog onverkende aspecten van het redeneerproces: Reasoning Transitions (de duidelijke verschuivingen tussen tussenliggende redeneerstappen, bijv. "Laat me een andere aanpak proberen") en Answer Candidates (de variëteit aan oplossingspaden of tussenliggende conclusies die het model voorstelt). Het papier stelt dat bestaande modellen vaak convergeren naar smalle redeneerpatronen, waardoor ze er niet in slagen de oplossingsruimte volledig te verkennen, wat hun vermogen om te herstellen van fouten of optimale oplossingen te vinden in complexe taken beperkt.

Methodologie: DiScO Framework

Om deze beperkingen aan te pakpen, stellen de auteurs DiScO (Diverse Schemata Policy Optimization) voor, een framework ontworpen om de diversiteit van "denk-schemata" (de latente redeneerstructuur die overgangen en oplossingspaden beheert) te versterken tijdens zowel training als inferentie. Het framework bestaat uit drie kerncomponenten:

1. Schemata-Aware Supervised Fine-Tuning (SFT)

Het model wordt eerst uitgerust met "schemata-bewustzijn" door het te trainen om zijn eigen redeneerketens expliciet te annoteren. Twee gespecialiseerde tokens worden geïntroduceerd:

• \ReasoningTransition: Markeert verschuivingen in het redeneerperspectief of de strategie.
• \AnswerCandidate: Markeert potentiële definitieve antwoorden of tussenliggende conclusies.
  Deze stap maakt de latente denkstructuur observeerbaar en vatbaar voor analyse zonder dat hiervoor externe menselijke annotatie nodig is voor elke trainingsstap (annotaties worden gegenereerd door een LLM-annotator, specifiek Qwen3-Max).

2. Diversity-Oriented Reinforcement Learning (RL)

Na de SFT ondergaat het model reinforcement learning met behulp van een aangepast Group Relative Policy Optimization (GRPO) algoritme. De kerninnovatie is een samengestelde beloningsfunctie ($R$) die nauwkeurigheid balanceert met diversiteit:
$$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$$

• Diversiteitsbeloning ($R_{div}$): Moedigt de generatie van onderscheidende redeneertransities en antwoordkandidaten aan. Het meet het aantal transities ($N_{thought}$), het aantal antwoordkandidaten ($N_{ans}$), de uniciteit van oplossingen ($N_{uniq}$) en de correctheid van tussenliggende kandidaten ($N_{true}$). Afkappingslimieten (truncation caps) worden toegepast om reward hacking via marker-repetitie te voorkomen.
• Nauwkeurigheidsbeloning ($R_{acc}$): Standaard binaire beloning voor een correct eindantwoord.
• Format-beloning ($R_{form}$): Zorgt ervoor dat het model zich houdt aan de vereiste annotatietags en de uiteindelijke antwoordformattering.

3. Inference-Time Diversity Enhancement (ITDE)

Om de diversiteit tijdens inferentie verder te bevorderen, worden twee strategieën toegepast wanneer het model de maximale generatielengte bereikt zonder een definitief antwoord:

• Initial Truncation: Verwerpt de eerste 20% van de tokens om een "cognitieve reset" te simuleren, waardoor het model de mogelijkheid krijgt het probleem vanuit een fris perspectief te herformuleren.
• Truncation met Repetitie-eliminatie: Detecteert en verwijdert repetitieve redeneerpatronen (bijv. dezelfde 15-woorden frase) om lokale lussen te doorbreken en de exploratie van nieuwe paden aan te moedigen.

Belangrijkste Bijdragen

1. Conceptdefinitie: Het artikel introduceert "Thinking Schemata" en definieert deze door middel van observeerbare Reasoning Transitions en Answer Candidates. Het toont empirisch aan dat er een positieve correlatie bestaat tussen de diversiteit van deze schemata en de prestaties van verschillende LRMs.
2. DiScO Framework: De auteurs stellen een nieuw framework voor dat schemata-bewuste SFT, diversiteit-georiënteerde RL en inferentie-tijd strategieën integreert om diverse redenering systematisch te bevorderen.
3. Empirische Validatie: Uitgebreide experimenten over vijf wiskundige redeneer-benchmarks en drie out-of-domain (OOD) benchmarks laten zien dat DiScO consequent beter presteert dan standaard GRPO en andere diversiteit-georiënteerde baselines.

Experimentele Resultaten

De auteurs evalueerden DiScO op DeepSeek-R1-Distill-Qwen modellen op 7B en 32B schaal, waarbij ze deze vergeleken met frontier propriëtaire modellen (bijv. GPT-5, Claude 3.5) en open-source baselines.

• Prestatiewinst: DiScO behaalde consequent state-of-the-art resultaten onder de open-source modellen. Zo behaalde DiScO-7B 95,6% op MATH-500 en 70,0% op AIME 2024, wat aanzienlijk beter is dan andere 7B modellen. DiScO-32B bereikte een gemiddelde nauwkeurigheid van 83,5% over de benchmarks, waarmee het de basis DeepSeek-R1-Distill-Qwen-32B overtrof.
• Verbetering bij Moeilijke Taken: De winst was het meest uitgesproken op uitdagende competitie-niveau benchmarks (AIME, AMC), waar er substantiële ruimte is voor verbetering. DiScO-32B liet een absolute verbetering zien van 6,7% ten opzichte van het basismodel op AIME 2024 en 2025.
• Generalisatie: Ondanks dat het uitsluitend op wiskundige data is getraind, generaliseerde DiScO effectief naar out-of-domain taken (ARC-c, GPQA-diamond, MMLU-Pro), wat suggereert dat diversiteit op schemata-niveau deels overdraagbare redeneergedragingen bevordert.
• Foutherstel: Menselijke annotatie-analyse onthulde dat DiScO het vermogen van het model aanzienlijk verbetert om te herstellen van foutieve initiële pogingen (gemeten door de FWFC metriek: First Wrong, Final Correct). DiSC-modellen waren minder geneigd om correcte tussenliggende antwoorden te verwerpen en waren eerder in staat tot zelfcorrectie vergeleken met baselines.
• Pass@k Prestaties: DiScO vertoonde verbeterde prestaties in scenario's met meerdere pogingen (Pass@k), wat wijst op een echte expansie van de redeneergrens in plaats van slechts het hervormen van de single-shot distributie.

Betekenis en Claims

Het artikel beweert dat de diversiteit van denk-schemata een cruciale rol speelt bij succesvol probleemoplossend vermogen, en fungeert als een complementaire as tot standaard model scaling (parameters en data). De auteurs argumenteren dat:

• Diversiteit een Schaalbare Resource is: Het bevorderen van diverse denk-schemata stelt modellen in staat om alternatieve inferentiële routes te verkennen en effectiever te herstellen van fouten, wat leidt tot betere prestaties op complexe taken zonder noodzakelijkerwijs de modelgrootte te vergroten.
• Voorbij Token-niveau Diversiteit: In tegen tegenstelling tot voorgaande methoden die zich richten op token-niveau entropie of traject-niveau sampling over onafhankelijke rollouts, richt DiScO zich op diversiteit binnen een enkel redeneetraject, waardoor semantische verschuivingen en perspectiefveranderingen worden gestimuleerd die menselijk probleemoplossend vermogen nabootsen.
• Praktische Impact: Het framework biedt een praktisch pad voor het verbeteren van open-source redeneermodellen, waardoor de kloof met frontier propriëtaire systemen wordt verkleind en de interpreteerbaarheid van redeneerprocessen wordt vergroot door expliciete schemata-annotatie.

De auteurs erkennen beperkingen, waaronder de niet-triviale kosten van LLM-gebaseerde annotatie, de bescheiden toename in inferentie-latentie (ongeveer 10% meer tokens), en de huidige focus op wiskundig redeneren, hoewel zij opmerken dat er consistente winsten zijn in out-of-domain taken. Zij suggereren dat toekomstig werk goedkopere annotatiemethoden (bijv. het bevragen van hidden states) en de toepassing van deze principes op andere redeneerregimes kan verkennen.