Technische Samenvatting: Beter, Sneller: Het Benutten van Zelfverbetering in Grote Redeneringsmodellen

Probleemstelling

Grote Redeneringsmodellen (LRM's) hebben aanzienlijke capaciteiten aangetoond in complexe redeneertaken door het benutten van expliciete lange chain-of-thought (CoT)-trajecten. Het verkrijgen van hoogwaardige redeneringsdata is echter kostbaar en tijdrovend, wat heeft geleid tot het ontstaan van "zelfverbeterings"-paradigma's waarbij modellen iteratief trainen op hun eigen gegenereerde data. De auteurs identificeren twee kritieke tekortkomingen in bestaande zelfverbeteringsmethoden wanneer deze worden toegepast op complexe redeneertaken:

1. Data-ongelijkheid: Zelfgegenereerde datasets zijn sterk vertekend ten gunste van eenvoudige queries. Uitdagende queries, die cruciaal zijn voor het verbeteren van redeneercapaciteiten, leveren vaak weinig of geen correcte oplossingen op, wat leidt tot een schaarste aan waardevolle trainingsstalen.
2. Overdenken: Modellen genereren frequent oplossingen met overbodige, repetitieve of onnodige redeneerstappen. Bestaande methoden die proberen deze te filteren, vertrouwen vaak op eenvoudige op lengte gebaseerde metrieken, wat onbedoeld diep redeneren kan bestraffen en de prestaties kan verslechteren.

Deze problemen resulteren in suboptimale redeneerprestaties en, in ernstige gevallen, in modelinstorting waarbij de prestaties verslechteren door iteratieve training op data van lage kwaliteit die zelf is gegenereerd.

Methodologie: HSIR

Om deze beperkingen aan te pakken, stellen de auteurs HSIR (Harnessing Self-Improvement in large Reasoning models) voor, een raamwerk dat twee eenvoudige maar effectieve benaderingen integreert: VeriExit-sampling en Intrinsic Diversity (InDiv)-scoring.

1. Verify-then-Exit (VeriExit) Sampling

Om data-ongelijkheid te mitigeren, streeft VeriExit ernaar waardevol redeneren te redden uit mislukte pogingen in plaats van deze te verwerpen.

• Mechanisme: De methode analyseert "mislukte" oplossingen (die met een incorrect eindantwoord) om tussenliggende redeneerstappen te identificeren die correct tot het ground-truth-antwoord leiden (bijvoorbeeld door expliciet te stellen "het antwoord is {yi}").
• Proces: Bij detectie van zo'n stap wordt het redeneertraject afgekapt en wordt een exit-prompt ingevoegd. Vervolgens wordt het model gevraagd om het eindantwoord opnieuw te samplen vanuit deze geverifieerde tussenliggende staat.
• Voordeel: Deze strategie converteert efficiënt gedeeltelijk correcte mislukte pogingen naar correcte trainingsstalen voor moeilijke queries, zonder de hoge inferentie-overhead van het volledig opnieuw genereren van trajecten.

2. Intrinsic Diversity (InDiv) Score

Om overdenken te bestrijden, introduceren de auteurs een metriek die redeneer-redundantie kwantificeert met behulp van de interne staten van het model, waardoor afhankelijkheid van externe modellen of eenvoudige lengtestrafen wordt vermeden.

• Mechanisme: InDiv analyseert de verborgen representaties van tussenliggende redeneerstappen in de middenlaag van het LLM. Het berekent de cross-covariantiematrix van deze representaties en leidt eigenwaarden af.
• Berekening: De score wordt berekend als een gewogen som van de logaritmen van deze eigenwaarden, waarbij de gewichten worden bepaald door de self-attention-scores van de tokens.
• Logica: Repetitieve of overbodige redeneerstappen resulteren in sterk gecorreleerde verborgen representaties, wat leidt tot kleinere eigenwaarden en lagere InDiv-scores. Omgekeerd leveren diverse en beknopte redeneringen hogere scores op.
• Toepassing: Oplossingen met InDiv-scores onder een specifieke drempel worden gefilterd, zodat de trainingsdata bestaat uit diverse en beknopte redeneerpaden.

Integratie in Trainingsparadigma's

HSIR is ontworpen om compatibel te zijn met diverse post-training paradigma's:

• Supervised Fine-Tuning (SFT) & Preference Learning (DPO): HSIR filtert de zelfgegenereerde dataset voordat training plaatsvindt.
• H-GRPO (Reinforcement Learning): De auteurs breiden de methode uit tot het Group Relative Policy Optimization (GRPO)-raamwerk. Zij stellen H-GRPO voor, dat de InDiv-score integreert als een extra beloningssignaal naast nauwkeurigheid en formaatbeloningen. Dit moedigt het model aan om tijdens het reinforcement learning-proces diverse en beknopte redeneerpaden te genereren.

Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel onthult en analyseert empirisch de dubbele problemen van data-ongelijkheid en overdenken bij LRM-zelfverbetering, en toont aan hoe deze leiden tot prestatievermindering in complexe taken.
2. HSIR-raamwerk: Het voorstellen van een unificerend raamwerk dat VeriExit gebruikt om correcte oplossingen uit mislukte pogingen te herstellen en InDiv om redundante redenering te filteren, waardoor een effectief evenwicht wordt gevonden tussen datakwaliteit en diversiteit.
3. H-GRPO-algoritme: Het uitbreiden van deze principes naar een reinforcement learning-setting (H-GRPO), waarbij intrinsieke diversiteit wordt gebruikt als externe beloning om overdenken te verhelpen zonder afhankelijkheid van op lengte gebaseerde straffen.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over meerdere modelgroottes (Qwen2.5, Qwen3, Phi-3.5, Mistral, LLaMA3) en redeneerbenchmarks (MedQA, GSM8K, ARC, CSQA, StrategyQA).

Experimentele Resultaten

De auteurs rapporteren aanzienlijke verbeteringen in zowel redeneerprestaties als efficiëntie:

• Prestatiewinst: HSIR presteert consistent beter dan baselines voor zelfverbetering (zoals STaR, ReSTEM, IRPO). Op de MedQA-taak behaalde HSIR-DPO een gemiddelde prestatiewinst van +10,9% ten opzichte van baselines.
• Efficiëntieverbeteringen: Door het filteren van oplossingen met overdenken, reduceert HSIR de inferentie-overhead aanzienlijk. De methode verminderde het aantal output-tokens met maximaal 42,4% ten opzichte van baseline-methoden, wat wijst op beknopter redeneren.
• Generalisatie: Modellen getraind met HSIR vertoonden betere out-of-distribution (OOD)-generalisatie op taken zoals Medbullets, MedXpertQA en MATH in vergelijking met modellen getraind met standaard iteratieve zelfverbetering, die vaak last hadden van prestatievermindering over iteraties heen.
• Robuustheid: De verbeteringen waren consistent over verschillende modelarchitecturen en -groottes, en de methode bleef effectief zelfs bij gebruik van self-consistency pseudo-labels in afwezigheid van ground-truth-antwoorden.

Betekenis en Claims

Het artikel beweert dat HSIR een effectievere weg biedt voor zelfverbetering in LRM's door te waarborgen dat de trainingsdata zowel nauwkeurig (via VeriExit) als efficiënt/divers (via InDiv) is. De auteurs benadrukken dat hun aanpak:

• De valkuilen van modelinstorting vermijdt door data van hoge kwaliteit te cureren.
• Het "overdenkings"-probleem oplost zonder in te leveren op diepe redeneercapaciteiten, een veelvoorkomend probleem bij methoden met lengtestrafen.
• Een schaalbare oplossing biedt die zowel de "beter"- (nauwkeurigheid) als "sneller"- (efficiëntie) aspecten van redeneringsmodellen verbetert.

De auteurs houden een bescheiden standpunt aan wat betreft beperkingen, en erkennen dat InDiv noodzakelijke logische stappen in rigoureuze wiskundige afleidingen mogelijk ten onrechte als overbodig kan beoordelen, en dat VeriExit geen queries kan oplossen waarbij geen geldige tussenliggende stappen bestaan. Zij positioneren hun werk als een stap richting robuustere en efficiëntere zelfverbeteringstraining, in plaats van een complete oplossing voor alle redeneerausdagingen.