Technische Samenvatting: Geïntegreerde Dataselectie voor Redeneren met LLM's

Probleemstelling

De vooruitgang van Large Language Models (LLM's) in complexe, lange Chain-of-Thought (CoT) redenering wordt momenteel beperkt door de noodzaak van enorme hoeveelheden hoogwaardige trainingsdata. Bestaande dataselectiestrategieën staan voor twee primaire uitdagingen:

1. Rekenkosten: Methoden die vertrouwen op het trainen van extra taalspecifieke modellen of het gebruik van krachtige LLM's om data te filteren, leiden tot aanzienlijke rekenoverhead.
2. Beperkingen van Metrieken: Traditionele metrieken zoals sequentielengte, perplexiteit of gemiddelde token-entropie slagen er niet in om hoogwaardige redeneringsstalen te onderscheiden in lange-CoT-scenario's. Deze globale metrieken wijzen alle tokens een gelijke gewicht toe, waardoor de genuanceerde, meerfasige structuur van complexe redenering (planning, exploratie, reflectie) wordt gemaskeerd en de kritieke beslispunten waar het model onzekerheid ondervindt, niet worden vastgelegd.

Het kernprobleem is het ontbreken van een robuuste, efficiënte en trainingsvrije metriek die snel hoogwaardige redeneringspaden kan onderscheiden van laagwaardige paden over verschillende trainingsparadigma's heen.

Methodologie

De auteurs stellen High-Entropy Sum (HES) voor, een trainingsvrije metriek die is ontworpen om de kwaliteit van redenering te kwantificeren door te focussen op fijnmazige, kritieke informatie die is ingebed in redeneringsantwoorden.

De HES-metriek

De methodologie is gebaseerd op de observatie dat tokens met hoge entropie – die waarbij het model hoge onzekerheid vertoont – vaak corresponderen met kritieke 'vertakkingspunten' in een redeneringspad waar niet-triviale beslissingen worden genomen.

• Definitie: HES wordt berekend door de entropiewaarden op te tellen van de top $k\%$ (bijvoorbeeld 0,5%) van de tokens met de hoogste entropie in een antwoord.
• Formuleringen:
  • HES$_{relative}$: Gebruikt een percentielgebaseerde drempel (bijvoorbeeld de top 0,5% van tokens) om zich aan te passen aan variërende sequentielengtes en modelverdelingen. Dit is de primaire gebruikte formulering.
  • HES$_{absolute}$: Gebruikt een vaste entropiedrempel (bijvoorbeeld $\tau = 1,6$) voor de somvorming.
• Redenering: In tegenstelling tot gemiddelde entropie, die kritieke signalen verdunt door te middelen over lange sequenties, isoleert HES de cumulatieve intensiteit van cruciale momenten met hoge onzekerheid. Empirische analyse (Figuur 1) toont aan dat terwijl gemiddelde entropiemetrieken niet kunnen onderscheiden tussen correcte en incorrecte stalen, de som van tokens met hoge entropie een robuuste scheiding biedt.

Geïntegreerd Dataselectie-kader

Het artikel stelt een geïntegreerde dataselectiestrategie voor die toepasbaar is op drie dominante trainingsparadigma's:

1. Supervised Fine-Tuning (SFT): Het volledige dataset wordt gerangschikt op basis van HES-scores. Het model wordt getraind op de top-$\rho$ percentiel (bijvoorbeeld de top 20%) of het dataset wordt gesnoeid door de onderste-$\rho$ (bijvoorbeeld de onderste 20%) te verwijderen.
2. Rejection Fine-Tuning (RFT): Voor elke query worden meerdere kandidaatantwoorden gegenereerd. HES wordt gebruikt om de hoogste kwaliteit correcte oplossingen te selecteren, hetzij per query (selectie van top-$k$ uit lokale kandidaten) of globaal (selectie van top-$N$ uit een globale pool van correcte trajecten).
3. Reinforcement Learning (RL): De auteurs introduceren een asymmetrische bemonsteringsstrategie voor Group Relative Policy Optimization (GRPO). Ze prioriteren het selecteren van de positieve trajecten met de hoogste HES (om beheersing van complexe patronen te stimuleren) terwijl ze willekeurige negatieve trajecten behouden (om blootstelling aan diverse foutmodi te garanderen). Dit staat in contrast met standaard uniforme bemonstering of updates met volledige batches.

Belangrijkste Bijdragen

1. Introductie van HES: Een nieuwe, trainingsvrije metriek die de kwaliteit van redenering kwantificeert door alleen de tokens met hoge entropie in antwoordpaden te analyseren, waardoor de cumulatieve complexiteit van kritieke beslispunten effectief wordt vastgelegd.
2. Geïntegreerd Selectiekader: Een efficiënte dataselectiemethode die compatibel is met SFT-, RFT- en RL-paradigma's, waardoor de noodzaak voor aparte, dure selectiemechanismen voor elk paradigma wordt geëlimineerd.
3. Overdraagbaarheid van Klein naar Groot: Demonstratie dat een lichtgewicht proxy-model (bijvoorbeeld 0,6B) data effectief kan screenen voor grotere foundation-modellen (bijvoorbeeld 8B), wat de inferentiekosten van offline datacuratie aanzienlijk verlaagt zonder de selectiekwaliteit te compromitteren.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd binnen de domeinen Wiskunde, STEM en Code met behulp van benchmarks zoals AIME, HMMT, GPQA en LiveCodeBench.

• SFT-prestaties:
  • Training op de top 20% van de data gerangschikt op basis van HES leverde prestaties op die vergelijkbaar waren met het volledige dataset over diverse domeinen.
  • In de "De-noising"-instelling verbeterde het verwijderen van de onderste 20% van de op HES gerangschikte data de prestaties ten opzichte van het volledige dataset.
  • Omgekeerd resulteerde training op de laagste-HES 20% van de data in een drastische prestatiedegradatie, wat de capaciteit van de metriek bevestigt om schadelijke ruis te identificeren.
  • Efficiëntie: Het gebruik van een 0,6B proxy-model voor selectie leverde resultaten op (30,20% gemiddeld) die vergelijkbaar waren met het gebruik van het 8B-model zelf (31,34% gemiddeld), wat de selectiekosten met een orde van grootte verlaagde.
• RFT-prestaties:
  • HES-gebaseerde selectie presteerde aanzienlijk beter dan willekeurige selectie en heuristische baselines (lengte, moeilijkheidsgraad) in zowel per-query als globale pool-instellingen.
  • Per-query-selectie leverde vaak hogere prestaties op dan globale pool-selectie, wat suggereert dat het behouden van diversiteit op query-niveau cruciaal is naast kwaliteitsfiltering.
• RL-prestaties:
  • De "Pos-High, Neg-Rand"-strategie (selectie van top-HES-positieven en willekeurige negatieven) presteerde beter dan standaard training met volledige batches en andere bemonsteringsstrategieën.
  • Deze aanpak bereikte superieure nauwkeurigheid (19,26% gemiddeld) met slechts 50% van de data per stap in vergelijking met de baseline met volledige batches (18,34%), wat bevestigt dat het prioriteren van hoogwaardige positieve signalen effectiever is dan het vergroten van de batchgrootte met niet-gedifferentieerde data.
• Vergelijking van Metrieken: HES presteerde consequent beter dan alternatieve entropie-gebaseerde metrieken (Gemiddelde Entropie, Gemiddelde Hoge Entropie, Totale Entropie Som), wat bevestigt dat de cumulatieve grootte van kritieke vertakkingspunten de meest effectieve proxy is voor de kwaliteit van redenering.

Betekenis en Claims

Het artikel vestigt HES als een robuuste, trainingsvrije metriek die een geïntegreerde, effectieve en efficiënte methode mogelijk maakt voor het ontwikkelen van geavanceerd redeneren in LLM's. De auteurs claimen dat:

• Efficiëntie: HES schaalbare proxy-selectie mogelijk maakt met kleine modellen in offline SFT en verwaarloosbare opslag/rekenoverhead met zich meebrengt in online RFT- en RL-instellingen (aangezien entropie synchroon kan worden berekend tijdens generatie zonder extra forward passes).
• Effectiviteit: Door te focussen op de "minderheidstokens met hoge entropie", filtert de methode redundante signalen en trainingsruis succesvol, waardoor modellen sterke redeneringspatronen kunnen leren van een gecureerd subdataset.
• Generaliseerbaarheid: De methode is toepasbaar over verschillende modelarchitecturen (Qwen, Llama, DeepSeek) en redeneringsdomeinen (Wiskunde, Code, STEM), wat suggereert dat HES intrinsieke redeneringscomplexiteit vastlegt in plaats van model-specifieke artefacten.

Het werk concludeert dat HES een kosteneffectieve oplossing biedt voor het opschalen van de redeneercapaciteiten van LLM's, waarbij de cruciale rol van kritieke tokens in dataselectie wordt benadrukt en de rekenlast die gepaard gaat met het trainen van hoogpresterende redeneringsmodellen wordt verminderd.