🤖 machine learning

Capacity-Dependent Effects of Data Selection for Reasoning

Dit artikel toont aan dat de effectiviteit van likelihood-gebaseerde dataselectie voor reasoning fine-tuning capaciteitsafhankelijk is, waarbij data met een hoge likelihood kleinere modellen ten goede komt met snellere initiële winst, terwijl data met een lage likelihood superieure langetermijnprestaties oplevert voor grotere modellen.

Oorspronkelijke auteurs: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Gepubliceerd 2026-08-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een lastig wiskundig probleem moet oplossen. Je hebt een superintelligente leraar die het perfect kan oplossen, maar je hebt ook een student die net is begonnen. In de wereld van kunstmatige intelligentie wordt dit "distillatie" genoemd. Het doel is om de kennis van een gigantisch, krachtig model (de leraar) te verkleinen naar een kleiner, sneller model (de student), zodat het op alledaagse apparaten kan draaien. Maar hier zit een addertje onder het gras: de leraar kan veel verschillende manieren genereren om hetzelfde probleem op te lossen. Sommige antwoorden zijn simpel en lijken erg op wat de student zelf zou hebben gegokt. Andere zijn complex, wild en heel anders dan het huidige denken van de student.

Lange tijd dachten onderzoekers dat de beste manier om de student te onderwijzen het tonen van de antwoorden was die het makkelijkst voor hen te begrijpen waren—de antwoorden die vertrouwd aanvoelden. Het leek logisch: als je een beginner calculus probeert te leren met behulp van geavanceerde natuurkunde, raken ze misschien in de war en geven ze op. Maar een nieuwe studie suggereert dat deze "makkelijk is het best"-regel een valstrik kan zijn. Het echte geheim is niet om dingen makkelijk te maken; het gaat erom de moeilijkheidsgraad van de les af te stemmen op de grootte van het brein van de student. Als de student klein is, werken gemakkelijke lessen geweldig. Maar als de student groot en krachtig is, hebben ze juist de moeilijke, verwarrende lessen nodig om hun volledige potentieel te bereiken. Dit artikel onderzoekt precies hoe je de juiste lessen kiest voor de juiste robot, zodat we geen tijd of rekenkracht verspillen.

De onderzoekers achter deze studie, Cuong Dang, Hoang Anh Just, en Ruoxi Jia, zetten zich af tegen een populair idee genaamd "likelihood-based selection" (op waarschijnlijkheid gebaseerde selectie). In eenvoudige termen is "likelihood" (waarschijnlijkheid) gewoon een score die aangeeft hoe waarschijnlijk het is dat een model een specifieke zin zal zeggen. Als een model denkt: "Ik zou dit absoluut zeggen," is dat een antwoord met een hoge waarschijnlijkheid. Als een model denkt: "Ik zou dit nooit zeggen," is dat een antwoord met een lage waarschijnlijkheid. Het artikel onderzoekt een specifieke vraag: moeten we onze AI-studenten altijd trainen met de antwoorden met een hoge waarschijnlijkheid (de antwoorden die vertrouwd voelen), of moeten we hen soms dwingen om te leren van de antwoorden met een lage waarschijnlijkheid (de antwoorden die vreemd en moeilijk aanvoelen)?

Om het antwoord te vinden, gebruikten het team een reeks experimenten waarbij wiskundeproblemen als hun speeltuin dienden. Ze namen een enorme verzameling wiskundevragen en lieten krachtige "leraar"-modellen veel verschillende oplossingen voor elke vraag genereren. Vervolgens trainden ze "student"-modellen van verschillende groottes—variërend van zeer klein (1,5 miljard parameters) tot behoorlijk groot (8 miljard parameters)—met behulp van twee verschillende strategieën. Eén groep studenten zag alleen de "makkelijke" antwoorden (hoge waarschijnlijkheid), terwijl de andere groep alleen de "moeilijke" antwoorden zag (lage waarschijnlijkheid). Ze volgden hoe deze studenten presteerden in de loop van de tijd, waarbij ze hun scores controleerden op diverse wiskundige benchmarks zoals AIME, AMC en MATH.

Wat ze ontdekten was een fascinerend patroon dat volledig afhangt van de grootte van het brein van de student. Voor de kleinste modellen was de "makkelijke" strategie een duidelijke winnaar. Deze kleine studenten leerden snel en gestaag wanneer ze antwoorden kregen die dicht bij wat ze al wisten lagen. Wanneer ze werden gedwongen naar de "moeilijke" antwoorden te kijken, raakten ze de weg kwijt. Ze begonnen de vraag steeds opnieuw te herhalen, of kopieerden simpelweg het antwoord zonder de stappen te begrijpen, waardoor ze niet verbeterden. Het was alsover zij een berg probeerden te beklimmen maar niet de benen hadden om de eerste stap te zetten; ze gleden gewoon weer terug naar beneden.

Echter, het verhaal veranderde volledig voor de grotere, krachtigere modellen. Deze grote studenten begonnen ook beter te presteren met de "makkelijke" antwoorden, net als de kleine modellen. Maar naarmate de training vorderde, gebeurde er iets magisch. De studenten die getraind waren op de "moeilijke" antwoorden begonnen in te halen en overtroffen uiteindelijk de anderen. Terwijl de "makkelijke" groep een plafond bereikte en stopte met verbeteren, bleef de "moeilijke" groep klimmen. Ze waren in staat om de complexe, onbekende redeneringen te absorberen en problemen op te lossen die ze voorheen niet aan konden. De onderzoekers noemen dit het "Fast-Fit / Slow-Gain" patroon. De kleine modellen "fast-fit" naar de makkelijke data en stoppen daar, terwijl de grote modellen een "slow-gain" ervaren waarbij de moeilijke data uiteindelijk leidt tot veel sterkere redeneervaardigheden.

Het artikel suggereert dat er niet één enkele "beste" manier is om trainingsdata te kiezen. Het hangt er volledig vanaf wat het computerbudget en de grootte van het model zijn. Als je een klein model hebt of beperkte tijd, houd je vast aan de hoog-waarschijnlijkheid, makkelijk te leren data. Het is efficiënt en levert snelle resultaten op. Maar als je een groot model hebt en het geduld hebt om een lange tijd te trainen, moet je de laag-waarschijnlijkheid, moeilijke data omarmen. Het is als een marathonloper: een beginner heeft een vlak, gemakkelijk pad nodig om vertrouwen op te bouwen, maar een elite-atleet heeft de steile, rotsachtige paden nodig om hun persoonlijke record te verbreken.

De auteurs onderbouwen dit met zowel real-world experimenten als een theoretisch kader. Ze lieten zien dat kleine modellen simpelweg het "vermogen" (capacity) missen om het gat tussen hun huidige kennis en de complexe antwoorden van de leraar te begrijpen. De moeilijke data ligt te ver weg en het kleine model kan die kloof niet overbruggen. Maar grote modellen hebben genoeg "ruimte" in hun brein om te rekken en te leren van die afstand. Het artikel concludeert dat dataselectie voor redeneren geen "one-size-fits-all" regel moet zijn. In plaats daarvan moet het een zorgvuldige balans zijn: stem de moeilijkheidsgraad van de les af op de capaciteit van de leerling, en je zult de beste resultaten krijgen.

Technische Samenvatting: Capaciteitsafhankelijke Effecten van Dataselectie voor Redeneren

Probleemstelling

Bij de supervised fine-tuning (SFT) van Large Language Models (LLM's) voor redeneertaken ontstaat een kritische uitdaging door de heterogeniteit van kandidaat-responsen voor een enkele instructie. Zelfs wanneer gegenereerd door sterke teacher-modellen, variëren responsen aanzienlijk in hoe goed ze aansluiten bij de huidige distributie van het student-model. Recent werk, zoals GRAPE (Zhang et al., 2025), heeft voorgesteld om hoog-waarschijnlijke responsen te selecteren (die het dichtst bij de huidige policy van de student liggen) om stabiele optimalisatie te waarborgen. Daartegenover staat dat de traditionele literatuur over active learning en dataselectie vaak pleit voor laag-waarschijnlijke (moeilijke) voorbeelden om modellen voorbij hun huidige capaciteiten te duwen.

Dit paper onderzoekt een fundamenteel conflict: Levert hoog-waarschijnlijke data universeel de beste redeneerprestaties op, of hangt de effectiviteit ervan af van de capaciteit en de trainingsduur van het student-model? De auteurs dagen de aanname uit dat "makkelijke" (hoog-waarschijnlijke) data altijd de voorkeur verdient, door te stellen dat de waarde van likelihood-gebaseerde selectie afhankelijk is van de vraag of de student over voldoende representatieve capaciteit beschikt om uitdagende supervisie te absorberen.

Methodologie

De auteurs voeren gecontroleerde experimenten uit over een spectrum van modelgroottes en trainingsduur om de effecten van data-likelihood en modelcapaciteit te isoleren.

Datasets en Modellen: Experimenten maken gebruik van de MATH12K-dataset. Teacher-modellen (Qwen2.5-72B en Gemma-3-27B-it) genereren meerdere kandidaat-responsen voor elke instructie. De student-modellen variëren van 1,5B tot 8B parameters, inclusief diverse Qwen- en Llama-families.
Selectiestrategieën: Voor elke instructie worden twee verschillende datasets geconstrueerd:
- $D_{high}$ : Responsen met de hoogste log-likelihood onder het basis student-model.
- $D_{low}$ : Responsen met de laagste log-likelihood onder het basis student-model.
Trainingsprotocol: Modellen ondergaan volledige parameter SFT gedurende 5 epochs. Prestaties worden geëvalueerd met behulp van pass@1 op 10 diverse wiskundige redeneer-benchmarks (bijv. AIME, AMC, GPQA, MATH).
Analyse: De studie analyseert de leeringsdynamiek vanuit twee perspectieven:
1. Teacher View: Het meten van de log-likelihood van student-outputs onder het teacher-model om de afstemming met de teacher-distributie te beoordelen.
2. Original Model View: Het meten van de log-likelihood van student-outputs onder het eigen basis model van de student om de distributieverschuiving te beoordelen.
Theoretisch Kader: De auteurs bieden een theoretische analyse van capaciteitsbeperkte distillatie met behulp van lineaire classifiers. Ze modelleren de haalbare parameterruimte van de student als een subspace en analyseren hoe gradiëntstroom kennis van teacher naar student overdraagt op basis van de projectie van de data-span op deze subspace.

Belangrijkste Resultaten

1. Het "Fast-Fit / Slow-Gain" Patroon

De experimenten onthullen een duidelijke capaciteitsafhankelijke dichotomie in de leeringsdynamiek:

Kleine Modellen (bijv. 1.5B, 3B): Hoog-waarschijnlijke data biedt een duidelijk vroegtijdig voordeel ("Fast-Fit"). Deze modellen bereiken snelle, stabiele verbeteringen en bereiken vaak vroeg hun piekprestaties. Laag-waarschijnlijke data slaagt er niet in om betekenisvolle winst te leveren; de modellen worstelen met het absorberen van de supervisie, wat vaak resulteert in repetitieve of oppervlakkige outputs die de redeneercapaciteiten niet verbeteren.
Grote Modellen (bijv. 7B, 8B): Hoewel hoog-waarschijnlijke data nog steeds sterke vroege winsten biedt, vertoont laag-waarschijnlijke data een "Slow-Gain" traject. Hoewel ze aanvankelijk achterlopen, overtreffen deze modellen uiteindelijk de prestaties van degenen die getraind zijn op hoog-waarschijnlijke data, mits er voldoende trainingsduur beschikbaar is (bijv. na 2–5 epochs). De laag-waarschijnlijke data duwt grote modellen richting de teacher-distributie, waardoor sterkere redeneercapaciteiten worden ontsloten die hoog-waarschijnlijke data niet kan bereiken.

2. Leeringsdynamiek en Distributieverschuiving

Teacher Alignment: Kleine modellen getraind op laag-waarschijnlijke data slagen er niet in om dichter bij de teacher-distributie te komen, en drijven soms zelfs verder weg. Grotere modellen slagen er daarentegen in om de teacher loss te verlagen wanneer ze getraind worden op laag-waarschijnlijke data, wat wijst op effectieve kennisoverdracht.
Stabiliteit: Kleine modellen vertonen onstabiele trainingsdynamiek en distributieverschuivingen wanneer ze worden blootgesteld aan laag-waarschijnlijke data, waarbij ze vaak terugvallen op rote repetitie. Grotere modellen passen zich op een meer stabiele en gerichte manier aan, waarbij ze succesvol het optimalisatielandschap doorkruisen om hogere globale pieken te bereiken.

3. Theoretische Inzichten

De theoretische analyse formaliseert deze observaties. Het stelt dat kennisoverdracht wordt beperkt door de intersectie van de data span (wat de data onthult over de teacher) en de haalbare parameterruimte van de student (wat de student kan representeren).

Voor studenten met een hoge capaciteit is de haalbare ruimte groot genoeg om het kenniskloof te vangen die door moeilijke (laag-waarschijnlijke) data wordt blootgelegd.
Voor studenten met een lage capaciteit is de haalbare ruimte een strikte subspace. Als de kennis die door laag-waarschijnlijke data wordt blootgelegd buiten deze subspace ligt, kan de student dit niet leren, waardoor de supervisie ineffectief wordt. Hoog-waarschijnlijke data, die dichter bij de huidige representatie van de student ligt, bevindt zich binnen deze haalbare ruimte, wat incrementele maar beperkte verbetering mogelijk maakt.

Belangrijkste Bijdragen

Capaciteitsafhankelijke Dataselectie: Het paper toont aan dat hoog-waarschijnlijke data niet universeel optimaal is. De effectiviteit van likelihood-gebaseerde selectie wordt beheerst door een interactie tussen de datadistributie, modelcapaciteit en de rekenbudget.
Analyse van Leeringsdynamiek: De auteurs karakteriseren het "Fast-Fit / Slow-Gain" fenomeen, waarbij zij laten zien dat kleine modellen profiteren van makkelijke data voor snelle convergentie, terwijl grote modellen harde data nodig hebben voor langetermijnverbetering van hun capaciteiten.
Theoretisch Kader: Er is een capaciteitsbeperkt perspectief op distillatie ontwikkeld, dat aantoont dat succesvolle transfer vereist dat de blootgestelde teacher-kennis binnen de representeerbare subspace van de student ligt. Dit verklaart waarom laag-waarschijnlijke data faalt voor kleine modellen, maar succesvol is voor grotere modellen.

Betekenis en Claims

Het paper concludeert dat dataselectiestrategieën voor redeneren niet als een "one-size-fits-all" regel moeten worden behandeld. In plaats daarvan moeten beoefenaars rekening houden met de specifieke beperkingen van hun setup:

Voor kleine modellen of beperkte rekenbudgetten: Is hoog-waarschijnlijke data te verkiezen voor het bereiken van snelle, stabiele en efficiënte vroege verbeteringen.
Voor grote modellen met voldoende trainingsbudgetten: Wordt laag-waarschijnlijke data steeds waardevoller, omdat het het potentieel biedt voor aanzienlijk hogere uiteindelijke prestaties door het model richting de teacher-distributie te duwen.

De auteurs benadrukken dat de "beste" dataselectiestrategie contextafhankelijk is, bepaald door de studentcapaciteit en de beschikbare trainingsduur in samenhang. Dit werk verfijnt het begrip van distillatie en data-engineering, door verder te gaan dan eenvoudige heuristieken naar een meer genuanceerde, capaciteitsbewuste aanpak.