🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

Dit artikel toont aan dat het finetunen van een compact Qwen2.5-7B studentmodel met Chain-of-Thought-data gedestilleerd van de DeepSeek-R1 leraar via een dual-agent framework en early stopping de nauwkeurigheid op de John O'Bryan Mathematics Competition en MATH-500 benchmarks aanzienlijk verbetert, terwijl het ook onthult dat kortere responslengtes correleren met een verminderde kwaliteit van de redenering.

Oorspronkelijke auteurs: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldklasse wiskundeleraar hebt (laten we hem Professor DeepSeek noemen) die ongelooflijk moeilijke competitieproblemen kan oplossen. Hij is geweldig, maar hij is ook enorm, traag en vereist een massale supercomputer om te draaien. Je wilt een kleinere, snellere en goedkopere student leren (laten we haar Student Qwen noemen) om als de professor te denken, zodat zij hetzelfde werk kan doen op een gewone laptop.

Dit artikel is het verhaal van hoe de onderzoekers probeerden de student te onderwijzen met behulp van een specifieke set wiskundeproblemen van de John O'Bryan Mathematics Competition (een echte wedstrijd die van 2011 tot 2025 werd gehouden aan Northern Kentucky University).

Hier is het verhaal van hun experiment, eenvoudig uitgelegd:

1. De Trainingsmethode: "Laat je berekening zien"

De onderzoekers gaven de student niet alleen de eindantwoorden. Ze gebruikten een speciale techniek genaamd Chain-of-Thought (CoT) Distillation.

De Leraar: Eerst loste de "Professor DeepSeek" 671 problemen uit eerdere competities op. Maar in plaats van alleen het antwoord te schrijven, schreef hij elke stap van zijn denkproces uit, zoals een leerling die zijn berekeningen laat zien bij een toets.
De Verificateur: Een tweede AI controleerde het werk van de Professor om te controleren of de stappen daadwerkelijk correct waren. Alleen de perfecte oplossingen werden bewaard.
De Student: De "Student Qwen" (een kleiner model) werd vervolgens getraind om deze stapsgewijze oplossingen na te bootsen.

2. De "Over-oefen" Valstrik

De onderzoekers stuitten op een klassiek probleem: Overfitting.
Stel je voor dat een student de exacte antwoorden op een oefentoets uit het hoofd leert in plaats van de wiskundige concepten te begrijpen. Als je haar een iets andere vraag geeft, faalt ze.

De onderzoekers lieten de student aanvankelijk trainen voor 1.000 "rondes" (iteraties).
Het Resultaat: De student begon de specifieke woorden van de trainingsproblemen te memoriseren in plaats van de logica te leren. Haar prestaties werden op nieuwe problemen zelfs slechter.
De Oplossing: Ze realiseerden zich dat de student haar piek bereikte bij 200 rondes. Daarna was ze alleen nog maar aan het kopiëren. Dus stopten ze de training vroegtijdig (bij 200 rondes) om haar "vers" en in staat tot generaliseren te houden.

3. De Resultaten: Een Solide Verbetering

Door vroegtijdig te stoppen, verbeterde de student aanzienlijk:

Vóór de Training: De student kreeg ongeveer 65% van de competitieproblemen goed.
Na de Training: Zij sprong naar ongeveer 69,4%.
De Bonus: Ze werd niet alleen beter in deze specifieke problemen; ze werd ook beter in een ander, beroemd wiskundig benchmark genaamd MATH-500, wat bewees dat ze daadwerkelijk de vaardigheid van redeneren had geleerd, en niet alleen de antwoorden.

4. Het "Woordtelling" Experiment

De onderzoekers wilden weten: Hoeveel "denkruimte" heeft de student nodig?
Ze dwongen de student om problemen op te lossen met strikte limieten op het aantal woorden dat ze mocht schrijven (zoals een strikte woordtelling bij een toets).

Geen Limiet (R1): Ze schreef ongeveer 220 woorden en kreeg 69% goed.
Matige Limiet (R2): Ze schreef ongeveer 120 woorden en zakte naar 62%.
Strakke Limiet (R6): Ze werd gedwongen om slechts ongeveer 31 woorden te schrijven. Haar nauwkeurigheid stortte in naar 42%.

De Analogie: Het is alsof je iemand vraagt een complexe puzzel op te lossen. Als je hen een klein notitieblok geeft (weinig woorden), moeten ze stappen overslaan en gokken. Als ze een volledig schrift hebben (veel woorden), kunnen ze de logica opschrijven en het goed doen. De studie vond dat je voor deze moeilijke problemen ongeveer 50 tot 100 woorden aan "denkruimte" nodig hebt om een goed antwoord te krijgen.

5. Waar Zij Moeite Mee Had

Snelheid vs. Logica: De student was het zwakst in de sectie "Two-Person Speed" van de competitie. Deze problemen vereisten snelle, meerstapsberekeningen. Wanneer de woordtelling krap was, kon ze de noodzakelijke berekeningsstappen niet passen, en haar nauwkeurigheid daalde harder dan in andere secties.
Opmaakfouten: Interessant genoeg vonden de onderzoekers dat ongeveer 40% van de fouten van de student niet kwam doordat ze slecht was in wiskunde. Ze had het juiste getal eigenlijk wel goed, maar schreef het op een slordige manier (zoals het onveranderd laten van een breuk of het vergeten om het antwoord in een kader te zetten). Als een mens of een simpel script haar handschrift had opgeschoond, zou haar score nog hoger zijn geweest.

De Kern van het Verhaal

Dit artikel bewijst dat je een gigantische, krachtige AI kunt nemen en een kleinere, goedkopere AI kunt leren om effectief door wiskundeproblemen te redeneren, maar alleen als je de training stopt voordat ze begint met het uit het hoofd leren.

Er is echter een addertje onder het gras: Denken kost ruimte. Als je de AI dwingt om te beknopt te zijn (te weinig woorden), verliest ze het vermogen om moeilijke problemen op te lossen. De "sweet spot" voor dit soort wiskundecompetities lijkt het toestaan van genoeg ruimte om ongeveer 50 tot 100 woorden aan redenering op te schrijven te zijn.

Technische Samenvatting: Kennisdistillatie van Grote Redeneermodellen naar Compacte Studentmodellen

Probleemstelling

Large Language Models (LLM's) met geavanceerde wiskundige redeneercapaciteiten, zoals DeepSeek-R1, vereisen vaak aanzienlijke computationele middelen, waardoor lokale implementatie onpraktisch is. Hoewel Kennisdistillatie (Knowledge Distillation, KD) een weg biedt om redeneercapaciteiten over te dragen aan kleinere, efficiëntere "studentmodellen", leunt bestaand onderzoek voornamelijk op generieke benchmarks (bijv. MATH-500, GSM8K) die kunnen lijden onder contaminatie van de pretraining-data. Er is een gebrek aan begrip over hoe distillatie presteert op domeinspecifieke, door experts gecureerde probleemsets met een lager risico op contaminatie, en hoe specifieke beperkingen, zoals token-budgetten, de kwaliteit van gedistilleerd redeneren beïnvloeden.

Methodologie

De auteurs stellen een pijplijn voor om redeneercapaciteiten te distilleren van een groot docentmodel naar een compact studentmodel met behulp van de John O'Bryan Mathematics Competition (2011–2025) als een gespecialiseerde corpus.

1. Datasetconstructie

Corpus: 671 problemen verspreid over 15 jaar, gecategoriseerd in Freshman/Sophomore, Junior/Senior, en Two-Person Speed secties.
Splitsing: Chronologische splitsing werd toegepast om datalekken te voorkomen: 2011–2021 (Training), 2022–2023 (Validatie), en 2024–2025 (Test).
Dual-Agent Framework: Een tweestaps-proces met de DeepSeek-R1 API:
- Agent 1 (Solver): Genereert stapsgewijze Chain-of-Thought (CoT) redeneersporen.
- Agent 2 (Verifier): Valideert de output van de solver tegen het grondwaarheid-antwoord, en geeft een CORRECT/INCORRECT oordeel terug.
- Alleen sporen die als correct zijn geverifieerd (594 van de 651 pogingen) werden behouden voor training.

2. Modelarchitectuur en Training

Docent (Teacher): DeepSeek-R1 (verkregen via API).
Student: Qwen2.5-7B-Instruct (4-bit gekwantiseerd).
Fine-Tuning: Low-Rank Adaptation (LoRA) werd toegepast met het MLX-framework op Apple Silicon hardware.
- Configuratie: Rank $r=8$ , $\alpha=16$ , dropout $0.05$, gericht op query, key, value, en output projectie modules.
- Parameters: 11.534M traineerbare parameters (0.151% van het totaal).
Trainingsprotocol:
- Diagnostische Run: Een run van 1.000 iteraties identificeerde ernstige overfitting, waarbij de validatieverlies minimaliseerde bij iteratie 200 voordat deze weer steeg.
- Finale Runs: Vijf onafhankelijke trainingsruns werden uitgevoerd, elk beperkt tot 200 iteraties met verschillende random seeds (42, 123, 256, 512, 999) om stabiliteit te garanderen.
- Early Stopping: Modellen werden gefuseerd en geëvalueerd op basis van het 200-iteratie checkpoint.

3. Evaluatiestrategie

Metrieken: Antwoordnauwkeurigheid (beoordeeld door DeepSeek-R1 om equivalente wiskundige vormen af te handelen) en perplexiteit.
Generalisatie: Out-of-domain evaluatie op de MATH-500 benchmark.
Token Budget Experiment: Het gefinetunede model werd geëvalueerd onder zes redeneringsniveaus (R1–R6) met progressief beperkte tokenlimieten (van onbeperkt tot beneden de 100 tokens) om de impact van responslengte op de kwaliteit van het redeneren te beoordelen.

Belangrijkste Resultaten

Prestatiewinst

Base Model: Qwen2.5-7B behaalde 64,67% nauwkeurigheid op de competitie-testset.
Gedistilleerd Model: Het met LoRA gefinetunede model van 200 iteraties behaalde een gemiddelde nauwkeurigheid van 69,43% ± 0,17%, een verbetering van 4,76 procentpunt.
Stabiliteit: De smalle standaarddeviatie (0,17 pp) over vijf seeds bevestigt dat de verbetering robuust is en geen artefact is van initialisatie.
Overfitting: Doorgaan met trainen tot 1.000 iteraties resulteerde in een lagere nauwkeurigheid (67,59%) en hogere perplexiteit, wat bevestigt dat early stopping cruciaal is voor kleine-corpus distillatie.

Generalisatie

Op de MATH-500 benchmark verbeterde het gedistilleerde model van een basis van 70,1% naar 73,1% ± 0,18%.
De prestatiewinsten waren ongelijk verdeeld over onderwerpen: significante verbeteringen werden gezien in Algebra (93,5%) en Getaltheorie (82,3%), die goed vertegenwoordigd zijn in de trainingscorpus, terwijl Intermediate Algebra, Meetkunde en Precalculus zwakkere prestaties lieten zien.

Impact van Token Budget

Lengte vs. Nauwkeurigheid: Er is een consistente daling in nauwkeurigheid naarmate de tokenbudgetten krimpen.
- R1 (Onbeperkt, ~220 woorden): 69,43%
- R6 (100 tokens, ~31,2 woorden): 41,9%
Kritieke Drempelwaarde: De meest significante daling vond plaats tussen R3 (~~96 woorden) en R4 (~~55 woorden), wat suggereert dat er een praktische ondergrens is van 50–100 woorden voor meerstaps-competitieproblemen.
Sectiegevoeligheid: De "Two-Person Speed" sectie was het meest gevoelig voor reductie van tokens, met een daling van 34,5 procentpunt van R2 naar R6, terwijl conceptuele secties (Freshman/Sophomore, Junior/Senior) robuuster waren.

Foutanalyse

Kwalitatieve analyse van 197 incorrecte reacties onthulde dat 40% van de fouten te wijten was aan formattering of extractieproblemen (bijv. niet-gerenderde LaTeX, niet-vereenvoudigde breuken) in plaats van wiskundige redeneerfouten. Dit suggereert dat post-processing een aanzienlijk deel van deze fouten zou kunnen herstellen zonder hertraining.

Betekenis en Claims

Het artikel beweert de eerste studie te zijn die CoT-distillatie toepast op de John O'Bryan Mathematics Competition corpus, wat een gecontroleerde omgeving biedt met een laag risico op contaminatie. De primaire bijdragen zijn:

Aantonen van Leefbaarheid: Bewijzen dat CoT-distillatie via LoRA met early stopping effectief redeneercapaciteiten kan overdragen van een groot model (DeepSeek-R1) naar een compact model (Qwen2.5-7B) op domeinspecifieke data.
Kwantificeren van Beperkingen: Vaststellen dat responslengte een cruciale factor is voor de kwaliteit van wiskundig redeneren, waarbij een praktisch vloerwaarde voor het token-budget voor meerstaps-problemen wordt geïdentificeerd.
Methodologische Rigor: Benadrukken van de noodzaak van early stopping bij fine-tuning op kleine corpora en de waarde van multi-seed validatie voor stabiliteit.

De auteurs hanteren een bescheiden toon en merken op dat het model nog niet klaar is voor volledig autonoom educatief gebruik vanwege de ~30% foutenmarge en potentiële biases van de single-institution corpus. Zij positioneren het model als een hulpmiddel voor het opstellen van concepten binnen mens-in-de-lus workflows en suggereren dat toekomstig werk zich moet richten op diverse corpora en training op gecomprimeerde CoT-sporen om de prestaties onder strikte token-beperkingen te verbeteren.