💬 NLP

Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

Dit artikel introduceert een kader voor het traceren van de herkomst van redeneeracties in gedistilleerde modellen om hun generalisatie te analyseren en een principiële methode voor dataselectie op basis van leermeester-student divergentie voor te stellen.

Oorspronkelijke auteurs: Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaiyuan Liu, Shaotian Yan, Rui Miao, Bing Wang, Chen Shen, Jun Zhang, Jieping Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Wie doet eigenlijk het werk?

Stel je voor dat je een beginneling (de student) wilt leren hoe je een ingewikkeld wiskundeprobleem oplost. Je hebt een meester (de leraar) die hier al jaren ervaring mee heeft.

De gebruikelijke manier om de student te leren, is kennisdistillatie:

De meester lost het probleem stap voor stap op en schrijft alles op.
De student leest deze antwoorden en probeert ze uit het hoofd te leren, zodat hij in de toekomst precies zo kan denken.

Maar hier zit een addertje onder het gras: Wat als de student alleen maar de woorden van de meester nabootst, maar niet echt begrijpt waarom de meester zo denkt? Als de student dan een nieuw probleem krijgt (waar de meester geen antwoord op heeft geschreven), valt hij dan terug op zijn eigen oude, slechte gewoonten, of denkt hij nog steeds als een meester?

Tot nu toe wisten onderzoekers dit niet zeker. Ze zagen alleen dat de student beter werd, maar niet waarom.

De Oplossing: Een "DNA-Test" voor zinnen

De auteurs van dit papier hebben een nieuwe methode bedacht, genaamd "Provenance Tracing" (oorsprongsporing). Ze vergelijken dit met een DNA-test voor zinnen.

Wanneer de student een antwoord geeft, kijken ze niet alleen naar het antwoord zelf, maar ze testen elke zin van dat antwoord drie keer:

Wat zou de Meester zeggen? (De leraar)
Wat zou de Student zeggen? (De leerling, voordat hij getraind was)
Wat zegt de Getrainde Student? (De huidige versie)

Door deze drie meningen te vergelijken, kunnen ze elke zin in het antwoord indelen in vier categorieën:

De Meester-zin: De student zegt iets dat de meester ook zou zeggen, maar de oude student nooit had gezegd. Dit is puur geleerde kennis van de leraar.
- Metafoor: Dit is alsof de student een nieuw, slim recept van de meester heeft overgenomen.
De Student-zin: De student zegt iets dat hij al zelf wist, en de meester ook, maar de leraar heeft hier niets aan veranderd.
- Metafoor: Dit is het oude, vertrouwde gedrag van de student dat blijft bestaan.
De Boost-zin: De student wist het al, maar door de training is hij er nu veel zekerder van en zegt het sneller.
- Metafoor: De leraar heeft de student een "energiebatterij" gegeven voor iets dat hij al kon.
De Gedeelde-zin: Beide modellen zeggen precies hetzelfde.

Wat hebben ze ontdekt?

Door deze analyse te doen, ontdekten ze drie belangrijke dingen:

De Meester spreekt het eerst: In het begin van een antwoord (de eerste zinnen) is het vaak de "Meester-zin". De student begint slim door te denken als de leraar.
Niet alles wat oplicht, is goud: Soms activeert de training oude patronen van de student (de "Boost-zinnen"). Soms helpt dit, maar soms zorgt het ervoor dat de student weer domme fouten maakt. Het is niet altijd goed om alles wat de leraar doet te kopiëren; soms moet je je eigen oude gewoonten juist onderdrukken.
De sleutel tot succes: De zinnen die het meest lijken op wat de meester zou zeggen (de "Meester-zinnen"), komen het vaakst voor bij de juiste antwoorden. Als de student meer van deze specifieke zinnen leert, wordt hij slimmer.

De Nieuwe Strategie: Kies de beste voorbeelden

Op basis van deze ontdekking hebben de auteurs een nieuwe manier bedacht om de student te trainen.

De oude manier: Je nam willekeurige voorbeelden of keek alleen naar wat de student al goed kon.
De nieuwe manier (Leraar-gestuurde selectie): Je kijkt naar de trainingstaken en kiest alleen die voorbeelden waar het verschil tussen de leraar en de oude student het grootst is. Je wilt de student juist die zinnen leren die hij nog niet zelf zou bedenken, maar die de leraar wel zegt.

Het is alsof je een student niet laat oefenen met sommen die hij al kan, maar juist met de specifieke stappen waar hij anders vastloopt, maar waar de meester een slimme oplossing voor heeft.

Het Resultaat

Toen ze deze nieuwe methode toepasten, bleek de student significant beter te worden op moeilijke wiskundetoetsen dan met de oude methoden.

Samenvattend:
Deze paper laat zien dat we niet blind moeten vertrouwen op "kopiëren en plakken" bij het trainen van AI. Door te kijken naar de oorsprong van elke zin in een antwoord, kunnen we precies zien wat er echt is geleerd. En door te focussen op de zinnen die echt van de meester komen, kunnen we kleinere, goedkopere modellen maken die net zo slim denken als de grote, dure modellen.

1. Het Probleem

Reasoning distillatie (het overdragen van redeneervermogen van een groot 'leraar'-model naar een kleiner 'student'-model) is een kosteneffectieve methode om de prestaties van studentenmodellen te verbeteren. Echter, er bestaat een fundamenteel gebrek aan inzicht in de herkomst (provenance) van de vaardigheden van het gedistilleerde model.

De centrale vraag is: Behoudt het studentmodel in nieuwe test-situaties daadwerkelijk het redeneergedrag van de leraar, of valt het terug op zijn oorspronkelijke outputpatronen?
Bestaande methoden focussen voornamelijk op het filteren van trainingsdata op basis van heuristieken (bijv. data die het beste aansluit bij de oorspronkelijke verdeling van het studentmodel), zonder te analyseren of de gedistilleerde output echt afkomstig is van de leraar. Dit leidt tot onzekerheid over de generalisatiecapaciteit van deze modellen.

2. Methodologie: Reasoning Distillation Provenance Tracing

De auteurs introduceren een nieuw raamwerk genaamd Reasoning Distillation Provenance Tracing. In plaats van alleen te kijken naar het eindresultaat, analyseren ze elke individuele actie (bijv. een zin) die door het gedistilleerde model wordt gegenereerd.

Het proces:

Data Verzameling: Het gedistilleerde model genereert antwoorden op een testset (bijv. AIME24, GPQA-D).
Probabiliteitsvergelijking: Voor elke gegenereerde zin worden de contexten opnieuw ingevoerd in drie modellen:
- De Leraar ( $M_T$ )
- De Originele Student ( $M_S$ )
- Het Gedistilleerde Model ( $M_D$ )
Berekening: Voor elke zin wordt de geometrische gemiddelde waarschijnlijkheid berekend die elk model toekent aan die specifieke zin.
Classificatie: Op basis van de verschillen in waarschijnlijkheid ( $\Delta$ $Δ$ ) tussen de modellen, worden zinnen ingedeeld in vier categorieën:
- Teacher Sentence: De leraar geeft een veel hogere waarschijnlijkheid dan de originele student. Dit duidt op kennis die specifiek door distillatie is overgedragen.
- Student Sentence: De originele student geeft een veel hogere waarschijnlijkheid dan de leraar. Dit zijn patronen die inherent zijn aan het studentmodel.
- Shared Sentence: Beide modellen hebben vergelijkbare waarschijnlijkheid; de zin was al aanwezig in beide zonder versterking door distillatie.
- Boosted Sentence: Beide modellen hadden de zin al, maar de gedistilleerde model geeft een significant hogere waarschijnlijkheid, wat aangeeft dat distillatie bestaande patronen heeft versterkt.

3. Belangrijkste Bijdragen

Provenance Tracing Framework: Een systematische methode om de oorsprong van elke actie in een redeneertraject te ontwarren. Dit biedt een principieel inzicht in of distillatie echte kennisoverdracht is of slechts versterking van bestaande patronen.
Kwantitatieve Analyse: Het paper toont aan dat gedistilleerde modellen inderdaad "Teacher Sentences" kunnen genereren in onbekende testscenario's. Er is een sterke correlatie gevonden tussen het genereren van Teacher Sentences en het correct beantwoorden van vragen.
Teacher-Guided Data Selection: Gebaseerd op de analyse, stellen de auteurs een nieuwe strategie voor voor het selecteren van trainingsdata. In plaats van te kiezen voor data die het beste past bij het studentmodel (zoals bij GRAPE), selecteert deze methode data waar de divergentie tussen leraar en student het grootst is (dus waar veel "Teacher Sentences" in zitten).

4. Resultaten

De auteurs hebben hun methode getest op diverse leraar/student-paren (bijv. DeepSeek-R1, QwQ, GPT-OSS als leraars; Qwen2.5/3 als studenten) en benchmarks (AIME24, AIME25, MATH500, OlympiadBench).

Analyse van Open-Source Modellen:
- Vroege Fasen: In de vroege stadia van redeneren (planning en analyse) zijn "Teacher Sentences" dominant en sterk geassocieerd met correcte antwoorden.
- Latere Fasen: "Boosted Sentences" (versterkte interne patronen) komen vaak voor, maar niet alle versterking is nuttig. Bij kleinere modellen kunnen versterkte interne patronen zelfs leiden tot fouten.
- Correlatie: Een hogere frequentie van Teacher Sentences correleert direct met hogere nauwkeurigheid.
Prestatieverbetering (Data Selectie):
- De voorgestelde Teacher-Guided Data Selection overtreft zowel de "Vanilla" (willekeurige selectie) als de state-of-the-art GRAPE-methode (die kiest op basis van student-afstemming).
- Gemiddeld werd een verbetering van 1,7% tot 2,5% behaald op de testsets.
- De methode bleek effectief in zowel wiskundige als wetenschappelijke domeinen, waarbij training op wetenschappelijke data met veel Teacher Sentences ook de prestaties op wiskundetests verbeterde.

5. Betekenis en Impact

Dit paper is significant omdat het de "black box" van reasoning distillatie opent. Het beweert dat distillatie niet alleen een kwestie is van het kopiëren van output, maar van het activeren en versterken van specifieke redeneerpaden die van de leraar komen.

Theoretisch Inzicht: Het biedt een nieuwe manier om modelgedrag te analyseren door te kijken naar de "stamboom" van een output (leraar vs. student) in plaats van alleen semantische interpretatie.
Praktische Toepassing: De voorgestelde data-selectiestrategie biedt een eenvoudige maar effectieve manier om de efficiëntie van distillatie te maximaliseren zonder extra trainingskosten, door simpelweg de juiste data te kiezen op basis van leraar-student divergentie.
Toekomst: Het raamwerk kan worden gebruikt om te bepalen welk leraarmodel verantwoordelijk is voor specifieke vaardigheden in een studentmodel, wat belangrijk is voor het auditen van AI-systemen.

Kortom, het paper bewijst dat succesvolle reasoning distillatie afhangt van het vermogen van het studentmodel om leraar-georiënteerde acties te reproduceren in nieuwe contexten, en biedt een meetbare methode om dit te optimaliseren.