Technische Samenvatting: Distillatie van Structurele Rationale via Compressie van de Redeneringsruimte (D-RPC)

Probleemstelling

Kennisdistillatie heeft tot doel Small Language Models (SLM's) te trainen om te redeneren door Large Language Model (LLM)-docenten na te bootsen. Er bestaat echter een kritieke bottleneck: docenten genereren vaak rationale voor vergelijkbare problemen met sterk uiteenlopende structuren en strategieën. Deze inconsistentie fungeert als ruisende supervisie, waardoor het voor studenten moeilijk wordt om herbruikbare redeneerpatronen te internaliseren. Bovendien vereist het dekken van alle geldige oplossingspaden overmatige docentgeneraties, wat de kosten opdrijft, en kan sterk variërende supervisie hallucinaties tijdens fine-tuning versterken. Bestaande pogingen om dit te mitigeren via gestructureerde redenering (bijvoorbeeld hiërarchische sjablonen) leggen vaak zware contextlasten op die SLM's vanwege hun beperkte capaciteit en contextvensters moeite hebben te benutten. De kernuitdaging bestaat erin de redeneringsruimte van de docent te comprimeren tot een compacte, consistentiebehoudende structuur vóór distillatie, zonder te vertrouwen op uitgebreide sjablonen.

Methodologie: Distillatie via Compressie van Redeneringspaden (D-RPC)

De auteurs stellen D-RPC voor, een raamwerk dat de docent beperkt tot het volgen van een compacte, dynamisch onderhouden bank van herbruikbare hoogwaardige redeneringspaden. Het proces verloopt in drie fasen:

1. Initialisatie van de Redeneringsbank:

   • Een zaadset van vragen (5% van de trainingsdata) wordt opgelost door de docent.
   • De docent koopt categorie- en intentielabels toe aan elke vraag.
   • Hoogwaardige redeneringspaden (abstracte reeksen stappen) worden uit de zaadset gehaald.
   • Intenties worden ingebed en geclusterd (met DBSCAN) om "canonieke intenties" te vormen.
   • Er wordt een bank voor redeneringspaden opgezet, waarbij elk paar (categorie, canonieke intentie) wordt gekoppeld aan een set waargenomen redeneringspaden.

2. Bankgeleide Supervisie:

   • Voor elke nieuwe trainingsvraag voorspelt de docent de categorie en intentie.
   • Het systeem haalt de top-$K$ kandidaatpaden uit de bank op die het beste overeenkomen met de intentie van de vraag (met behulp van vraagembeddings in plaats van oppervlakkige intentiestrings om ruis te hanteren).
   • De docent wordt gekonditioneerd op deze opgehaalde paden om een gedetailleerde rationale te genereren. Als een nieuw, correct pad wordt ontdekt, wordt het gebufferd en periodiek via herclustering teruggevoegd in de bank, waardoor de bank dynamisch kan groeien.
   • De resulterende supervisie-tuples (Vraag, Pad, Rationale, Antwoord) worden verzameld.

3. Fine-tuning van de Student:

   • De student-SLM wordt gefine-tuned met LoRA (Low-Rank Adaptation) op de verzamelde supervisie-tuples.
   • Omdat gerelateerde vragen redeneringspaden delen, vertoont het supervisiessignaal lagere variantie, wat de internalisatie van herbruikbare strategieën faciliteert.

Theoretische Analyse

Het artikel biedt een PAC-Bayes generalisatiegrens om de afweging tussen bankgrootte ($K_{bank}$) en dekking te formaliseren.

• De Afweging: Een kleinere bank vermindert de supervisie-entropie (verbetering van consistentie) maar riskeert dekkingstekorten (verhoging van de benaderingsbias). Een grotere bank verbetert de dekking maar verhoogt de supervisie-entropie en vermindert het delen van parameters.
• De Grens: De generalisatiekloof schaalt met $\sqrt{M \cdot N}$, waarbij $M$ een term bevat $\log K_{bank}$. De analyse voorspelt een optimale tussengrootte van de bank die de afwijkingsterm minimaliseert.
• LoRA-specifieken: De analyse maakt gebruik van de LoRA-parametrisatie om aan te tonen dat banken de verlieswaarde van het bevroren model ($\hat{b}_{LS}(0)$) kunnen verlagen, waardoor de complexiteitsterm van de grens wordt aangescherpt.

Belangrijkste Bijdragen

1. D-RPC Raamwerk: Een nieuwe methode die de redeneringsruimte van de docent comprimeert tot een dynamische bank van canonieke paden, waarbij vergelijkbare vragen worden gerouteerd naar gedeelde strategieën om divergentie van rationale te verminderen.
2. Theoretische Formalisering: Een PAC-Bayes-grens die de bankgrootte expliciet koppelt aan generalisatieprestaties, waarbij een optimale tussengrootte van de bank wordt geïdentificeerd die hergebruik en dekking in evenwicht brengt.
3. Empirische Superioriteit: Toont consistente verbeteringen ten opzichte van Chain-of-Thought (CoT), vrije generatie, directe distillatie en gestructureerde-supervisie-baselines over vijf benchmarks (GSM8K, AQUA, StrategyQA, AI2ARC, MATH) en twee studentenmodellen (Llama 3.1 8B, Qwen 3 1.7B).
4. Efficiëntie: Bereikt hogere nauwkeurigheid met minder tokens dan alternatieven die zwaar zijn op sjablonen, zoals SuperCorrect.

Experimentele Resultaten

• Prestaties: D-RPC behaalde de hoogste nauwkeurigheid op alle vijf benchmarks voor beide studentenmodellen. Opmerkelijk is dat D-RPC op de uitdagende MATH-benchmark de volgende beste methode versloeg met +3,53 punten (Llama) en +10,51 punten (Qwen) ten opzichte van standaard CoT.
• Ablatiestudies:
  • Bankgrootte: De prestaties piekten bij een tussengrootte van de bank (75 paden voor GSM8K), wat de theoretische afweging bevestigt. Te weinig paden veroorzaakten dekkingstekorten; te veel verwaterden het hergebruik.
  • Initialisatie: Heterogene initialisatie (een diverse zaadset) bood voordelen bij lage datavolumes, maar het verschil verdween bij voldoende trainingsdata.
  • Mecanisme: Het uitschakelen van de bank (terugkeren naar vrije generatie) degradeerde consequent de prestaties, wat bevestigt dat padgeleide supervisie een signaal met lagere variantie biedt.
• Theoretische Validatie: Empirische metingen van de componenten van de grens bevestigden dat banken de NLL van het bevroren model en de generalisatiekloof verlagen, in overeenstemming met de theoretische voorspellingen.

Betekenis en Claims

Het artikel beweert dat D-RPC de upstream-variantie in docentrationale aanpakt, waardoor een schonere, consistenter signaal voor studententraining wordt geboden. In tegenstelling tot eerdere werken die rationale aan de studentkant herstructureren of uitgebreide sjablonen gebruiken die SLM's belasten, comprimeert D-RPC de redeneringsruimte vóór de generatie. De auteurs stellen dat effectieve distillatie afhankelijk is van het comprimeren en hergebruiken van de redeneringsruimte in plaats van het genereren van langere of meer uitgebreide rationale. De resultaten suggereren dat het structureren van de supervisieverdeling vóór training een lichtgewicht en effectieve strategie is om de redeneercapaciteiten van SLM's te verbeteren, met name in domeinen met hoge heterogeniteit van oplossingen. Het werk blijft bescheiden wat betreft zijn scope, met de opmerking dat experimenten beperkt waren tot specifieke docent/student-paren en redeneringsdomeinen (wiskunde en gezond verstand), en dat de theoretische grenzen momenteel specifiek zijn voor fine-tuning op basis van LoRA.