Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective

Probleemstelling

Chain-of-Thought (CoT) distillatie is een techniek waarbij een kleiner, efficiënter "student"-model wordt getraind om het redeneergedrag van een groter "leraar"-model na te bootsen. Een veelbesproken fenomeen in dit domein is de capaciteitskloof (capacity gap): het idee dat distillatie faalt of slechter presteert wanneer er een te grote discrepantie is tussen de capaciteiten van de leraar en de student.

Eerdere studies suggereren dat de sterkste beschikbare leraar niet altijd de beste keuze is en dat practitioners een zorgvuldig afgestemde leraar moeten zoeken. Dit artikel betoogt echter dat deze conclusies gebaseerd zijn op onrealistische experimentele protocollen die de praktische bruikbaarheid van CoT-distillatie vertekenen. De auteurs identificeren drie kritieke fouten in bestaande evaluaties:

1. Gebrek aan pre-distillatie-baselines: Bestaande studies vergelijken alleen de resultaten na distillatie. Ze negeren of distillatie überhaupt een verbetering is ten opzichte van het oorspronkelijke, niet-getrainde studentmodel. Recentere LLM's hebben vaak al sterke redeneercapaciteiten; distillatie kan deze zelfs verslechteren (catastrophic forgetting).
2. Cross-teacher data filtering: Veel studies filteren trainingsdata zodat alleen voorbeelden worden gebruikt waar beide leraars het juiste antwoord geven. Dit neutraliseert het voordeel van een sterkere leraar (die meer voorbeelden correct kan oplossen) en creëert een kunstmatige setting die niet overeenkomt met de praktijk.
3. Ongewenste student-groottes: Sommige studies testen scenario's waarbij de student groter is dan de leraar, wat strijdig is met het primaire doel van distillatie: kostenreductie door kennis over te dragen naar een kleiner model.

Methodologie

De auteurs herzien de evaluatieprotocollen om deze meer realistisch en praktisch te maken. Ze voeren systematische experimenten uit over meerdere model-families (voornamelijk Qwen2.5 en Gemma-2) en verschillende taakcomplexiteiten.

Aangepast Evaluatieprotocol:

1. Selectie op basis van verwachte winst: In plaats van willekeurige benchmarks, selecteren ze taken waar CoT-distillatie waarschijnlijk werkt. Ze gebruiken de prestatie-kloof in few-shot In-Context Learning (ICL) tussen leraar en student als proxy. Taken met een grote kloof (>30%) worden geselecteerd, aangezien dit suggereert dat de student extra kennis nodig heeft. Ze focussen op BIG-Bench Hard (BBH) taken, omdat deze specifieke patronen vereisen die niet alleen door pre-training worden opgepikt.
2. Verwijdering van cross-teacher filtering: Voor elke leraar worden alle voorbeelden gebruikt die die specifieke leraar correct oplost. Dit laat sterkere leraars hun hogere nauwkeurigheid benutten door meer trainingsdata te genereren.
3. Beperking tot efficiëntie-gedreven settings: Experimenten worden strikt beperkt tot scenario's waar de student kleiner is dan de leraar.

Experimentele Opzet:

• Leraars: Qwen2.5-14B/72B (klein/groot) en Qwen2.5-32B/QwQ-32B (kort/lang CoT).
• Studenten: Qwen2.5-0.5B tot 7B (en 14B/32B met LoRA).
• Benchmarks: 15 geselecteerde taken uit BBH.
• Vergelijking: Pre-distillatie baseline vs. gedistilleerde modellen.

Belangrijkste Bijdragen

1. Identificatie van valkuilen: De auteurs tonen aan dat bestaande protocollen vaak leiden tot misleidende conclusies omdat ze niet controleren of distillatie überhaupt nuttig is (vaak degradeert de prestatie inderdaad ten opzichte van de baseline).
2. Her-evaluatie van de capaciteitskloof: Onder realistische omstandigheden blijkt dat de capaciteitskloof niet overal dominant is.
3. Praktische richtlijnen: Ze bieden actievere adviezen voor practitioners, gebaseerd op empirische bewijzen in plaats van theoretische aannames.

Resultaten

De experimentele resultaten leveren een verrassend maar duidelijk beeld op:

• Distillatie is niet altijd gunstig: In veel configuraties (vooral op wiskundige benchmarks zoals in de eerdere studies gebruikt) degradeert de prestatie van de student na distillatie ten opzichte van de pre-distillatie baseline. Dit bevestigt dat de eerdere experimentele settings onrealistisch waren voor praktische toepassing.
• De capaciteitskloof is niet universeel dominant: Op de geselecteerde BBH-taken waar distillatie wel werkt, is het effect van de capaciteitskloof inconsistent. Hoewel het in sommige gevallen zichtbaar is (waarbij een kleinere leraar soms beter presteert bij zeer kleine studenten), is dit niet de regel.
• Sterke leraars winnen bij grote prestatiekloof: Wanneer er een aanzienlijk prestatieverschil is tussen kandidaat-leraars (bijv. een leraar die 1,3x tot 1,9x meer correcte voorbeelden genereert), overweegt het voordeel van de sterkere leraar de negatieve effecten van de capaciteitskloof. De sterkere leraar produceert consequent betere of vergelijkbare studenten, ongeacht de grootte van de student.
• Data-kwantiteit is cruciaal: Een ablatiestudie toont aan dat het voordeel van sterkere leraars grotendeels wordt gedreven door de toename van de hoeveelheid trainingsdata (door hun hogere nauwkeurigheid), en niet alleen door de kwaliteit van de redenering. Wanneer data-filtering wordt toegepast om de datasetgrootte gelijk te maken, verdwijnt het voordeel van de sterkere leraar vaak.

Significantie en Conclusie

Dit artikel verschuift het perspectief op CoT-distillatie van een theoretisch probleem (de capaciteitskloof) naar een praktisch probleem (het selecteren van de juiste leraar voor een specifieke taak).

Kernboodschap voor practitioners:

1. Verifieer eerst: Controleer altijd of distillatie een verbetering oplevert ten opzichte van het oorspronkelijke studentmodel. Als dit niet het geval is, is distillatie niet nuttig voor die taak.
2. Kies de sterkste leraar: Als distillatie wel werkt en er zijn kandidaat-leraars met een aanzienlijk prestatieverschil, kies dan altijd de hoogst presterende leraar. De extra hoeveelheid trainingsdata en de overkoepelende voordelen wegen zwaarder dan de mogelijke negatieve effecten van een grote capaciteitskloof.

De studie benadrukt dat methodologische zorgvuldigheid essentieel is: een veelgeciteerd fenomeen (de capaciteitskloof als beperkende factor) blijkt gevoelig te zijn voor het evaluatieontwerp. Door de protocollen te corrigeren, krijgen we een beeld dat beter overeenkomt met de realiteit van het implementeren van LLM's.