Technische Samenvatting: Schalingswetten voor Taakspecifieke LLM-distillatie

Probleemstelling

Grote taalmodellen (LLM's) kampen met aanzienlijke uitdagingen bij de implementatie in applicaties waar latentie en kosten een cruciale rol spelen, met name in domeinen zoals kwantitatieve financiën. Hoewel LLM's sterke prestaties leveren, staat hun schaal vaak de efficiënte inzet in de weg. Dit artikel behandelt de afweging tussen het comprimeren van LLM's voor specifieke taken en het behouden van hun brede algemene kenniscapaciteiten. De auteurs onderzoeken hoe prestaties binnen het domein en het behoud van algemene kennis schalen met de datasetgrootte, compressieratio, supervisieformaat en iteratieve pruning-schema's. De studie richt zich op een financiële nieuwsgebeurtenis-classificatietaak met 35 klassen, een representatieve productiewerkbelasting, om empirische schalingswetten af te leiden die beoefenaars begeleiden bij het maken van domeinspecifieke compressiebeslissingen.

Methodologie

Data en Opzet

De auteurs hebben een synthetische dataset geconstrueerd, FinHeadlineMix, bestaande uit 500.000 financiële nieuwsheadlines gegenereerd door NVIDIA's Nemotron-3-Nano-30B model. Labels werden toegewezen door een Qwen3-32B teacher-model in "thinking mode" (het genereren van Chain-of-Thought traces vóór de uiteindelijke klasse). De dataset bevat ongeveer 2,6 miljard trainings-tokens. Het teacher-model werd geselecteerd vanwege de vergelijkbare prestaties met grotere modellen (bijv. Llama-3.1-405B) op de in-domain taak, terwijl het een beheersbare inferentie-voetafdruk behield.

Kerntechnieken

De studie evalueert compressie via structured pruning (gecombineerde diepte- en breedtevermindering) en knowledge distillation (KD).

1. Pruning: Een lichtgewicht Neural Architecture Search (NAS) selecteert optimale configuraties van diepte- en breedte-pruning om aan doelgrootte-beperkingen te voldoen, terwijl de hardware-efficiëntie behouden blijft (met gebruik van standaard dense kernels).
2. Distillatiemethoden: Het artikel vergelijkt vier configuraties gebaseerd op twee assen:
   • Methodecomplexiteit: LoRA-gebaseerd (low-rank adapters) versus Logit-gebaseerd (volledige gewicht-updates via KL-divergentie).
   • Denkdiepte: Alleen-label supervisie versus Blended Chain-of-Thought (CoT) supervisie.
3. Blended CoT-supervisie: Een nieuwe bijdrage is een blended supervisieverlies dat label-tokens en CoT-redenering-tokens onafhankelijk van elkaar weegt. Dit stabiliseert de KL-divergentie-distillatie over redeneer-traces, waardoor wordt voorkomen dat de gradiënt verwatert over diffuse CoT-tokens. De loss is geformuleerd als $L = \lambda \ell_{label} + (1-\lambda) \ell_{cot}$, waarbij $\lambda=0.5$ het meest stabiel bleek.
4. Iteratieve Pruning en Distillatie: De auteurs hanteren een iteratieve strategie waarbij het model in stappen wordt gepruned (bijv. 21 procentpunten per stap) en in elke fase wordt gedistilleerd vanaf de originele teacher. Dit staat in contrast met single-step pruning, wat vaak leidt tot prestatie-instorting bij extreme compressieratio's.

Evaluatie

Modellen worden geëvalueerd op:

• In-domain prestaties: Macro F1, Gold-label Negative Log-Likelihood (NLL) en Brier Score op de financiële gebeurtenis-classificatietaak.
• Algemene kennisbehoud: MMLU en MMLU-Pro benchmarks.
• Self-Distillation Baselines: Om de kosten van compressie te isoleren van de kosten van het trainingsproces zelf, voeren de auteurs distillatie uit op ongepruned teachers. Dit stelt een "distribution shift" plafond vast, wat aantoont dat de door training geïnduceerde prestatiekloof ongeveer twee keer zo groot is als die veroorzaakt door compressie alleen.

Belangrijkste Bijdragen

1. Empirische Schalingswetten: Het artikel leidt schalingswetten af die kwantificeren hoe prestaties schalen met datasetgrootte, compressieratio en supervisieformaat voor domeinspecifieke LLM-compressie.
2. Supervisieformaat als Cruciale Factor: De studie identificeert dat de keuze van het supervisieformaat (Alleen-label versus Blended CoT) de primaire determinant is van de afweging tussen in-domain prestaties en behoud van algemene kennis.
   • Blended CoT KD: Herstelt actief de verloren gegane algemene kennis tijdens het prunen en verbetert de data-efficiëntie.
   • LoRA: Behoudt het niveau van de algemene kennis dat de pruning overleeft, maar herstelt deze niet actief; het blinkt uit in in-domain kwaliteit bij voldoende data.
   • Direct-Label KD: Verslechtert de algemene kennis aanzienlijk en leidt vaak tot een instorting onder de geprunede baseline bij grotere datasets.
3. Blended CoT Loss: Introductie van een gewogen verliesfunctie die de distributie over CoT-traces stabiliseert, wat het gebruik van redenering-supervisie in decoder-only LLM's op multi-billion parameter schaal mogelijk maakt.
4. Iteratieve Compressieschema's: Demonstratie dat iteratieve pruning met vervallende schema's (bijv. lineair, exponentieel, cosinus) agressievere compressie mogelijk maakt (tot 16% van de oorspronkelijke parameters) terwijl de taakkwaliteit behouden blijft, vergeleken met uniforme of single-step pruning.

Resultaten

• Data-efficiëntie: Blended CoT KD is de meest sample-efficiënte methode en bereikt sterke prestaties met kleine datasets (bijv. 3k–25k voorbeelden). LoRA presteert beter dan Blended CoT KD op in-domain metrieken wanneer grote datasets (bijv. 400k voorbeelden) beschikbaar zijn.
• Algemene Kennisbehoud:
  • Blended CoT KD herstelt algemene kennis (MMLU scores van 54–55) aanzienlijk beter dan de geprunede baseline (40.30).
  • LoRA houdt de algemene kennis nabij het niveau van de geprunede baseline.
  • Direct-Label KD veroorzaakt een catastrofale vergetelheid van algemene kennis, waarbij MMLU-scores instorten naar ~35 bij 400k voorbeelden.
• Compressielimieten: Iteratieve pruning maakt het mogelijk om de teacher te comprimeren tot 16% van de parameters terwijl een betekenende taakkwaliteit behouden blijft (Macro F1 ≈ 0.77). Single-step pruning naar 16% resulteert in significante degradatie (Macro F1 ≈ 0.52).
• Pruning-schema's: Onder de vervallende schema's bereikt Lineaire decay de beste in-domain scores bij de 16% doelstelling. Exponentiële decay biedt de meest stabiele traject en staat verdere compressie toe voorbij 16% (bijv. naar 10–15%) zonder onmiddellijke instorting.
• Training vs. Compressiekosten: Self-distillation baselines laten zien dat de prestatiekloof geïntroduceerd door het trainingsproces (distribution shift) ongeveer twee keer zo groot is als de kloof geïntroduceerd door compressie zelf.

Betekenis en Claims

Het artikel beweert een herbruikbaar framework te bieden voor domeinspecifieke compressiebeslissingen, geworteld in kwantitatieve financiën maar toepasbaar op andere domeinen. De primaire betekenis ligt in de verschuiving van de focus van eenvoudige modelgrootte-reductie naar een genuanceerd begrip van hoe supervisieformaat en compressieschema's interageren.

De auteurs claimen bescheiden dat hun bevindingen "praktische begeleiding" bieden voor beoefenaars:

• Gebruik Blended CoT KD wanneer data schaars is, redeneren cruciaal is, of wanneer behoud van algemene kennis vereist is.
• Gebruik LoRA wanneer grote datasets beschikbaar zijn en behoud van algemene kennis secundair is aan het maximaliseren van de in-domain taakkwaliteit.
• Vermijd Direct-Label KD als behoud van algemene kennis een prioriteit is.
• Pas iteratieve pruning toe met decay-schema's (specifiek lineair of exponentieel) om extreme compressie (tot 16%) te bereiken zonder catastrofaal falen.

De studie vermeldt expliciet beperkingen, waaronder het gebruik van een enkele dense teacher, een specifieke korte-sequentie classificatietaak, en de exclusie van kwantisatie of cross-architectuur distillatie. Het positioneert het werk als een fundamentele stap naar het begrijpen van schalingswetten in taakspecifieke LLM-compressie, waarbij benadrukt wordt dat het "pad" van compressie (tussenliggende architecturen) even cruciaal is als de uiteindelijke modelgrootte.