Technische Samenvatting: Een Studie naar Distillatie van Verborgen Laag voor Voorvertrening van Grote Taalmodellen

Probleemstelling

Hoewel Kennisdistillatie (KD) een gevestigd paradigma is voor het comprimeren van Grote Taalmodellen (LLMs) door kennis over te dragen van een groot "leraar" naar een kleiner "student", vertrouwt het merendeel van het huidige onderzoek uitsluitend op output-logits. Deze aanpak negeert de semantische informatie die is opgeslagen in de tussenliggende verborgen representaties van de leraar. Hoewel Distillatie van Verborgen Laag (HLD) veelbelovend is gebleken in encoder-architecturen en modellen op kleinere schaal, blijft de toepassing ervan op decoder-only voorvertrening op grote schaal grotendeels onontgonnen terrein. Bovendien falen bestaande vergelijkingen vaak om rekening te houden met de rekenkundige overhead die door HLD wordt geïntroduceerd (bijvoorbeeld het opslaan van volledige activaties, kosten van regressoren) of houden ze geen strikt toezicht op het afstemmen van hyperparameters, waardoor het moeilijk is om te bepalen of HLD echte voordelen biedt ten opzichte van goed afgestemde logits-gebaseerde KD.

Methodologie

De auteurs voeren een evaluerende studie uit waarbij de rekencapaciteit wordt gecontroleerd, gericht op HLD toegepast op de voorvertrening van causale LLMs met behulp van de Gemma-familie van modellen.

• Modellen:
  • Leraar: Een Gemma 3.4B-model (34-laags decoder-only Transformer, 2560 dimensie voor embedding) voorvertraint op 106 miljard unieke tokens uit de C4-dataset.
  • Studenten: Twee op Gemma gebaseerde modellen met standaard willekeurige initialisatie: een model met 123 miljoen parameters (18 lagen) en een model met 735 miljoen parameters (26 lagen).
• Geëvalueerde Distillatiemethoden:
  1. Standaard KD (Logits-gebaseerd): De student minimaliseert een samengestelde verliesfunctie van Negatieve Log-Likelihood (NLL) en Kullback-Leibler (KL)-divergentie tegenover de output-logits van de leraar.
  2. Sequentiële Optimalisatie (HLDF): Aan FitNets aangepast, omvat dit een protocol met twee fasen. Fase 1 aligneert de tussenliggende verborgen toestand van de student (op de mediaanlaag) met die van de leraar met behulp van een geleerde regressor (eenlaags dichte perceptron) via een genormaliseerde Mean Squared Error (MSE)-verliesfunctie. Fase 2 voert standaard KD uit.
  3. Gecombineerde Optimalisatie (HLDC): Een trainingsaanpak in één stadium die een geaggregeerde doelfunctie minimaliseert die NLL, logits-distillatie en een aligneringsverlies voor verborgen lagen (embedding-verlies) gelijktijdig combineert.
• Experimentele Strenge:
  • Rekenmatching: Vergelijkingen zijn strikt gebaseerd op equivalente rekenbudgetten (FLOPs), niet alleen op token-aantallen. De auteurs verfijnen de standaard $6ND$-rekenbenadering om de aanzienlijke kosten van de-embedding-lagen en regressor-mapping op te nemen, wat niet verwaarloosbaar is voor modellen met minder dan een miljard parameters en grote vocabulaires.
  • Controle op Hyperparameters: De studie vermijdt "afstemmen om te winnen" door methoden te evalueren over een gedeelde grid van hyperparameters (leersnelheid, temperatuur, NLL-gewicht) en puntsgewijze resultaten te vergelijken. Het identificeert ook de beste configuratie voor elke methode om een eerlijke "ceiling-to-ceiling" vergelijking te waarborgen.
  • Data: Training vindt plaats op het Engelstalige deel van de C4-dataset (tot 168 miljard tokens voor de 735M-student).

Belangrijkste Bijdragen

1. Systematische Evaluatie: Het paper biedt de eerste open-source studie van HLD specifiek tijdens de voorvertrainingsfase van decoder-only LLMs, schaalbaar tot modellen met honderden miljoenen parameters.
2. Strenge Baselines: Het vestigt een raamwerk dat methoden bemonster op basis van strikte rekenkundige equivalentie (FLOPs), waarbij expliciet rekening wordt gehouden met de niet-verwaarloosbare kosten van de-embedding en verliesberekening in kleine modellen, wat eerdere studies vaak over het hoofd zagen.
3. Uitgebreide Benchmarking: De evaluatie omvat meerdere downstream-taken (Wikitext 103, HellaSwag, WinoGrande, LAMBADA, PIQA, ARC-E) en analyseert prestaties over een brede grid van hyperparameters in plaats van te vertrouwen op één enkele "beste" configuratie.

Resultaten

De experimenten leveren genuanceerde bevindingen op over de effectiviteit van HLD in vergelijking met standaard KD:

• Downstream Prestaties: HLD presteert niet consequent beter dan standaard logits-gebaseerde KD op downstream-evaluatietaken. Bij de vergelijking op "beste hyperparameters" domineert geen enkele HLD-variant KD over alle benchmarks; de verschillen zijn marginaal en verdeeld over de methoden.
• Perplexiteitswinsten: Ondanks het gebrek aan downstream-uperioriteit levert HLDF (Sequentiële Optimalisatie) een systematische, zij het kleine, verbetering op in C4-perplexiteit over alle configuraties met gedeelde hyperparameters. De gemiddelde verbetering bedraagt ongeveer 0,26% voor beide studentgroottes.
• Context van Winsten: De perplexiteitswinsten van HLDF zijn het meest uitgesproken in regimes waar standaard KD slecht presteert. In regimes waar KD al efficiënt is, verdwijnt het HLD-voordeel.
• Downstream versus Perplexiteit: De systematische perplexiteitswinst vertaalt zich niet naar consistente verbeteringen in downstream-scores. De auteurs suggereren dat dit aangeeft dat hoewel er een latent signaal bestaat in de verborgen lagen, dit de grofkorrelige capaciteiten die door downstream-benchmarks worden vastgelegd, mogelijk niet fundamenteel verandert, of dat het signaal alleen nuttig is voor fijnkorrelige distributie-aanpassing.

Betekenis en Beweringen

Het paper concludeert dat HLD, hoewel het een aantrekkelijk concept is voor het vastleggen van diepe interne kennis, geen consistente, betrouwbare verbetering biedt ten opzichte van een goed afgestemde logits-gebaseerde KD-baseline wanneer trainingsbudgetten strikt gelijk worden gesteld.

• Weerbaarheid van Logits-KD: De bevindingen onderstrepen de weerbaarheid van standaard logits-gebaseerde distillatie, wat suggereert dat voor decoder-only voorvertrening de extra complexiteit en gevoeligheid voor hyperparameters van HLD in de praktijk de voordelen kunnen overwegen.
• Methodologische Discrepanties: De auteurs schrijven de tegenstrijdigheid met eerdere werken (die vaak HLD-winsten rapporteren) toe aan vier factoren:
  1. Rekenadministratie: Eerdere studies matchden vaak token-aantallen in plaats van FLOPs, en negeerden de extra kosten van HLD.
  2. Architectuur/Fase: Eerdere werken richtten zich op encoders of post-training, waar representaties al zijn gevormd door voorvertrainingsdoelen. Causale decoders die vanaf nul worden getraind, presenteren een ander optimalisatielandschap.
  3. Baseline Afstemming: Vorige studies vergeleken HLD vaak met slecht afgestemde KD-baselines.
  4. Schaalbaarheid: Het aanpassen van HLD van kleine CNN's aan transformers met miljarden parameters vereist diepgaandere ontwerpkeuzes (verliezen, adapters) dan eenvoudige lineaire regressoren.
• Toekomstperspectief: Het paper stelt dat de systematische perplexiteitswinst die in HLDF wordt waargenomen suggereert dat een "latent signaal" kan worden geëxtraheerd, maar dat het realiseren van een doorbraak waarschijnlijk aanzienlijke ontwerpinnovaties of sterkere statistische bewijzen over grotere schalen en verschillende modelfamilies vereist. De auteurs benadrukken de noodzaak van exacte FLOPs-administratie bij het evalueren van nieuwe supervisiemethoden.