High-Fidelity Pruning for Large Language Models

Dit paper introduceert HFPrune, een efficiënte pruning-methode voor grote taalmodellen die de entropie van de modeluitvoer gebruikt om neuronbelang te evalueren zonder een extra leraarmodel, waardoor de prestaties beter behouden blijven dan bij bestaande methoden.

De kern

Stel je voor dat je een gigantische, superintelligente bibliotheek hebt (een Groot Taalmodel of LLM). Deze bibliotheek bevat miljarden boeken (parameters) en kan vragen beantwoorden, verhalen schrijven en code schrijven. Het probleem? Deze bibliotheek is zo zwaar dat hij niet op een gewone laptop past, en het kost enorm veel tijd en energie om er een boek uit te halen.

Om dit op te lossen, willen we de bibliotheek "inperken": we verwijderen de minst belangrijke boeken en planken, zodat de bibliotheek lichter en sneller wordt, maar nog steeds net zo slim blijft.

Dit artikel introduceert een nieuwe, slimme manier om te beslissen welke planken je mag weghalen. Ze noemen hun methode HFPrune (High-Fidelity Pruning).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Enige Juiste Antwoord"-Valstrik

Vroeger gebruikten wetenschappers een methode om te bepalen welke boeken (neuronen) ze konden weggooien. Ze keken naar één specifieke vraag en het enige juiste antwoord.

• De analogie: Stel je voor dat je een leraar hebt die alleen kijkt of een leerling het juiste antwoord op een meerkeuzevraag heeft. Als de leerling "B" kiest en dat is goed, dan is alles oké. Maar wat als de leerling ook "A" en "C" bijna net zo goed had gevonden, en die kennis nu verliest?
• Het nadeel: De oude methode keek alleen naar dat ene juiste antwoord (de "ground truth"). Ze negeerden alle andere mogelijke antwoorden die het model ook goed had kunnen geven. Hierdoor werd de bibliotheek soms te zwaar of te slordig, omdat ze belangrijke "nuance" weggooiden die niet direct bij het juiste antwoord hoorde.

2. De nieuwe oplossing: De "Alles-in-Één" Blik

De auteurs van dit paper zeggen: "Wacht even, een slim model denkt niet in één antwoord. Het denkt in een wolk van mogelijkheden."

• De analogie: In plaats van alleen te kijken of het antwoord "B" goed is, kijken ze naar de hele wolk van gedachten die het model heeft. Ze kijken naar hoe zeker het model is over alle mogelijke antwoorden.
• De nieuwe maatstaf: Ze gebruiken iets dat Informatie-Entropie heet. Klinkt ingewikkeld, maar het is simpel: het is een maatstaf voor hoe "veelzijdig" of "verwacht" de uitkomst van het model is.
  • Als je een plank verwijdert en de "wolk van gedachten" verandert heel veel, dan is die plank belangrijk.
  • Als je een plank verwijdert en de wolk blijft bijna hetzelfde, dan mag die plank weg.

3. Waarom is dit zo slim? (De Vergelijking met een Leraar)

Er was al een andere methode die ook naar alle antwoorden keek, maar die had een groot nadeel: het vereiste een tweede, nog slimmere leraar (een "teacher model") om de eerste te controleren.

• Het probleem: Dat kostte enorm veel tijd en rekenkracht. Alsof je een hele school nodig hebt om één kind te testen.
• De oplossing van HFPrune: Ze hebben een manier gevonden om dit te doen zonder die tweede leraar. Ze kijken gewoon naar hoe het model zelf reageert. Het is alsof je de bibliotheek zelf laat beslissen welke boeken minder belangrijk zijn, zonder dat je iemand anders nodig hebt om toe te kijken. Dit maakt het proces veel sneller en goedkoper.

4. Wat is het resultaat?

De auteurs hebben hun methode getest op bekende modellen (zoals LLaMA en Qwen).

• Het resultaat: Ze hebben tot 30% van de "boeken" (parameters) verwijderd.
• De verrassing: Het verkleinde model was niet alleen sneller en lichter, maar soms zelfs slimmer dan het originele, zware model!
• Waarom? Omdat ze de "wolk van gedachten" zo goed bewaard hebben, dat het model zijn kennis niet verloor, maar juist scherper werd door de ruis weg te halen.

Samenvattend in één zin:

Stel je voor dat je een zware, rommelige koffer inpakt voor een reis. De oude methode gooide alleen de dingen weg die niet op de "verplichte lijst" stonden. De nieuwe methode (HFPrune) kijkt naar hoe de koffer gevoeld wordt: ze houden de items die de koffer in balans houden en gooien alleen de overbodige rommel weg, zodat je met een lichte koffer toch alles kunt doen wat je nodig hebt.

Kortom: Ze hebben een slimme manier gevonden om AI-modellen lichter te maken zonder hun intelligentie te verliezen, door te kijken naar het hele plaatje in plaats van alleen naar het juiste antwoord.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "High-Fidelity Pruning for Large Language Models" (HFPrune), geschreven in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend op diverse taken, maar hun enorme reken- en geheugeneisen maken implementatie in hulpbronnenbeperkte omgevingen moeilijk. Een veelgebruikte aanpak om dit op te lossen is pruning (het verwijderen van minder belangrijke neuronen).

Bestaande Taylor-gebaseerde pruning-methoden (zoals Molchanov et al.) schatten de belangrijkheid van neuronen door gebruik te maken van een Taylor-expansie rondom een verliesfunctie. Het fundamentele probleem hierbij is dat deze methoden afhankelijk zijn van de one-hot cross-entropy loss.

• Beperking: Deze loss functie meet alleen hoe goed het model het enkele juiste volgende token (de ground-truth label) voorspelt.
• Gevolg: Hierbij worden alle andere potentiële voorspellingen van het model genegeerd. Het pruning-proces minimaliseert alleen de verandering in de voorspelling van het juiste label, wat leidt tot het verlies van rijke kennis die in de volledige uitgangsverdeling van het model is gecodeerd.
• Alternatief: Het gebruik van self-distillation (een leraar-model) zou de volledige verdeling kunnen modelleren, maar introduceert aanzienlijke rekenkosten en heeft een kritiek nadeel: de initiële distillatie-verlies is vaak nul, waardoor er geen gradiënt is om de initiële belangrijkheidsscores te sturen.

Methodologie: HFPrune

De auteurs stellen HFPrune voor, een methode die de structuur van de Multi-Layer Perceptron (MLP) modules in Transformer-architecturen pruneert met behoud van hoge fideliteit. De kern van de methode is een nieuw criterium voor het beoordelen van neuronbelang.

1. Nieuw Criterium: Informatie-entropie
In plaats van cross-entropy loss, gebruiken de auteurs de informatie-entropie van de modelvoorspellingsverdeling als criterium voor de Taylor-expansie.

• Voor een invoer $x$ wordt de entropie $H(x)$ berekend over de volledige vocabulaire-verdeling $P = \{p_1, ..., p_V\}$:
  $$H(x) = -\sum_{j=1}^{V} p_j(x) \log_2 p_j(x)$$
• Dit criterium is label-vrij en modelleert de "holistische" voorspelling van het model, waarbij rekening wordt gehouden met alle mogelijke volgende tokens, niet alleen het juiste antwoord.

2. Belangrijkheidsschatting (Importance Scoring)
De belangrijkheid van een neuron $h_i$ wordt geschat door de impact van het verwijderen ervan (ablatie) op de entropie te berekenen via een eerste-orde Taylor-expansie:

• De verandering in entropie $\Delta H_i$ wordt benaderd als: $\Delta H_i \approx -\frac{\partial H}{\partial h_i} h_i$.
• De belangrijkheidsscore $I_i$ is de gemiddelde grootte van deze verandering over een kalibratie-dataset. Een hogere score betekent dat het neuron cruciaal is voor het behoud van de globale voorspellingsverdeling.

3. Pruning en Fine-tuning

• Structuur: De focus ligt op het verwijderen van neuronen in de MLP-modules (die ongeveer 68% van de parameters uitmaken in modellen zoals LLaMA), in plaats van attention heads, om het risico op catastrofale prestatieverlies te minimaliseren.
• Proces: Neuronen met de laagste scores worden verwijderd (door corresponderende rijen/kolommen in de weight matrices $W_{up}, W_{gate}, W_{down}$ te verwijderen).
• Herstel: Na het pruning-proces volgt een korte fine-tuning-fase (2 epochs met LoRA) om de prestaties volledig te herstellen.

Belangrijkste Bijdragen

1. Label-vrij criterium: Introductie van een elegante, efficiënte methode voor Taylor-pruning die gebruikmaakt van informatie-entropie in plaats van cross-entropy loss, waardoor geen externe leraar nodig is.
2. Holistische modellering: Door de volledige voorspellingsverdeling te modelleren, behoudt de methode de intrinsieke kennis van het model beter dan methoden die zich alleen richten op het juiste label.
3. Superieure prestaties: De methode presteert consequent beter dan bestaande technieken (zoals LLM-pruner, LoRAPrune, SDMPrune) op de LLaMA en Qwen series, zelfs zonder uitgebreide hertraining.

Experimentele Resultaten

De auteurs hebben HFPrune getest op diverse modellen (LLaMA-2-7B, LLaMA3.2-3.2B/1.2B, Qwen2.5/3) tegen 10 zero-shot benchmarks (zoals ARC, BoolQ, PIQA).

• LLaMA-2-7B: Bij een pruning-ratio van 20% bereikte HFPrune een gemiddelde nauwkeurigheid van 59.0%, wat niet alleen beter is dan de tweede beste methode (SDMPrune: 58.2%), maar zelfs 0.7% hoger dan het originele, niet-gepruneerde model (58.3%).
• Qwen Series: HFPrune overtrof SDMPrune consistent bij verschillende modelgroottes en pruning-ratio's (20% en 30%).
• Snelheid en Efficiëntie:
  • Het pruning-proces zelf is ongeveer 3x sneller dan SDMPrune en verbruikt 31% minder GPU-geheugen (geen leraar-model nodig).
  • Gepruneerde modellen tonen aanzienlijke versnelling: bij 30% pruning is er een 1.47x snelheidswinst in de prefill-latentie en een toename in decoding-throughput van 35.8%.
• Ablatie Studies:
  • Zelfs zonder fine-tuning presteerde de entropie-criterium (IE) beter dan cross-entropy (CE) en self-distillation (SD).
  • Het behoud van de uitgangsverdeling (gemeten via Jensen-Shannon afstand) was significant beter bij HFPrune, vooral bij agressieve pruning (30%).
  • Het focussen op alleen MLP-modules bleek effectiever dan het tegelijkertijd prunen van attention en MLP.

Betekenis en Conclusie

HFPrune lost een fundamentele beperking op in de bestaande literatuur over Taylor-based pruning. Door de afhankelijkheid van one-hot labels te doorbreken en in plaats daarvan de globale entropie van de voorspellingsverdeling te minimaliseren, behoudt het model zijn "fideliteit" (eigenschappen en kennis) veel beter.

De methode biedt een praktische oplossing voor het efficiënt comprimeren van LLMs zonder de zware rekenlast van self-distillation, terwijl het zelfs de oorspronkelijke prestaties kan overtreffen na een korte fine-tuning. Dit opent de deur voor bredere toepassing van geoptimaliseerde LLMs in resource-constrained omgevingen en suggereert dat entropie-gebaseerde metrieken nuttig kunnen zijn voor andere compressietechnieken zoals kwantisatie.