Technische Samenvatting: Ghosted Layers – Ongedwongen Activatie-Alignatie voor Herstel van Laag-Geprunte LLM's

1. Probleemstelling

Laag-pruning is een praktische compressietechniek voor Large Language Models (LLM's) die hele Transformer-decoderblokken verwijdert om de modelgrootte en inferentiekosten te verlagen, zonder dat er aangepaste kernels of architecturale wijzigingen nodig zijn. Het verwijderen van deze blokken creëert echter een grensactivatie-mismatch. De verborgen toestand die naar de volgende overlevende laag wordt doorgegeven, wijkt aanzienlijk af van de verdeling waarvoor de laag oorspronkelijk was getraind om te verwerken. Deze verdelingsverschuiving plant zich voort door downstream-lagen, wat leidt tot aanzienlijke prestatiedegradatie zowel in perplexiteit als in nauwkeurigheid voor downstream-taken.

Bestaande trainingsvrije herstelmethode proberen deze mismatch te mitigeren, maar lijden onder structurele beperkingen:

• ReplaceMe benadert de berekening van het verwijderde blok via een lineaire transformatie die wordt opgenomen in overlevende gewichten, maar adresseert de grensactivatie-mismatch niet direct.
• LinearPatch richt zich direct op de grensactivatie-mismatch door een lineaire operator in te voegen die geparametriseerd is als een Hadamard-geroteerde kanaalsgewijze schaling. Cruciaal is dat deze parametrisatie per constructie symmetrisch is, waardoor de zoekruimte wordt beperkt tot een strikt deelruimte van lineaire operatoren en de methode wordt verhinderd het globale optimum van de alignatie-Doelstelling te bereiken.

Empirische analyse toont aan dat deze methoden een aanzienlijk deel van de grensactivatiefout ongecorrigeerd laten, wat suggereert dat het beperkte karakter van hun operatoren onvoldoende is om de prestaties van het geprunte model volledig te herstellen.

2. Methodologie: Ghosted Layers

De auteurs stellen Ghosted Layers voor, een trainingsvrije, plug-and-play herstelm module die de grensactivatie-mismatch aanpakt door te zoeken naar de ongedwongen optimale lineaire operator.

Kernformulering

De methode formuleert herstel als een activatie-alignatieprobleem. Laat $X_{pre}$ de verborgen toestand zijn die als invoer dient voor de eerste verwijderde laag en $X_{post}$ de verborgen toestand die als uitvoer dient van de laatste verwijderde laag (invoer voor de volgende overlevende laag) in het originele, ongeprunte model. Het doel is om een lineaire operator $W$ te vinden zodat $X_{pre}W \approx X_{post}$.

De auteurs definiëren de grensactivatiekloof als $\Delta = X_{post} - X_{pre}$. Ze reparametreren de operator als $W = I + M$, waardoor het doel wordt omgezet in het minimaliseren van de reconstructiefout van de kloof:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

Gesloten-vorm Oplossing

In tegenstelling tot eerdere methoden die optimaliseren over beperkte deelruimten, leidt Ghosted Layers een gesloten-vorm minimum-norm kleinste-kwadratenoplossing af over de volledige ruimte van lineaire operatoren $\mathbb{R}^{C \times C}$:
$$M^* = X_{pre}^\dagger \Delta$$
waarbij $X_{pre}^\dagger$ de Moore-Penrose-pseudoinversie is van de pre-grensactivaties. De uiteindelijke operator is $W^* = I + M^*$.

Implementatie

1. Calibratie: Een kleine set calibratiesequenties (bijv. 128 sequenties uit C4) wordt door het originele ongeprunte model gevoerd om $X_{pre}$ en $X_{post}$ te verzamelen via forward pre-hooks.
2. Berekening: De optimale operator $M^*$ wordt offline berekend met behulp van een geregulariseerde kleinste-kwadratenoplosser (of SVD) om numerieke stabiliteit te waarborgen.
3. Implementatie: De operator $W^*$ wordt ingevoegd op de pruning-grens via een forward hook. De bewerking is $x_{new} = x W^* = x + x M^*$, waarbij de additieve term $x M^*$ de incrementele update schat die de verwijderde lagen zouden hebben bijgedragen.

Theoretisch Voordeel

Het artikel bewijst dat de optimale operator $W^*$ een aanzienlijk antisymmetrisch component bevat. Omdat LinearPatch zijn zoekopdracht beperkt tot symmetrische matrices (waarbij $W = W^\top$), kan het structureel geen toegang krijgen tot dit antisymmetrische component. Ghosted Layers, door te opereren over de ongedwongen ruimte, vangt dit component, wat theoretisch het ware optimum van de alignatie-Doelstelling bereikt.

3. Belangrijkste Bijdragen

1. Formulering van Post-Pruning Herstel: De auteurs formuleren herstel als een activatie-alignatieprobleem en leiden de gesloten-vorm optimale oplossing direct af uit grensactivaties.
2. Ongedwongen Optimaliteit: Ze tonen aan dat deze formulering een ongedwongen optimum oplevert dat een aanzienlijk antisymmetrisch component omvat, dat ontoegankelijk is voor symmetrische constructies zoals LinearPatch.
3. Ghosted Layers Module: Ze stellen een trainingsvrije, plug-and-play module voor die compatibel is met elke pruning-criterium en modelarchitectuur. Het presteert consistent beter dan eerdere trainingsvrije baselines bij gelijke inferentiekosten.

4. Experimentele Resultaten

De methode werd geëvalueerd over meerdere LLM-ruggengraten (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B, en anderen in de appendix) en pruning-strategieën (LLM-Streamline, ShortGPT, Shortened LLaMA).

• Nauwkeurigheid: Ghosted Layers bereikt consistent de hoogste of concurrerende gemiddelde zero-shot nauwkeurigheid op negen commonsense-redeneringsbenchmarks (ARC, HellaSwag, WinoGrande, enz.) in vergelijking met trainingsvrije baselines. Bijvoorbeeld, op LLaMA-3.1-8B met 7 lagen verwijderd, behaalde Ghosted Layers een gemiddelde nauwkeurigheid van 60,01%, wat beter is dan LinearPatch (Rotate) met 53,27% en ReplaceMe (LS) met 59,68%.
• Perplexiteit: De methode verlaagt de perplexiteit aanzienlijk op WikiText-2, C4 en Penn Treebank. In agressieve pruning-scenario's (11 lagen verwijderd) wordt de verbeteringsmarge ten opzichte van baselines groter, waarbij Ghosted Layers in de meeste combinaties de laagste perplexiteit bereikt.
• Efficiëntie: Ondanks het oplossen voor een volledige $C \times C$ matrix, veroorzaakt Ghosted Layers geen extra inferentiekosten in vergelijking met LinearPatch. Beide methoden voegen hun bewerkingen samen tot één dichte $C \times C$ matrixvermenigvuldiging aan de grens. Empirische latentie-metingen bevestigen dat ze binnen ruismarges niet van elkaar te onderscheiden zijn.
• Calibratiegevoeligheid: De methode is robuust ten opzichte van de grootte van de calibratieset; de nauwkeurigheid verzadigt met slechts 32 sequenties, en de keuze van de calibratiedataset (C4 versus WikiText-2) heeft minimale impact op de prestaties.
• Fine-tuning: Zelfs wanneer gecombineerd met lichtgewicht kennisdistillatie, behoudt Ghosted Layers een prestatievoordeel ten opzichte van fine-gefinetuned LinearPatch-varianten, wat suggereert dat de gesloten-vorm initialisatie een superieur startpunt biedt.

5. Betekenis en Claims

Het artikel claimt dat het oplossen van grensactivatie-alignatie op zijn ongedwongen optimum voldoende is om de prestaties van laag-geprunte LLM's aanzienlijk te herstellen zonder opnieuw te trainen.

De betekenis van dit werk ligt in het aantonen dat de prestatiedegradatie in geprunte modellen niet louter het gevolg is van ontbrekende capaciteit, maar van een corrigeerbare verdelingsverschuiving. Door verder te gaan dan beperkte operator-deelruimten (zoals symmetrische matrices) naar de volledige ruimte van lineaire afbeeldingen, herstelt Ghosted Layers structurele informatie (specifiek antisymmetrische componenten) die eerdere methoden misten. Deze aanpak biedt een eenvoudige, computationeel efficiënte en zeer effectieve oplossing voor het implementeren van kleinere, geprunte LLM's terwijl hun oorspronkelijke capaciteiten behouden blijven.