Technische Samenvatting: Voorbij Eendimensionale Compressie

Probleemstelling

Large Language Models (LLM's) kampen met aanzienlijke implementatieproblemen vanwege hoge inferentiekosten. Hoewel technieken voor modelcompressie, zoals statische parameter-pruning en dynamische token-niveau berekening, zijn ontwikkeld om geheugen- en rekenvereisten te verminderen, delen zij een gemeenschappelijke beperking: het bestaan van een essentiële schaarste-grens (essential sparsity boundary). Voorbij een kritieke drempel van schaarste leidt verdere agressieve versimpeling tot een snelle degradatie van de prestaties.

Huidig onderzoek bestudeert deze compressiemechanismen doorgaans in isolatie. Statische parameter-pruning verwijdert structurele redundantie vóór de inferentie, terwijl dynamic token skipping de berekening per input tijdens de inferentie aanpast. De centrale vraag die dit werk adresse in de lichte vorm van de vraag: of het combineren van deze twee verschillende mechanismen de aanvang van prestatie-degradatie kan vertragen door de compressielast over meerdere dimensies te verdelen, in plaats van de redundantie van één enkele dimensie uit te putten.

Methodologie

De auteurs stellen een minimalistisch samengesteld schaarste-framework voor, ontworpen om parameter-schaarste en de computationele schaarste op token-niveau onafhankelijk te controleren. De pijplijn bestaat uit twee opeenvolgende stadia:

1. Statische Compressie van de Parameterruimte:

   • Het framework past gestructureerde pruning toe op de voorgetrainde LLM-backbone.
   • Het maakt gebruik van LoRAP (Low-Rank Approximation Pruning) voor aandacht-modules en kanaal-pruning voor MLP-modules.
   • Dit vermindert de structurele kosten van het model, waarbij de volledige laag-operator $F(\cdot)$ wordt omgezet in een schaarse backbone-operator $F_p(\cdot)$.

2. Dynamische Computationele Compressie op Token-niveau:

   • Op basis van de geprunede backbone wordt een lichtgewicht, inferentie-adaptieve routing-mechanisme geïntroduceerd.
   • Volgens SkipGPT genereert een na-getrainde router binaire indicatoren voor elk token.
   • Tokens worden gesplitst in een Actieve subset (die de volledige forward-berekening ondergaat) en een Inactieve subset (die wordt overgeslagen en direct naar de volgende laag wordt doorgegeven).

Definitie van Samengestelde Schaarste:
De auteurs definiëren de globale samengestelde schaarste ($S_{comp}$) op basis van de reductie in effectieve inferentie-berekening:
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
Waarbij $s_p$ de parameter-schaarsteratio is en $s_t$ de computationele schaarsteratio van tokens. Deze formulering maakt een flexibele allocatie van een vast totaal schaarstebudget tussen de twee dimensies mogelijk (bijv. een gebalanceerde allocatie waarbij $s_p \approx s_t$).

Belangrijkste Resultaten

Experimenten werden uitgevoerd met Llama3.1-8B op Redpajama trainingsdata, geëvalueerd op taalbegripsbenchmarks (BoolQ, PIQA, HellaSwag, etc.) en taalmodellering (WikiText-2 PPL).

1. Vertraagde Degradatie:

   • Samengestelde schaarste presteert consistent beter dan single-mechanism compressie onder dezelfde totale schaarste.
   • Op begrips-taken wordt de "essentiële schaarste"-instortingsdrempel (waarbij de prestaties scherp dalen) vertraagd van ongeveer 20% (single-mechanism) naar 30% (samengesteld).
   • Op taalmodellering behoudt samengestelde schaarste aanzienlijk hogere prestaties. Bij 30% totale schaarste behoudt samengestelde schaarste ~70% relatieve prestatie, vergeleken met ~60% voor token skipping en ~56% voor parameter-pruning alleen.

2. Taakgevoeligheid:

   • Taalmodellering-taken zijn gevoeliger voor schaarste dan multiple-choice begrips-taken. Modellerings-taken vertonen een vroege fase van essentiële schaarste (0–10%) gevolgd door een benadering van lineaire degradatie, terwijl begrips-taken een meer duidelijke "cliff" in prestaties laten zien.

3. Cross-dimensionale Interferentie:

   • De studie onthult dat parameter-pruning en token skipping niet volledig onafhankelijk zijn. Een licht geprunede backbone (bijv. 10% parameter-schaarste) wordt gevoeliger voor token skipping.
   • Deze interferentie suggereert een verenigde, inherente limiet voor samengestelde schaarste; hoewel de degradatie wordt vertraagd, wordt deze niet geëlimineerd.

4. Optimale Allocatie:

   • Onder een vast totaal schaarstebudget (bijv. 50%), levert een bijna evenwichtige allocatie van schaarste tussen parameters en tokens de beste prestaties op.
   • Prestaties volgen een convexe curve: ze verbeteren bij milde parameter-schaarste maar degraderen drastisch wanneer één dimensie overmatig wordt gecomprimeerd.

Belangrijkste Bijdragen

1. Perspectiefverschuiving: Het werk onderzoekt essentiële schaarste vanuit een samengesteld compressieperspectief, wat de visie uitdaagt dat schaarstelimieten eigenschappen zijn van enkelvoudige mechanismen.
2. Controleerbaar Framework: Het introduceert een ontkoppeld framework met behulp van LoRAP, kanaal-pruning en per-token dynamische laag-skipping, wat onafhankelijke manipulatie van parameter- en token-schaarste mogelijk maakt om trade-offs te analyseren.
3. Empirische Validatie: De studie toont aan dat samengestelde schaarste de compressie-prestatie-trade-off verbetert en de prestatie-degradatie vertraagt. Het identificeert echter ook een bredere cross-dimensionale schaarste-grens die verdere compressie uiteindelijk limiteert, wat het principe van "Twee Dimensies, Eén Muur" ondersteunt.

Betekenis en Claims

Het artikel claimt dat samengestelde compressie een praktische manier biedt om LLM-compressie te verbeteren door de druk te verdelen over orthogonale dimensies (parameters en tokens). Deze aanpak stelt modellen in staat om een hogere totale schaarste te bereiken voordat ze de prestatie-cliff raken, vergeleken met single-mechanism benaderingen.

De auteurs houden echter een bescheiden standpunt aan met betrekking tot de uiteindelijke limieten van compressie. Zij stellen dat hoewel het delen van de compressielast de prestatie-degradatie uitstelt, het de inherente schaartelimiet niet kan omzeilen. Een universele cross-dimensionale schaarste-muur blijft de ultieme beperking. De bevindingen bieden principiële referenties voor cross-dimensionale budgetplanning, waarbij wordt gesuggereerd dat een gebalanceerde allocatie de meest effectieve strategie is om de modelcapaciteit onder strikte middelenbeperkingen te maximaliseren.

Noot: De code voor dit werk is beschikbaar op https://github.com/EIT-NLP/LLM-Pruning.