Technische Samenvatting: SLOPE – Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining van LLM's

1. Probleemstelling

Large Language Models (LLM's) vereisen aanzienlijke computationele middelen, geheugen en communicatiebandbreedte voor pretraining en inferentie. Hoewel model-schaarsheid (het verwijderen van minder belangrijke delen) een weg biedt om deze overhead te verminderen, kampen bestaande benaderingen met significante trade-offs:

• Unstructured Sparsity: Verwijdert elementen van willekeurige locaties, maar mist hardware/software-ondersteuning voor versnelling.
• Structured Sparsity (N:M): Legt beperkingen op (bijv. maximaal $N$ nullen uit $M$ opeenvolgende elementen) om gebruik te maken van hardware zoals NVIDIA's sparse tensor cores. Echter, de beperkte keuze aan sparsity-patronen leidt vaak tot degradatie van de nauwkeurigheid vergeleken met dense modellen.
• Adaptieve Methoden: Dynamische aanpassing van de maskers verbetert de nauwkeurigheid, maar brengt hoge overhead met zich mee (het opslaan van dense gewichten, het zoeken naar maskers) en verspilt rekenkracht aan gewichten die uiteindelijk worden weggepruned.
• Sparse-Dense Hybride Benaderingen: Methoden zoals Sparse-Dense Pretraining (FST) compenseren het verlies aan nauwkeurigheid door over te schakelen naar dense fine-tuning. Dit heft echter de voordelen van schaarsheid voor geheugen en rekenkracht tijdens de inferentiefase op, aangezien het uiteindelijke model dense blijft.

De kernuitdaging is het bereiken van een schaars model dat zowel nauwkeurig als efficiënt is tijdens zowel training als inferentie, zonder de overhead van dynamisch maskers zoeken of de geheugenkosten van een finale dense fase.

2. Methodologie

De auteurs stellen SLOPE voor (Double-Pruned Sparse Plus Lazy Low-rank Adapter Pretraining), een methode ontworpen om de nauwkeurigheid van schaars voorgetrainde modellen te verbeteren terwijl training en inferentie worden versneld. De methodologie bestaat uit drie primaire componenten:

A. Double-Pruned Backward Pass

Standaard N:M schaarsheid versnelt de forward pass, maar faalt in de backward pass omdat de gewichtsmatrix wordt getransponeerd, waardoor de rij-gebaseerde N:M-structuur die nodig is voor hardware-versnelling wordt vernietigd.

• Benadering: In plaats van de getransponeerde gewichtsmatrix N:M schaars af te dwingen (wat patronen beperkt en de nauwkeurigheid vermindert), transposeert SLOPE eerst de reeds geschaarse N:M gewichtsmatrix en legt daarna een tweede ronde van N:M schaarsheid op.
• Mechanisme:
  • Forward Pass: Gebruikt een rij-gebaseerde geprunede gewichtsmatrix ($W^R_i$).
  • Backward Pass: Gebruikt een dubbel-gepruneerde gewichtsmatrix ($W^{R,C}_i$), waarbij zowel de rij- als de kolomdimensies zijn gepruned.
• Theoretische Garantie: De auteurs bewijzen dat deze "lossy" materialisatie van geprunede gewichten (waarbij de backward pass een ander schaarsheidsmasker gebruikt dan de forward pass) nog steeds voldoet aan convergentie-eigenschappen. Stelling 2.2 demonstreert dat de dynamische wijziging van het kolom-gebaseerde masker de convergentie van de optimizer niet negatief beïnvloedt, mits het masker na initialisatie wordt vastgezet.

B. Lazy Low-Rank Adapters

Om het inherent verlies aan nauwkeurigheid door agressieve pruning te beperken, introduceert SLOPE low-rank adapters ($L$ en $R$) in de gewichtsdecompositie: $W_{dense} = W_{sparse} + LR$.

• Timing: In tegenstelling tot standaard LoRA, dat vaak gedurende de hele training wordt gebruikt, introduceert SLOPE deze adapters alleen tijdens de laatste 1% van de pretraining-iteraties.
• Rationele: Empirische resultaten tonen aan dat low-rank adapters aanzienlijk sneller convergeren dan schaarse gewichten vanwege hun lagere aantal parameters. Door ze laat in de training toe te voegen, kan het model capaciteit en nauwkeurigheid herstellen zonder de computationele kosten te dragen van het onderhouden ervan gedurende de gehele pretraining-duur.
• Inferentie: De adapters worden behouden tijdens inferentie, waardoor het model dense-achtige capaciteiten kan behouden zonder een volledige dense gewichtsmatrix op te slaan.

C. Geoptimaliseerde CUDA Kernels

Om de theoretische versnellingen te realiseren, hebben de auteurs hoog geoptimaliseerde CUDA kernels ontwikkeld:

• Tiling: Ze gebruiken tiling voor upsample-tensoren om ervoor te zorgen dat ze passen binnen de performance sweet spots van de cuSPARSELt backend, wat degradatie van de versnelling bij grote hidden dimensies voorkomt.
• Fused Operations: Ze combineren sparse matrixvermenigvuldiging (SpMM) met low-rank adapter-berekeningen in enkele kernels. Dit vermindert de overhead van kernel-launches en verbetert de rekenintensiteit door downsample-tensoren te concateneren met schaarse gewichten en fused multiply-add operaties te gebruiken.

3. Belangrijkste Bijdragen

1. Double-Pruned Backward Pass: Een nieuwe formulering die een N:M schaarse matrix transposeert voordat een tweede N:M schaarsheidsmasker wordt toegepast. Dit maakt versnelde schaarse backward passes mogelijk zonder de nauwkeurigheidsstraffen die gepaard gaan met het zoeken naar transponeerbare maskers.
2. Lazy Low-Rank Adapters: Een strategie om low-rank adapters pas in de laatste 1% van de training in te voegen. Dit verbetert de modelcapaciteit en de convergentiesnelheid met minimale overhead, waardoor een dense fine-tuning fase niet nodig is.
3. Systeemoptimalisatie: Gezamenlijke optimalisatie van NVIDIA 2:4 sparse kernels en low-rank calls via efficiënte tiling en scheduling, wat resulteert in significante end-to-end versnellingen.

4. Experimentele Resultaten

De auteurs evalueerden SLOPE op diverse LLM's (OPT, LLaMA-3, Mistral) en kleinere modellen (GPT-2, BERT).

• Versnelling:
  • Pretraining: Behaalde tot 1.25× versnelling (bijv. OPT-33B).
  • Inferentie: Behaalde tot 1.54× versnelling (bijv. OPT-66B).
  • SLOPE presteerde consistent beter dan de state-of-the-art FST-methode, die een verwaarloosbare inferentieversnelling liet zien vanwege de vereiste voor een finale dense fase.
• Geheugenvoetafdruk:
  • Training: Verminderde het geheugengebruik met tot 0.63× (ongeveer 68% reductie) door alleen niet-nul gewichten, indices en gereduceerde optimizer states op te slaan.
  • Inferentie: Verminderde het geheugengebruik met tot 0.61× (ongeveer 54% reductie).
• Nauwkeurigheid:
  • Bij GPT-2 (Small/Large) pretraining behaalde SLOPE een lagere perplexiteit en hogere zero-shot nauwkeurigheid vergeleken met Wanda en Extended SR-STE.
  • Bij BERT-Large herstelde SLOPE met low-rank adapters prestaties die dicht bij dense modellen lagen op SQuAD en GLUE taken, terwijl statische schaarse methoden grotere gaten vertoonden.
  • Experimenten gaven aan dat de eerste 12 blokken van een model gevoeliger zijn voor schaarsheid dan de latere blokken, wat suggereert dat agressieve schaarsheid op de latere lagen kan worden toegepast.

5. Betekenis en Claims

Het artikel beweert dat SLOPE er succesvol in slaagt de kloof te overbruggen tussen de efficiëntie van schaarse modellen en de nauwkeurigheid van dense modellen. Door een theoretisch onderbouwde double-pruned backward pass te combineren met een "lazy" low-rank adapter strategie, elimineert SLOPE de noodzaak voor een dense fine-tuning fase die normaal gesproken de voordelen van schaarse pretraining tenietdoet.

De auteurs benadrukken dat hun methode een praktische oplossing biedt voor het trainen en implementeren van grootschalige LLM's met miljarden parameters, waarbij aanzienlijke reducties in zowel trainingstijd als geheugenvoetafdruk worden geboden terwijl een concurrerende modelkwaliteit behouden blijft. Het werk demonstreert dat het mogelijk is om gelijktijdig versnelde schaarse training en inferentie te bereiken zonder de uiteindelijke prestaties van het model op te offeren.