ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning

Dit paper introduceert ROSE, een geoptimaliseerde versie van SparseGPT die door middel van een twee-niveau herschikking van de pruning-sequentie gebaseerd op geschatte verlieswaarden, de prestaties van één-slag (one-shot) pruning van grote taalmodellen aanzienlijk verbetert.

De kern

Stel je voor dat je een gigantische bibliotheek hebt, vol met boeken die een kunstmatige intelligentie (zoals een chatbot) heeft geleerd. Deze bibliotheek is zo groot dat hij niet in één kamer past; hij heeft een heel gebouw nodig. Om deze bibliotheek sneller en goedkoper te kunnen gebruiken op een gewone laptop of telefoon, willen we sommige boeken weggooien. Dit noemen we "pruning" (het snoeien).

Het probleem is: welke boeken goo je weg? Als je per ongeluk de verkeerde boeken weggooit, vergeet de computer belangrijke dingen en wordt hij dom.

Het oude probleem: De "Links-na-Rechts" regel

Een populaire manier om dit te doen, heet SparseGPT. Dit werkt als een slimme bibliothecaris die zegt: "We gaan de boeken van links naar rechts doorlopen. Als een boek er niet belangrijk uitziet, gooien we het weg en passen we de rest van de boeken een beetje aan om het gat op te vullen."

Maar er zit een addertje onder het gras. In sommige delen van de bibliotheek zitten de boeken niet willekeurig verspreid. Er zijn groepen boeken die heel sterk op elkaar lijken en dicht bij elkaar staan (dit noemen de auteurs een "kolomvormig patroon").

Als de bibliothecaris (SparseGPT) deze groepen in de verkeerde volgorde aanpakt, gaat het mis. Hij gooit eerst de "makkelijke" boeken weg, en laat de "moeilijke" boeken voor het laatst. Maar op het moment dat hij die moeilijke boeken moet weggooien, zijn er al te veel andere boeken weggehaald om het gat op te vullen. Het resultaat is een rommelige bibliotheek die veel minder goed werkt.

De oplossing: ROSE (De Slimme Sorteerder)

De onderzoekers van dit paper hebben een nieuwe methode bedacht, genaamd ROSE.

Stel je voor dat je in plaats van stiekem links-na-rechts te werken, eerst even een proefronde doet. Je kijkt naar alle boeken en zegt: "Oké, als ik dit specifieke boek nu zou weggooien, hoeveel moeite kost het om het gat op te vullen?"

ROSE doet precies dit:

1. De Proef: Het kijkt naar de boeken en berekent welke boeken het "gevaarlijkst" zijn om weg te gooien (de boeken met de grootste "pruning loss").
2. De Ommezwaai: In plaats van ze in de oude volgorde te houden, draait ROSE de volgorde om. De boeken die het gevaarlijkst zijn om weg te gooien, worden nu als eerste verwijderd.
3. Waarom werkt dit? Omdat je ze als eerste weggooit, zijn er nog alle andere boeken beschikbaar om het gat op te vullen. Je hebt dus meer hulpbronnen om de schade te herstellen. De boeken die minder belangrijk zijn, blijven voor het laatst.

De Twee Trucs van ROSE

ROSE werkt op twee niveaus, net als het organiseren van een grote opslagkast:

• Binnen de lade (Kolommen): Binnen één groep boeken (een blok), sorteert ROSE de boeken zodat de gevaarlijkste bovenaan liggen.
• De hele kast (Blokken): ROSE kijkt ook naar de hele lade. Als een hele lade heel veel gevaarlijke boeken heeft, wordt die lade als eerste aangepakt.

Hoe weet ROSE wie het moet doen?

Niet elke bibliotheek heeft dit probleem. Sommige bibliotheken zijn al willekeurig genoeg. ROSE heeft een slimme sensor die kijkt: "Zie ik hier een patroon van groepen boeken die sterk op elkaar lijken?"

• Als het antwoord ja is, dan gebruikt ROSE zijn slimme sorteermethode.
• Als het antwoord nee is, doet hij gewoon wat de oude methode deed.

Het Resultaat

Door deze slimme volgorde te kiezen, blijft de bibliotheek (het AI-model) veel slimmer en accurater, zelfs als je heel veel boeken weggooit. In tests met bekende modellen (zoals LLaMA) bleek ROSE veel beter te presteren dan de oude methode, zonder dat het veel langer duurt om de bibliotheek te sorteren.

Kortom: ROSE is als een slimme bibliothecaris die niet blindelings links-na-rechts werkt, maar eerst kijkt welke boeken het belangrijkst zijn om eerst weg te halen, zodat de rest van de bibliotheek perfect kan worden aangepast. Het resultaat is een kleinere, snellere bibliotheek die nog steeds alles weet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning" in het Nederlands.

Probleemstelling

Het paper adresseert een specifiek tekortkoming in de bestaande methode voor "one-shot" (eenmalige) pruning van grote taalmodellen (LLMs), bekend als SparseGPT. Hoewel SparseGPT effectief is door gebruik te maken van tweede-orde gradiënten (Hessiaan-matrices) om gewichten te verwijderen zonder hertraining, blijkt de prestatie suboptimaal wanneer de gewichtsverdeling in de lagen van het model kolomvormige patronen vertoont.

• De oorzaak: SparseGPT gebruikt een vooraf gedefinieerde, vaste volgorde (links-rechts) om blokken van gewichten te verwijderen.
• Het gevolg: Wanneer zware (hoge magnitude) gewichten geconcentreerd zijn in specifieke kolommen of blokken, en deze laat in het proces worden verwijderd, is er minder "beschikbare ruimte" in de resterende gewichten om de fouten te compenseren. Dit leidt tot een scherpe stijging in de reconstructiefout, vooral in lagen met een kolomstructuur (zoals de o_proj lagen in de self-attention mechanismen van LLaMA-modellen).

Methodologie: ROSE

De auteurs stellen ROSE (Reordered SparseGPT) voor, een methode die de volgorde van pruning optimaliseert om de reconstructiefout te minimaliseren. De kern van de methode is het prioriteren van het verwijderen van gewichten met het grootste potentieel voor fouten eerder in het proces, zodat er meer resterende parameters beschikbaar zijn voor compensatie.

De methode bestaat uit drie hoofdstappen:

1. Pre-pruning (Schatting van verlies):

   • Voordat de daadwerkelijke pruning plaatsvindt, wordt een "pre-pruning" stap uitgevoerd om te voorspellen welke gewichten waarschijnlijk verwijderd zullen worden.
   • Hiervoor wordt een belangrijkheidsscore berekend (gebaseerd op de magnitude van het gewicht vermenigvuldigd met de $\ell_2$-norm van de input-activatie, vergelijkbaar met de Wanda-methode).
   • Op basis van de doelmatigheid (sparsity rate) wordt een "potentiële verliesmatrix" ($L$) gegenereerd voor elke kolom en elk blok.

2. Twee-niveau herschikking (Two-level Reordering):

   • Kolom-herschikking: Binnen elk blok worden de kolommen gesorteerd op basis van hun geschatte kolomverlies (van hoog naar laag). Kolommen met het grootste verlies worden eerst verwerkt.
   • Blok-herschikking: De blokken zelf worden vervolgens gesorteerd op basis van hun totale blokverlies. Blokken met het hoogste verlies worden naar het begin van de pruning-sequentie verplaatst.
   • Dit zorgt ervoor dat de zwaarste fouten worden gecompenseerd terwijl er nog voldoende ongesneden gewichten beschikbaar zijn.

3. Identificatie van Kolomlagen (Columnar Layer Identification):

   • Niet alle lagen in een LLM vertonen dit probleem. ROSE identificeert automatisch welke lagen een kolompatroon hebben.
   • Hiervoor wordt een metriek gebruikt: de relatieve range van het blokverlies ($R_{rel}$). Als de variatie in verlies tussen blokken binnen een laag een bepaalde drempelwaarde overschrijdt, wordt de laag beschouwd als "kolomvormig" en wordt de herschikking toegepast. Anders wordt de standaard SparseGPT-methode gebruikt.

Belangrijkste Bijdragen

1. Inzicht in Pruning-volgorde: Het paper is het eerste dat systematisch analyseert hoe de volgorde van pruning de prestaties van SparseGPT beïnvloedt, met name bij lagen met kolomvormige gewichtsverdelingen.
2. ROSE-methode: Een nieuwe, adaptieve strategie die pre-pruning en tweevoudige herschikking (kolom en blok) combineert om de reconstructiefout te minimaliseren zonder extra training.
3. Automatische Detectie: Een metriek om automatisch te bepalen welke lagen in een model profijt hebben van herschikking, waardoor de methode robuust is voor verschillende modelarchitecturen.
4. Uitgebreide Validatie: De methode is getest op diverse state-of-the-art modellen (LLaMA2, LLaMA3, Mistral) en presteert consistent beter dan de originele SparseGPT en andere pruning-methoden.

Resultaten

De experimentele resultaten tonen aan dat ROSE de prestaties van SparseGPT significant verbetert:

• Reconstructiefout: ROSE bereikt een lagere reconstructiefout dan SparseGPT over alle geteste sparsity-niveaus (60% tot 90%).
• Perplexiteit: Op de WikiText-dataset behaalt ROSE een lagere perplexiteit (betere taalmodelleringskwaliteit). Bijvoorbeeld, op LLaMA3-8B bij 80% pruning daalt de perplexiteit van 203.45 (SparseGPT) naar 172.14 (ROSE).
• Zero-shot Taken: ROSE behaalt hogere nauwkeurigheid op standaard benchmarks zoals BoolQ, WinoGrande, PIQA en ARC. Bij LLaMA2-7B verbetert ROSE de prestaties op de ARC-taken met meer dan 1,5% ten opzichte van SparseGPT.
• Efficiëntie: De extra rekentijd voor het berekenen van de herschikking is verwaarloosbaar (bijv. 4,76 min vs. 5,15 min voor LLaMA2-7B). De inferentie-snelheid blijft gelijk omdat de herschikking alleen tijdens het pruning-proces plaatsvindt en de uiteindelijke structuur compatibel blijft met bestaande versnellingstechnieken (zoals 2:4 semi-gestructureerde pruning).
• Generalisatie: De methode werkt ook effectief in combinatie met kwantisatie (4-bit en 8-bit) en bij semi-gestructureerde patronen (2:4 en 4:8).

Betekenis en Impact

ROSE biedt een cruciale verbetering voor het deployen van grote taalmodellen op apparaten met beperkte middelen. Door de volgorde van pruning te optimaliseren, kunnen modellen met een hogere compressiegraad (meer gewichten verwijderd) worden gebruikt zonder dat de kwaliteit van de output significant verslechtert. Dit maakt het mogelijk om grotere modellen (zoals LLaMA-70B) efficiënter te maken voor inferentie, terwijl de complexiteit van de methode laag blijft en geen kostbare hertraining vereist. Het paper benadrukt dat de volgorde van operaties in second-order pruning methoden een ondergewaardeerde, maar kritische factor is voor de uiteindelijke modelkwaliteit.