🤖 AI

OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction

OPTIMA is een schaalbare, one-shot post-training pruning-methode voor grote taalmodellen die laag-gewijze gewichtsreconstructie formuleert als onafhankelijke kolom-gewijze kwadratische programmeerproblemen met een gedeelde Hessiaan, waarmee een superieure nauwkeurigheid wordt bereikt ten opzichte van heuristische benaderingen terwijl de computationele efficiëntie op moderne versnellers behouden blijft.

Oorspronkelijke auteurs: Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh

Gepubliceerd 2026-10-21✓ Author reviewed ⓘ

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn krachtige computerprogramma's die hebben geleerd menselijke taal te begrijpen en te genereren door enorme hoeveelheden tekst te bestuderen. Ze kunnen verhalen schrijven, complexe vragen beantwoorden en problemen oplossen, maar ze hebben een aanzienlijk nadeel: ze zijn enorm. Deze modellen bevatten miljarden parameters, wat de interne getallen zijn die het systeem aanpast om taal te begrijpen. Vanwege hun omvang vereist het draaien ervan dure, krachtige hardware, waardoor ze moeilijk te gebruiken zijn voor alledaagse taken of op kleinere apparaten. Om deze modellen praktischer te maken, zoeken onderzoekers naar manieren om ze te verkleinen zonder hun vermogen om helder na te denken te verliezen. Een populaire methode is genaamd pruning (snoeien), wat het verwijderen van de minst belangrijke getallen uit het model om de omvang te verkleinen behelst. Dit proces is echter lastig. Als je simpelweg de getallen verwijdert, wordt het model vaak veel slechter in zijn werk. Als je probeert het model te repareren door alle getallen tegelijkertijd opnieuw te berekenen om het verlies te compenseren, wordt de wiskunde zo zwaar dat het onmogelijk is om dit op moderne computers uit te voeren.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld genaamd OPTIMA om dit specifieke probleem op te lossen. Hun doel was om een middenweg te vinden tussen de snelle maar onnauwkeurige methode van het simpelweg verwijderen van getallen en de te trage methode van het proberen te repareren van alles tegelijk. Ze realiseerden zich dat, nadat besloten was welke getallen verwijderd moesten worden, de taak om de resterende getallen te repareren kon worden opgedeeld in veel kleine, onafhankelijke problemen. In plaats van te proberen de wiskunde van het gehele model in één gigantische, onmogelijke stap op te lossen, behandelden ze elke kolom met getallen in het model afzonderlijk. Ze ontdekten dat hoewel elke kolom zijn eigen specifieke beperkingen had op basis van welke getallen werden verwijderd, ze allemaal een gemeenschappelijke onderliggende structuur deelden. Dit stelde hen in staat om een gespecialiseerde wiskundige tool, bekend als een kwadratisch programma, te gebruiken om de perfecte vervangende waarden voor elke kolom te vinden. Omdat de structuur voor elke kolom hetzelfde was, konden ze duizenden van deze kleine problemen tegelijkertijd oplossen op een enkele computerchip, in plaats van één voor één.

De onderzoekers testten deze methode op verschillende families van grote taalmodellen, waaronder populaire modellen zoals LLaMA en Gemma. Ze pasten hun techniek toe op modellen die al door andere bestaande methoden waren gesnoeid, waarbij ze in feite fungeerden als een laatste polijstbeurt om de resultaten te verbeteren. In de meeste gevallen maakte deze extra stap de modellen aanzienlijk nauwkeuriger. Bijvoorbeeld, wanneer ze de modellen testten op een verscheidenheid aan standaardtaken, verbeterde de nieuwe methode de gemiddelde score met tot wel bijna vier punten in sommige moeilijke scenario's, met name wanneer de modellen zeer klein werden gemaakt. De methode werkte goed bij verschillende soorten snoeipatronen en modelgroottes, van kleinere modellen met één miljard parameters tot zeer grote modellen met miljarden parameters. Het is het vermelden waard dat hoewel de methode de nauwkeurigheid verbeterde, het langer duurde om uit te voeren dan de snelste bestaande methoden; het vereiste ongeveer veertig uur om een model met acht miljard parameters te verwerken op een enkele hoogwaardige grafische kaart. De onderzoekers benadrukten echter dat dit een eenmalige kostenpost is die wordt uitgevoerd voordat het model wordt gebruikt, en dat het resulterende model net zo snel draait als de oorspronkelijke gesnoeide versie.

De studie benadrukte ook dat deze aanpak geen magische oplossing is voor elke situatie. In een paar specifieke gevallen verbeterde de nieuwe methode de prestaties van het model niet en maakte het de prestaties soms zelfs iets slechter, wat suggereert dat de interactie tussen de snoeimethode en de correctiestap complex kan zijn. Bovendien ontdekten de onderzoekers dat de methode het beste werkt wanneer de initiële snoei veel ruimte laat voor verbetering, zoals wanneer het model zeer 'sparse' (ijdel/ijler) wordt gemaakt. Ze observeerden ook dat het succes van de methode afhangt van het specifieke type model en hoe het oorspronkelijk is gesnoeid. Ondanks deze beperkingen toont het werk aan dat het mogelijk is om rigoureuze wiskundige optimalisatie te gebruiken om gesnoeide modellen te repareren op een manier die zowel praktisch als schaalbaar is. Door een massaal, onmogelijk probleem op te splitsen in duizenden kleine, parallelle taken, hebben de onderzoekers laten zien dat we grote taalmodellen klein en efficiënt kunnen houden zonder hun intelligentie op te offeren. Dit opent de deur naar meer capabele kunstmatige intelligentie die kan draaien op hardware die momenteel te zwak is om dit te ondersteunen, waardoor krachtige taaltools dichter bij het dagelijks gebruik worden gebracht.

Technische Samenvatting: OPTIMA: Optimale One-Shot Pruning voor LLM's via Kwadratische Programmering Reconstructie

Probleemstelling

Post-training one-shot pruning beoogt de inferentiekosten van Large Language Models (LLM's) te verlagen door parameters te verwijderen met behulp van slechts een kleine kalibratiedataset, om zo de kosten van volledige fine-tuning te vermijden. Echter, het vakgebied staat voor een fundamentele afruil:

Heuristische methoden (bijv. Wanda) zijn computationeel goedkoop maar degraderen vaak de nauwkeurigheid aanzienlijk omdat ze gewichten simpelweg op nul zetten zonder de resterende gewichten bij te werken.
Geprincipeerde joint optimalisatie methoden (bijv. Optimal Brain Surgeon) kunnen de nauwkeurigheid herstellen door te zoeken naar optimale gewicht-updates, maar zijn computationeel onhaalbaar op de schaal van moderne LLM's vanwege de complexiteit van het inverteren van grote Hessians.
Bestaande benaderingen (bijv. SparseGPT, Thanos) proberen deze kloof te overbruggen, maar offeren de reconstructie-optimaliteit op, waardoor er "speling" (headroom) in de nauwkeurigheid overblijft die hersteld zou kunnen worden.

De kernuitdaging is het ontwikkelen van een methode die een balans vindt tussen nauwkeurigheid (door het reconstructieprobleem optimaal op te lossen) en schaalbaarheid (door computationeel haalbaar te zijn op moderne versnellers).

Methodologie

Het artikel introduceert OPTIMA, een framework dat de laag-gewijze gewicht-reconstructiestap volgend op maskerselectie herformuleert als een reeks onafhankelijke, kolom-gewijze Kwadratische Programma's (QP's).

1. Wiskundige Herformulering:
Nadat een binaire masker $M_l$ is geselecteerd voor een gewichtsmatrix $W_l$ , is het doel om geüpdatete gewichten $\hat{W}_l$ te vinden die de output-reconstructiefout $\|X_l W_l - X_l (M_l \odot \hat{W}_l)\|_F^2$ minimaliseren.

OPTIMA deelt dit probleem kolom-gewijs op. Voor elke kolom $j$ wordt de update $\Delta w_j$ geformuleerd als een QP:
$\min_{\Delta w_j} \Delta w_j^T H \Delta w_j \quad \text{onderworpen aan} \quad (\Delta w_j)_i = -(w_j)_i, \forall i \in S_j$
waarbij $H = X_l^T X_l$ de Hessian is (covariantie van input-activaties) en $S_j$ de indices van geprunede gewichten vertegenwoordigt.
Kerninzicht: Alle kolommen van dezelfde gewichtsmatrix delen dezelfde Hessian $H$ . Alleen de lineaire restricties (bepaald door het masker) verschillen per kolom. Deze gedeelde structuur maakt efficiënte batching mogelijk.

2. Solver en Implementatie:

Algoritme: OPTIMA maakt gebruik van een first-order primal-dual solver, specifiek rAPDHG (restarted accelerated primal-dual hybrid gradient), die goed geschikt is voor beperkte problemen en vertrouwt op matrix-vectorproducten met de gedeelde Hessian.
Accelerator Optimalisatie:
- Batching: Duizenden kleine QP's worden parallel op een enkele accelerator (GPU/TPU) opgelost.
- Geheugenefficiëntie: In plaats van de volledige dichte activatiematrix op te slaan, wordt de Hessian incrementeel geaccumuleerd vanuit de kalibratiesequenties.
- Restrictieafhandeling: Geprunede vermeldingen worden afgedwongen via strikte variabelen-bounds in plaats van expliciete gelijkheidsmatrices, wat de overhead van grote restrictiematrices voorkomt.
- Fallback Mechanisme: Als de QP van een kolom niet convergeert binnen het iteratiebudget (gecontroleerd via een convergentiecertificaat), wordt de update verworpen en worden de originele gewichten (met de geprunede vermeldingen op nul gezet) behouden. Dit zorgt ervoor dat de methode nooit slechter presteert dan de update van de baseline masker-selector.

Belangrijkste Bijdragen

QP Herformulering: Het formuleren van post-training reconstructie als gebatchte, kolom-gewijze QP's die één enkele Hessian per gewichtsmatrix delen, wat per kolom globale optimaliteit mogelijk maakt voor de reconstructiedoelstelling.
Schaalbare Solver Pipeline: Het ontwerpen van een accelerator-vriendelijke pipeline die Hessians incrementeel accumuleert, restricties afdwingt via bounds, en duizenden QP's parallel oplost met behulp van rAPDHG.
Modulariteit: Aantonen dat OPTIMA fungeert als een "drop-in" gewicht-update stap die compatibel is met bestaande masker-selectors (Wanda, SparseGPT, Thanos, ProxSparse, ADMM).
Empirische Validatie: Het leveren van uitgebreide resultaten over de LLaMA, Gemma en Qwen families, waarbij consistente verbeteringen in nauwkeurigheid worden getoond zonder fine-tuning.

Resultaten

De auteurs hebben OPTIMA geëvalueerd op LLaMA 3.1/3.2, Gemma 2/3 en Qwen 2.5 modellen over ongestructureerde (50%, 60%) en semi-gestructureerde (2:4) sparsity regimes.

Nauwkeurigheidswinst: OPTIMA verbeterde de gemiddelde zero-shot nauwkeurigheid in 40 van de 49 (model, masker selector, sparsity) instellingen.
- Gemiddelde winsten: +0,61 punten bij 50% ongestructureerde sparsity, +0,56 bij 2:4, en +1,01 bij 60% ongestructureerde sparsity.
- Maximale winst: +3,97 punten (LLaMA 3.2 3B bij 60% sparsity).
- Op Qwen 2.5 bereikten de winsten +4,19 punten.
Vergelijking met Baselines:
- OPTIMA presteerde consequent beter dan de "geen update" baseline (Wanda).
- Het verbeterde de updates van SparseGPT en Thanos in de meeste settings, hoewel de winsten kleiner waren wanneer de baseline al gewicht-updates uitvoerde.
- Op de eigen maskers van OPTIMA werd de ADMM-gebaseerde exacte reconstructie (Boža, 2024) geëvenaard of licht overtroffen.
Perplexity vs. Nauwkeurigheid: Het artikel merkt op dat perplexity en downstream nauwkeurigheid niet altijd correleren; OPTIMA geeft prioriteit aan downstream nauwkeurigheid, wat de primaire metriek is voor pruning-kwaliteit in deze context.
Efficiëntie:
- Het prunen van een 8B parameter model op een enkele NVIDIA H100 duurt 40 uur (piek 60 GB geheugen).
- Het prunen van een 70B model duurt ongeveer 350 uur.
- Hoewel het langzamer is dan heuristische methoden (Wanda/SparseGPT) per laag, blijft het een eenmalige offline kostenpost.

Betekenis en Claims

Het artikel claimt dat principieel kolom-gewijze QP-reconstructie een praktisch alternatief is voor heuristische gewicht-updates in one-shot post-training pruning.

De Kloof Dichten: OPTIMA overbrugt de kloof tussen snelle, onnauwkeurige heuristieken en trage, onhaalbare exacte methoden door de gedeelde Hessian-structuur te benutten om parallelle, gecertificeerde oplossing op versnellers mogelijk te maken.
Geen Fine-Tuning Vereist: De methode behaalt deze winsten zonder enige post-pruning fine-tuning, wat het een pure techniek voor het verlagen van de inferentiekosten maakt.
Schaalbaarheid: Door het probleem op een enkele accelerator op te lossen zonder dat er gedistribueerde trainingsinfrastructuur nodig is, demonstreert OPTIMA dat exacte reconstructie haalbaar is voor grote modellen.
Modulariteit: De aanpak is orthogonaal aan masker-selectie, wat betekent dat het elke bestaande pruning-strategie kan verbeteren die rust op een vast masker.

De auteurs erkennen beperkingen, waarbij zij opmerken dat OPTIMA trager is dan closed-form updates en dat het minimaliseren van de laag-gewijze reconstructiefout niet altijd perfect samenvalt met de end-to-end taakprestaties. Ze argumenteren echter dat de methode een robuuste, theoretisch onderbouwde aanpak biedt om het nut van geprunede modellen te maximaliseren.