CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Technische Samenvatting: CRePE en PHO voor Post-Training Pruning

Probleemstelling
Het implementeren van Large Language Models (LLM's) brengt aanzienlijke geheugen- en rekenkosten met zich mee. Post-training pruning (PTP) biedt een training-vrije oplossing door gewichten te verwijderen zonder hertraining. Hoewel recente methoden zoals RIA (Relative Importance) een state-of-the-art nauwkeurigheid hebben bereikt door gewichten te normaliseren via rij- en kolomsommen, lijden ze aan twee fundamentele beperkingen:

1. 1D-beperking: RIA vertrouwt uitsluitend op 1D kruisvormige (rij/kolom) directionele informatie, waarbij de inherente 2D-structuur van gewichtsmatrices wordt genegeerd, waarin diagonale buren ook bijdragen aan de belangrijkheid.
2. Uniforme Weging: RIA behandelt rij- en kolombijdragen als gelijkwaardig. Voorlopige experimenten geven aan dat deze richtingen asymmetrisch bijdragen aan de kwaliteit van het prunen (bijv. levert rij-gewijze RI een lagere perplexiteit op dan kolom-gewijze RI op LLaMA-2-7B), waardoor uniforme behandeling suboptimaal is.

Daarnaast vereist het optimaliseren van de hyperparameters voor verbeterde scoringsmethoden doorgaans uitgebreide zoektijd. Een naïeve PPL-gebaseerde hill-climbing benadering voor het vinden van optimale coëfficiënten duurt ongeveer 11 uur, wat het efficiëntievoordeel van PTP ondermijnt.

Methodologie
Het artikel stelt CRePE (Convolution-aware Relative Importance in Post-training Pruning with Efficient Search) en PHO (Proxy-based Hyperparameter Optimization) voor.

1. CRePE: Verbeterde Belangrijkheidsscoring
CRePE breidt de RIA-scoringsmechanisme op twee manieren uit:

• 2D-nabuurschapcontext: Het introduceert een nabuurschapsterm $N^{(k)}_{ij}$ die de lokale 2D-context rond elk gewicht $W_{ij}$ vastlegt, exclusief de kruisvormige buren die al door RIA worden gedekt. Deze term wordt efficiënt berekend via 2D-convolutie van de absolute gewichtsmatrix met een gemaskeerde kernel.
• Adaptieve Coëfficiënten: Het wijst afzonderlijke, leerbare coëfficiënten ($\alpha, \beta, \gamma$) toe aan respectievelijk de rij-, kolom- en nabuurschapstermen. Dit stelt het model in staat om expliciet rekening te houden met de asymmetrische bijdragen van deze componenten.
• Formule: De uiteindelijke belangrijkheidsscore wordt berekend als:
  $$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$$
  Wanneer $\alpha=\beta=1$ en $\gamma=0$, reduceert CRePE tot RIA.

2. PHO: Efficiënte Hyperparameter Zoektocht
Om de prohibitieve kosten van PPL-gebaseerde zoektochten voor de hyperparameters ($k, \alpha, \beta, \gamma$) te vermijden, stellen de auteurs PHO voor:

• Proxy Ontdekking: Door middel van Spearman-correlatieanalyse over diverse modellen heen, ontdekten de auteurs dat de Gini-coëfficiënt van de belangrijkheidsscores van de geprunte gewichten in de eerste laag van de $q\_proj$ module ($Gini_{pruned}$) een sterke positieve correlatie vertoont met PPL ($\rho = 0.953$).
• Zoekframework: PHO maakt gebruik van $Gini_{pruned}$ als een surrogaat-doelstelling. Het hanteert een tweefasig proces:
  1. Proxy Screening: Een CMA-ES (Covariance Matrix Adaptation Evolution Strategy) sampler genereert 60 kandidaten, die uitsluitend worden geëvalueerd op $Gini_{pruned}$ (ongeveer 6 seconden per kandidaat).
  2. PPL Verificatie: Volledige modelpruning en PPL-evaluatie worden alleen uitgevoerd op de top 10 kandidaten (ongeveer 90 seconden elk).
• Efficiëntie: Dit vermindert de totale zoektijd van ~11 uur naar ~20 minuten (een versnelling van 30×).

Belangrijkste Bijdragen

• CRePE: Een nieuwe scoringsmethode die 2D-nabuurschapcontext en adaptieve coëfficiënten integreert om de differentiële belangrijkheid van rij-, kolom- en nabuurschapstermen te modelleren.
• PHO: Een efficiënt optimalisatieframework dat de Gini-coëfficiënt van geprunde gewichten gebruikt als proxy voor PPL, wat de hyperparameter zoektijd drastisch vermindert.
• Generalisatie: Toonde consistente verbeteringen aan ten opzie van baselines (SparseGPT, Wanda, RIA) over diverse modellen (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) en sparsity-instellingen (unstructured, 2:4, 4:8).
• Orthogonaliteit: Geverifieerd dat CRePE gecombineerd kan worden met bestaande technieken, inclusief Channel Permutation, niet-uniforme sparsity-allocatie (OWL, AlphaPruning, DLP) en re-pruning methoden (DSnoT).

Experimentele Resultaten

• Perplexiteit: CRePE bereikt consistent een lagere perplexiteit dan RIA. Bijvoorbeeld, op LLaMA-2-7B met 50% unstructured pruning, bereikt CRePE een PPL van 6.74 vergeleken met RIA's 6.81. Onder 2:4 gestructureerde pruning wordt het gat groter (10.74 vs. 11.29), wat suggereert dat verfijnde scoring bijzonder gunstig is onder striktere structurele beperkingen.
• Zero-Shot Prestaties: Op LLaMA-2-7B bereikt CRePE de hoogste gemiddelde zero-shot nauwkeurigheid (62.18%) over zes taken, waarmee het RIA (61.14%) verslaat.
• Hyperparameter Overdraagbaarheid: Optimale hyperparameters gevonden door PHO op LLaMA-2-7B worden effectief overgedragen naar LLaMA-2-13B zonder hernieuwde afstemming, waarbij de prestatiewinst over model-schalen behouden blijft.
• Combinaties: Wanneer gecombineerd met Channel Permutation (LSA CP) of niet-uniforme allocatie (DLP), levert CRePE verdere reducties in perplexiteit op, wat de orthogonaliteit aan deze technieken bevestigt.

Betekenis en Beperkingen
Het artikel beweert dat CRePE een praktische, training-vrije methode biedt om de nauwkeurigheid van LLM-pruning aanzienlijk te verbeteren terwijl de efficiëntie van scoring-only benaderingen behouden blijft. De introductie van PHO zorgt ervoor dat de noodzakelijke hyperparameter afstemming het tijdsbesparende voordeel van PTP niet tenietdoet.

De auteurs merken enkele beperkingen op:

• Bij extreme sparsity-niveaus (>70%) wordt het prestatieverschil tussen CRePE en RIA kleiner, wat suggereert dat belangstellingsscoring alleen mogelijk onvoldoende is en gewichtsreconstructie vereist is.
• De sterke correlatie tussen $Gini_{pruned}$ en PPL is empirisch; een rigoureuze theoretische analyse blijft een open vraag.
• De methode is momenteel beperkt tot dichte lineaire lagen en is nog niet uitgebreid naar gestructureerde componenten zoals Mixture-of-Experts (MoE) routing.
• De impact van de extra convolutie-operatie over diverse hardware-omgevingen is niet systematisch geëvalueerd.