CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Sintesi Tecnica: CRePE e PHO per il Pruning Post-Training

Problematica
L'implementazione di Large Language Models (LLM) comporta costi significativi in termini di memoria e computazione. Il post-training pruning (PTP) offre una soluzione senza addestramento (training-free) rimuovendo i pesi senza necessità di riaddestramento. Sebbene metodi recenti come RIA (Relative Importance) abbiano raggiunto prestazioni allo stato dell'arte in termini di accuratezza normalizzando i pesi tramite somme di righe e colonne, essi soffrono di due limitazioni fondamentali:

1. Limitazione 1D: RIA si basa esclusivamente su informazioni direzionali 1D a forma di croce (riga/colonna), ignorando la struttura 2D intrinseca delle matrici di peso dove i vicini diagonali contribuiscono all'importanza.
2. Ponderazione Uniforme: RIA tratta le contribuzioni di riga e colonna allo stesso modo. Esperimenti preliminari indicano che queste direzioni contribuiscono in modo asimmetrico alla qualità del pruning (ad esempio, la RI per riga produce una perplexity inferiore rispetto alla RI per colonna su LLaMA-2-7B), rendendo il trattamento uniforme subottimale.

Inoltre, l'ottimizzazione degli iperparametri per metodi di scoring migliorati richiede tipicamente un esteso tempo di ricerca. Un approccio naive di hill-climbing basato su PPL per trovare i coefficienti ottimali richiede circa 11 ore, compromettendo il vantaggio di efficienza del PTP.

Metodologia
Il paper propone CRePE (Convolution-aware Relative Importance in Post-training Pruning with Efficient Search) e PHO (Proxy-based Hyperparameter Optimization).

1. CRePE: Enhanced Importance Scoring
CRePE estende il meccanismo di scoring RIA in due modi:

• Contesto di Vicinato 2D: Introduce un termine di vicinato $N^{(k)}_{ij}$ che cattura il contesto locale 2D attorno a ogni peso $W_{ij}$, escludendo i vicini a forma di croce già coperti da RIA. Questo termine è calcolato efficientemente tramite convoluzione 2D della matrice dei pesi assoluti con un kernel mascherato.
• Coefficienti Adattivi: Assegna coefficienti distinti e apprendibili ($\alpha, \beta, \gamma$) rispettivamente ai termini di riga, colonna e vicinato. Ciò consente al modello di tenere esplicitamente conto delle contribuzioni asimmetriche di questi componenti.
• Formula: Lo score di importanza finale è calcolato come:
  $$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$$
  Quando $\alpha=\beta=1$ e $\gamma=0$, CRePE si riduce a RIA.

2. PHO: Efficient Hyperparameter Search
Per evitare il costo proibitivo della ricerca basata su PPL per gli iperparametri ($k, \alpha, \beta, \gamma$), gli autori propongono PHO:

• Scoperta del Proxy: Attraverso l'analisi della correlazione di Spearman su diversi modelli, gli autori hanno scoperto che il coefficiente di Gini degli score di importanza dei pesi pruned nel modulo $q\_proj$ del primo layer ($Gini_{pruned}$) mostra una forte correlazione positiva con la PPL ($\rho = 0.953$).
• Framework di Ricerca: PHO sfrutta $Gini_{pruned}$ come obiettivo surrogato. Utilizza un processo in due fasi:
  1. Screening del Proxy: Un campionatore CMA-ES (Covariance Matrix Adaptation Evolution Strategy) genera 60 candidati, valutandoli esclusivamente su $Gini_{pruned}$ (circa 6 secondi per candidato).
  2. Verifica PPL: Il pruning completo del modello e la valutazione PPL vengono eseguiti solo sui top 10 candidati (circa 90 secondi ciascuno).
• Efficienza: Questo riduce il tempo totale di ricerca da ~11 ore a ~20 minuti (un incremento di velocità di 30×).

Contributi Chiave

• CRePE: Un nuovo metodo di scoring che integra il contesto di vicinato 2D e coefficienti adattivi per modellare la differenza di importanza di termini di riga, colonna e vicinato.
• PHO: Un framework di ottimizzazione efficiente che utilizza il coefficiente di Gini dei pesi pruned come proxy per la PPL, riducendo drasticamente il tempo di ricerca degli iperparametri.
• Generalizzazione: Ha dimostrato miglioramenti coerenti rispetto ai baseline (SparseGPT, Wanda, RIA) attraverso diversi modelli (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) e diverse impostazioni di sparsità (unstructured, 2:4, 4:8).
• Ortogonalità: Ha verificato che CRePE può essere combinato con tecniche esistenti, inclusi Channel Permutation, allocazione di sparsità non uniforme (OWL, AlphaPruning, DLP) e metodi di re-pruning (DSnoT).

Risultati Sperimentali

• Perplexity: CRePE raggiunge costantemente una perplexity inferiore rispetto a RIA. Ad esempio, su LLaMA-2-7B con pruning unstructured al 50%, CRePE raggiunge una PPL di 6.74 rispetto alla 6.81 di RIA. Sotto pruning strutturato 2:4, il divario si amplia (10.74 vs 11.29), suggerendo che uno scoring raffinato è particolarmente benefico sotto vincoli strutturali più stretti.
• Performance Zero-Shot: Su LLaMA-2-7B, CRePE raggiunge la più alta accuratezza media zero-shot (62.18%) su sei task, superando RIA (61.14%).
• Trasferibilità degli Iperparametri: Gli iperparametri ottimali trovati da PHO su LLaMA-2-7B si trasferiscono efficacementamente a LLaMA-2-13B senza ri-sintonizzazione, mantenendo i guadagni di performance attraverso diverse scale di modello.
• Combinazioni: Quando combinato con Channel Permutation (LSA CP) o allocazione non uniforme (DLP), CRePE produce ulteriori riduzioni della perplexity, confermando la sua ortogonalità a queste tecniche.

Significatività e Limitazioni
Il paper sostiene che CRePE fornisca un metodo pratico, senza addestramento, per migliorare significativamente l'accuratezza del pruning di LLM mantenendo l'efficienza degli approcci basati solo su scoring. L'introduzione di PHO assicura che la necessaria sintonizzazione degli iperparametri non vanifichi i vantaggi di risparmio temporale del PTP.

Gli autori rilevano diverse limitazioni:

• Ai livelli di sparsità estremi (>70%), il divario di performance tra CRePE e RIA si restringe, suggerendo che lo scoring di importanza da solo potrebbe non essere sufficiente e che potrebbe essere necessaria la ricostruzione dei pesi.
• La forte correlazione tra $Gini_{pruned}$ e PPL è empirica; un'analisi teorica rigorosa rimane una questione aperta.
• Il metodo è attualmente limitato ai layer lineari densi e non è stato esteso a componenti strutturate come il routing Mixture-of-Experts (MoE).
• L'impatto dell'operazione di convolzione aggiuntiva su diversi ambienti hardware non è stato valutato sistematicamente.