Riepilogo Tecnico: Ghosted Layers – Allineamento delle Attivazioni Senza Vincoli per il Recupero di LLM con Strati Prunati

1. Enunciato del Problema

Il pruning degli strati è una tecnica pratica di compressione per i Large Language Models (LLM) che rimuove interi blocchi decoder Transformer per ridurre le dimensioni del modello e il costo di inferenza senza richiedere kernel personalizzati o modifiche architetturali. Tuttavia, la rimozione di questi blocchi crea una mismatch delle attivazioni al confine. Lo stato nascosto passato al successivo strato sopravvissuto differisce significativamente dalla distribuzione che lo strato era originariamente stato addestrato a elaborare. Questo spostamento di distribuzione si propaga attraverso gli strati a valle, portando a un degrado sostanziale delle prestazioni sia nella perplessità che nell'accuratezza dei compiti a valle.

I metodi esistenti di recupero senza addestramento tentano di mitigare questo mismatch ma soffrono di limitazioni strutturali:

• ReplaceMe approssima il calcolo dello strato prunato tramite una trasformazione lineare assorbita nei pesi sopravvissuti, ma non affronta direttamente il mismatch al confine.
• LinearPatch mira direttamente al mismatch delle attivazioni al confine inserendo un operatore lineare parametrizzato come una scalatura canale per canale rotta tramite prodotto di Hadamard. Crucialmente, questa parametrizzazione è simmetrica per costruzione, limitando lo spazio di ricerca a un sottospazio stretto di operatori lineari e impedendo al metodo di raggiungere l'ottimo globale dell'obiettivo di allineamento.

L'analisi empirica mostra che questi metodi lasciano una porzione significativa dell'errore delle attivazioni al confine non corretto, suggerendo che la natura vincolata dei loro operatori è insufficiente per recuperare completamente le prestazioni del modello prunato.

2. Metodologia: Ghosted Layers

Gli autori propongono Ghosted Layers, un modulo di recupero plug-and-play senza addestramento che affronta il mismatch delle attivazioni al confine risolvendo per l'operatore lineare ottimo senza vincoli.

Formulazione Principale

Il metodo formula il recupero come un problema di allineamento delle attivazioni. Sia $X_{pre}$ lo stato nascosto di input al primo strato prunato e $X_{post}$ lo stato nascosto di output dell'ultimo strato prunato (input al successivo strato sopravvissuto) nel modello originale non prunato. L'obiettivo è trovare un operatore lineare $W$ tale che $X_{pre}W \approx X_{post}$.

Gli autori definiscono il gap delle attivazioni al confine come $\Delta = X_{post} - X_{pre}$. Riperametrizzano l'operatore come $W = I + M$, trasformando l'obiettivo nella minimizzazione dell'errore di ricostruzione del gap:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

Soluzione in Forma Chiusa

A differenza dei metodi precedenti che ottimizzano su sottospazi vincolati, Ghosted Layers deriva una soluzione in forma chiusa a norma minima ai minimi quadrati sull'intero spazio degli operatori lineari $\mathbb{R}^{C \times C}$:
$$M^* = X_{pre}^\dagger \Delta$$
dove $X_{pre}^\dagger$ è la pseudoinversa di Moore-Penrose delle attivazioni pre-confine. L'operatore finale è $W^* = I + M^*$.

Implementazione

1. Calibrazione: Un piccolo insieme di sequenze di calibrazione (ad esempio, 128 sequenze da C4) viene fatto passare attraverso il modello originale non prunato per raccogliere $X_{pre}$ e $X_{post}$ tramite hook di pre-forward.
2. Calcolo: L'operatore ottimo $M^*$ viene calcolato offline utilizzando un solver per minimi quadrati regolarizzato (o SVD) per garantire stabilità numerica.
3. Deploy: L'operatore $W^*$ viene inserito al confine del pruning tramite un hook di forward. L'operazione è $x_{new} = x W^* = x + x M^*$, dove il termine additivo $x M^*$ stima l'aggiornamento incrementale che gli strati prunati avrebbero contribuito.

Vantaggio Teorico

Il documento dimostra che l'operatore ottimo $W^*$ contiene una sostanziale componente antisimmetrica. Poiché LinearPatch limita la sua ricerca a matrici simmetriche (dove $W = W^\top$), strutturalmente non può accedere a questa componente antisimmetrica. Ghosted Layers, operando sullo spazio senza vincoli, cattura questa componente, raggiungendo teoricamente il vero ottimo dell'obiettivo di allineamento.

3. Contributi Chiave

1. Formulazione del Recupero Post-Pruning: Gli autori formulano il recupero come un problema di allineamento delle attivazioni e ne derivano direttamente la soluzione ottima in forma chiusa dalle attivazioni al confine.
2. Ottimalità Senza Vincoli: Dimostrano che questa formulazione produce un ottimo senza vincoli che include una significativa componente antisimmetrica, inaccessibile a costruzioni simmetriche come LinearPatch.
3. Modulo Ghosted Layers: Propongono un modulo senza addestramento, plug-and-play, compatibile con qualsiasi criterio di pruning e architettura di modello. Supera costantemente le baseline senza addestramento precedenti a costi di inferenza equivalenti.

4. Risultati Sperimentali

Il metodo è stato valutato su più backbones di LLM (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B e altri nell'appendice) e strategie di pruning (LLM-Streamline, ShortGPT, Shortened LLaMA).

• Accuratezza: Ghosted Layers raggiunge costantemente l'accuratezza media zero-shot più alta o competitiva su nove benchmark di ragionamento senso comune (ARC, HellaSwag, WinoGrande, ecc.) rispetto alle baseline senza addestramento. Ad esempio, su LLaMA-3.1-8B con 7 strati prunati, Ghosted Layers ha raggiunto un'accuratezza media del 60,01%, superando LinearPatch (Rotate) al 53,27% e ReplaceMe (LS) al 59,68%.
• Perplessità: Il metodo riduce significativamente la perplessità su WikiText-2, C4 e Penn Treebank. In scenari di pruning aggressivo (11 strati rimossi), il margine di miglioramento rispetto alle baseline si amplia, con Ghosted Layers che raggiunge la perplessità più bassa nella maggior parte delle combinazioni.
• Efficienza: Nonostante la risoluzione per una matrice completa $C \times C$, Ghosted Layers non comporta alcun costo di inferenza aggiuntivo rispetto a LinearPatch. Entrambi i metodi fondono le loro operazioni in una singola moltiplicazione di matrici dense $C \times C$ al confine. Le misurazioni empiriche della latenza confermano che sono indistinguibili entro i margini di rumore.
• Sensibilità alla Calibrazione: Il metodo è robusto rispetto alla dimensione dell'insieme di calibrazione; l'accuratezza satura con sole 32 sequenze, e la scelta del dataset di calibrazione (C4 vs WikiText-2) ha un impatto minimo sulle prestazioni.
• Fine-Tuning: Anche se combinato con una distillazione della conoscenza leggera, Ghosted Layers mantiene un vantaggio prestazionale rispetto alle varianti di LinearPatch fine-tunate, suggerendo che l'inizializzazione in forma chiusa fornisce un punto di partenza superiore.

5. Significato e Affermazioni

Il documento afferma che risolvere l'allineamento delle attivazioni al confine al suo ottimo senza vincoli è sufficiente per recuperare sostanzialmente le prestazioni degli LLM con strati prunati senza retraining.

Il significato di questo lavoro risiede nel dimostrare che il degrado delle prestazioni nei modelli prunati non è semplicemente il risultato di una capacità mancante, ma di uno spostamento di distribuzione correggibile. Spostandosi oltre i sottospazi di operatori vincolati (come le matrici simmetriche) verso l'intero spazio delle mappe lineari, Ghosted Layers recupera informazioni strutturali (in particolare le componenti antisimmetriche) che i metodi precedenti avevano trascurato. Questo approccio offre una soluzione semplice, computazionalmente efficiente ed altamente efficace per il deploy di LLM più piccoli e prunati, preservando le loro capacità originali.