💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM è un framework di post-pruning privo di addestramento che ripristina l'accuratezza nei modelli linguistici di grandi dimensioni sottoposti a pruning della profondità, inserendo leggeri Linear Residual Adapter calibrati tramite regressione a forma chiusa per correggere gli spostamenti distribuzionali causati dalla rimozione dei blocchi Transformer.

Autori originali: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Pubblicato 2026-08-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I grandi modelli linguistici sono i motori che alimentano molti degli strumenti di intelligenza artificiale più avanzati di oggi, capaci di scrivere storie, risolvere problemi e rispondere a domande complesse. Questi sistemi sono costruiti da strati di unità di elaborazione digitale impilati l'uno sull'altro, molto simile a un edificio multipiano dove ogni piano raffina l'informazione trasmessa a quello sottostante. Più piani ha un edificio, più dettagliato e sofisticato può essere il suo output finale, ma questo rende anche la struttura incredibilmente pesante e costosa da gestire. Per molte applicazioni pratiche, specialmente su dispositivi con energia o memoria limitate, questi modelli massicci sono semplicemente troppo grandi per essere utilizzati. Per renderli più piccoli, i ricercatori hanno sviluppato metodi per rimuovere interi piani dall'edificio, un processo noto come pruning della profondità (depth pruning). Sebbene questo alleggerisca con successo il carico e velocizzi il modello, spesso causa l'inciampo dei piani rimanenti. Poiché i piani rimossi erano progettati per trasmettere tipi specifici di informazioni a quelli superiori, la loro rimozione lascia gli strati superiori confusi, ricevendo segnali che non corrispondono più a ciò che erano stati addestrati ad aspettarsi. Questo disallineamento, noto come spostamento della distribuzione (distribution shift), causa la perdita di accuratezza del modello e la generazione di errori, costringendo gli sviluppatori a dedicare un tempo e una potenza di calcolo significativi per riaddestrare il modello al fine di correggere gli errori.

Un team di ricercatori presso l'Huawei Noah's Ark Lab ha introdotto un nuovo approccio chiamato SHIFT-LLM che risolve questo problema senza la necessità di riaddestramento. Invece di cercare di ricostruire i piani mancanti o di riinsegnare ai rimanenti, il loro metodo inserisce un modulo di correzione piccolo e leggero in ogni punto in cui è stato rimosso uno strato. Immaginate che, se aveste rimosso un piano da un edificio, installereste una rampa semplice e su misura che colmi perfettamente il vuoto, assicurando che le persone ai piani superiori ricevano ancora le stesse esatte istruzioni che avrebbero ricevuto se il piano mancante fosse ancora lì. Nel mondo digitale, questa rampa è un adattatore lineare che preserva il percorso diretto dell'informazione aggiungendo al contempo un piccolo aggiustamento calcolato. Questo aggiustamento è progettato per imitare il contributo specifico che lo strato rimosso avrebbe apportato, ingannando efficacemente il resto del modello facendogli credere che il piano mancante sia ancora presente.

La genialità di questo metodo risiede nel modo in cui calcola tale aggiustamento. Invece di eseguire migliaia di ore di addestramento per capire cosa avrebbe dovuto fare lo strato mancante, i ricercatori utilizzano un piccolo set di dati campionari per misurare esattamente quale informazione è stata persa. Successivamente, utilizzano un calcolo matematico diretto per determinare la correzione precisa necessaria per ripristinare quell'informazione perduta. Questo processo è interamente automatico e non richiede l'ottimizzazione basata sul gradiente, ovvero il complesso processo di apprendimento iterativo solitamente richiesto per correggere i modelli guasti. Utilizzando questo calcolo in forma chiusa (closed-form), il team può correggere lo stato interno del modello in pochi minuti utilizzando solo poche centinaia di esempi, invece di giorni di tempo di calcolo. Il risultato è un modello sottoposto a pruning che mantiene la velocità e l'efficienza di avere meno strati, ma opera con un'accuratezza quasi identica al modello originale massiccio.

Nei loro esperimenti, i ricercatori hanno testato questa tecnica su cinque diverse famiglie di modelli linguistici di grandi dimensioni, che vanno da modelli più piccoli da 1,5 miliardi di parametri a versioni più grandi da 14 miliardi di parametri. Hanno applicato sei metodi diversi per decidere quali strati rimuovere e hanno valutato i risultati su sette diversi benchmark progettati per testare la conoscenza generale e il ragionamento. Le scoperte sono state coerenti: i moduli di correzione hanno recuperato con successo l'accuratezza persa durante il pruning in quasi ogni configurazione. In un caso notevole che coinvolge un modello da 8 miliardi di parametri, il metodo ha recuperato un incredibile 15,7 punti di accuratezza su un benchmark standard, un guadagno che tipicamente richiederebbe un riaddestramento esteso ed costoso. Anche quando i modelli erano già in fase di fine-tuning dopo il pruning, l'aggiunta di questo modulo di correzione ha fornito una spinta extra, suggerendo che i due approcci funzionano bene insieme per spingere le prestazioni ancora più in alto.

I ricercatori hanno anche dimostrato che questi moduli di correzione possono essere ulteriormente compressi per risparmiare spazio e possono essere uniti quando vengono rimossi più strati in sequenza, garantendo che i guadagni di efficienza derivanti dal pruning non vadano persi a causa dell'overhead della correzione stessa. Questo lavoro suggerisce che l'ostacolo principale nel rendere i modelli linguistici di grandi dimensioni più piccoli non è solo la rimozione di parti, ma la interruzione del flusso di informazioni tra di esse. Concentrandosi sulla riparazione di quel flusso con aggiustamenti semplici e mirati, SHIFT-LLM offre un modo generale ed efficiente per rendere pratici i potenti modelli di IA per l'uso quotidiano. Lo studio conferma che con la giusta correzione, possiamo privare i cervelli digitali delle loro parti pesanti e ridondanti senza perdere la capacità di pensare chiaramente, aprendo la strada a un'intelligenza artificiale più veloce, economica e accessibile.

Riepilogo Tecnico: SHIFT-LLM

Problematica

Il pruning della profondità nei Large Language Models (LLM) mira a migliorare l'efficienza dell'inferenza rimuovendo interi blocchi Transformer. Tuttavia, questo processo introduce un problema critico: lo shift di distribuzione (distribution shift). Quando un blocco intermedio viene rimosso, l'aggiornamento residuo che avrebbe prodotto viene perso. Di conseguenza, gli strati successivi ricevono stati nascosti (hidden states) che differiscono sistematicamente da quelli incontrati durante il pretraining. Questo shift si propaga attraverso la rete, portando a una significativa degradazione dell'accuratezza. Sebbene il fine-tuning post-pruning possa recuperare le prestazioni, esso richiede risorse computazionali sostanziali, tempi di ottimizzazione e addestramento basato su gradienti, il che ne limita l'applicabilità in scenari con risorse limitate.

Metodologia: SHIFT-LLM

Gli autori propongono SHIFT-LLM, un framework di correzione post-pruning privo di addestramento (training-free), progettato per mitigare questo shift di distribuzione senza il calcolo dei gradienti. Il meccanismo centrale è il Linear Residual Adapter (LRA), inserito in ogni sito di pruning.

1. Formulazione del Linear Residual Adapter (LRA)

Invece di ricostruire da zero l'intero stato nascosto in uscita, l'LRA preserva l'identità del percorso (identity pathway) originale e aggiunge una leggera correzione residua affine.

Struttura: Per uno strato rimosso $\ell$ , l'output originale $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ è approssimato da $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ .
Funzione di Correzione: L'adapter $g_\ell(\cdot)$ è modellato come una trasformazione affine: $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , dove $A^{(\ell)}$ è una matrice di pesi e $b^{(\ell)}$ è un vettore di bias.
Obiettivo: L'LRA approssima specificamente l'aggiornamento residuo mancante ( $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ) piuttosto che l'intero stato nascosto. Ciò semplifica il problema di approssimazione sfruttando la struttura residua su cui il modello è stato preaddestrato.

2. Stima a Forma Chiusa (Senza Addestramento)

I parametri dell'LRA ( $A^{(\ell)}$ e $b^{(\ell)}$ ) sono stimati senza backpropagation o ottimizzazione iterativa:

Raccolta Dati: Il modello originale non rimosso esegue un passaggio in avanti (forward pass) su un piccolo set di calibrazione tenuto separato. Vengono raccolti gli stati nascosti di input ( $H^{(\ell)}$ ) e i corrispondenti aggiornamenti residui reali ( $\Delta^{(\ell)}$ ).
Regressione Ridge: I parametri sono risolti tramite una regressione ai minimi quadrati a forma chiusa (regressione ridge) per minimizzare l'errore tra l'aggiornamento residuo predetto e quello reale:
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
dove $H^{(\ell)}_{aug}$ include una colonna di bias, e $\lambda$ è un coefficiente di regolarizzazione.
Efficienza: Questo processo richiede solo un singolo passaggio in avanti e una risoluzione lineare per ogni strato rimosso, evitando la necessità di calcolo dei gradienti o fine-tuning.

3. Estensioni Pratiche

Fattorizzazione a Basso Rango: La matrice di pesi $A^{(\ell)}$ ottenuta può essere compressa tramite SVD (Singular Value Decomposition) troncata per ridurre il numero di parametri da $d^2$ a $2dr + d$.
Fusione Esatta: Poiché gli LRA definiscono mappature affini, LRA consecutivi in siti di pruning adiacenti possono essere matematicamente fusi in una singola trasformazione senza errore di approssimazione, migliorando ulteriormente la compressione.

Contributi Chiave

Framework SHIFT-LLM: Un metodo di correzione post-pruning privo di addestramento che mira esplicitamente allo shift di distribuzione degli stati nascosti causato dal pruning della profondità.
Linear Residual Adapter (LRA): Un componente innovativo che preserva l'identità del percorso originale mentre approssima gli aggiornamenti residui mancanti tramite una leggera correzione affine, calibrata tramite regressione a forma chiusa.
Modularità e Generalità: Il framework è agnostico rispetto alla specifica strategia di selezione dello strato (es. Block Influence, Taylor sensitivity, Magnitude) e può essere applicato a diverse famiglie di modelli.
Complementarità: Il metodo è progettato per lavorare insieme a esistenti tecniche di fine-tuning efficienti nei parametri (es. LoRA), fornendo un recupero aggiuntivo oltre al solo fine-tuning.

Risultati Sperimentali

Gli autori hanno valutato SHIFT-LLM attraverso cinque famiglie di modelli (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B e Qwen2.5-14B), sei criteri di selezione degli strati e sette benchmark zero-shot.

Recupero Senza Addestramento: Senza alcun fine-tuning, SHIFT-LLM recupera costantemente l'accuratezza persa a causa del pruning della profondità.
- Su Llama-3.1-8B-Instruct con pruning in ordine inverso (25% di profondità), il metodo ha ottenuto un guadagno di +15,74 punti nell'accuratezza media zero-shot.
- Su Qwen1.5-7B, i guadagni hanno raggiunto +6,88 punti sotto il pruning Magnitude- $\ell_1$ .
- La perplessità su WikiText-2 è stata sostanzialmente ridotta in la maggior parte delle configurazioni (ad esempio, una riduzione di oltre 1000 punti di perplessità per Llama-3.1-8B sotto il pruning in ordine inverso).
Scalabilità: Il metodo rimane efficace quando scalato a Qwen2.5-14B, mostrando guadagni fino a +5,36 punti in accuratezza zero-shot.
Compatibilità con il Fine-Tuning: Quando combinato con LoRA o fine-tuning di strati parziali, SHIFT-LLM fornisce un recupero complementare, migliorando ulteriormente le prestazioni nella maggior parte delle configurazioni valutate (ad esempio, +1,14 punti su Llama-3.1-8B-Instruct quando combinato con LoRA).
Confronto con lo Stato dell'Arte: Integrato con la pipeline Navigation LLM, SHIFT-LLM ha migliorato l'accuratezza media da 59,08 a 59,54 su Llama-3.1-8B-Instruct, dimostrando di non degradare le basi solide ma di aggiungere valore.

Significato e Rivendicazioni

L'articolo sostiene che SHIFT-LLM offra una soluzione semplice, generale ed efficace al problema dello shift di distribuzione intrinseco nel pruning della profondità. Approssimando esplicitamente l'aggiornamento residuo mancante pur preservando la struttura residua originale del modello, il metodo mitiga lo shift senza il costo computazionale del ri-addestramento.

Gli autori sottolineano che questo approccio è particolarmente significativo in contesti in cui il training post-pruning è indesiderabile o impraticabile. La capacità del framework di ottenere un recupero dell'accuratezza sostanziale (fino a +15,7 punti) utilizzando solo poche centinaia di campioni di calibrazione e senza calcolo dei gradienti lo posiziona come un'alternativa pratica all'esteso fine-tuning. Inoltre, la capacità di fondere gli adapter consecutivi e comprimere i pesi tramite fattorizzazione a basso rango assicura che i guadagni di efficienza del pruning della profondità siano preservati e potenzialmente potenziati.