💬 NLP

High-Layer Attention Pruning with Rescaling

Questo articolo introduce l'High-Layer Attention Pruning with Rescaling (HARP), un nuovo metodo training-free che rimuove strategicamente le teste di attenzione dagli strati superiori dei grandi modelli linguistici e applica una riscalatura adattiva per preservare la magnitudo della rappresentazione, ottenendo così prestazioni superiori in vari compiti di generazione e discriminativi rispetto alle esistenti tecniche di pruning strutturato.

Autori originali: Songtao Liu, Peng Liu

Pubblicato 2026-08-11

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Songtao Liu, Peng Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico super intelligente, un "Large Language Model" (LLM), capace di scrivere storie, risolvere problemi matematici e chiacchierare come un essere umano. Questi cervelli sono incredibilmente potenti, ma sono anche enormi — come cercare di trasportare una biblioteca nello zaino. Poiché sono così grandi, sono lenti nel pensare e occupano molto spazio, il che li rende difficili da usare su telefoni o laptop comuni. Per risolvere questo problema, gli scienziati usano una tecnica chiamata "pruning" (potatura). Pensa alla potatura come al curare un bonsai: tagli con cura i rami che non stanno facendo molto lavoro in modo che l'albero rimanga sano ma diventi più piccolo e veloce.

Di solito, quando le persone potano questi cervelli robotici, guardano le "attention heads" (teste di attenzione) — le minuscole parti del cervello che aiutano il modello a decidere quali parole sono importanti l'una rispetto all'altra. Immagina queste teste come un team di detective in una stanza, ognuno che osserva un indizio diverso. Il vecchio modo di potare era quello di scegliere semplicemente alcuni detective da ogni singola stanza e cacciarli via, sperando che il team continui a funzionare. Ma questo articolo suggerisce che questo non è il modo più intelligente di farlo. Si scopre che nelle stanze molto alte dell'edificio (gli strati superiori del modello), i detective stanno spesso ripetendo ciò che quelli sottostanti hanno già detto. Non aggiungono molto valore nuovo. Gli autori di questo articolo, Songtao Liu e Peng Liu della Penn State, volevano vedere se potevamo ottenere un risultato migliore potando solo i detective dai piani alti e lasciando indisturbati quelli dei piani bassi che lavorano sodo. Hanno anche ideato un trucco intelligente per garantire che il cervello non si confonda quando rimuoviamo quei detective dei piani alti.

La Grande Idea: Tagliare dall'Alto, non dal Centro

I ricercatori hanno proposto un nuovo metodo chiamato HARP (High-layer Attention Rescaled Pruning). La loro scoperta principale è che gli "strati superiori" di un Large Language Model sono in realtà meno importanti di quelli inferiori. Per capire il perché, immagina una staffetta. I corridori all'inizio (gli strati inferiori) stanno facendo il lavoro pesante, capendo la forma base delle parole e delle frasi. Mentre il testimone sale lungo la pista verso gli strati superiori, i corridori lo stanno solo passando. Entro il momento in cui il testimone raggiunge la cima della pista, i corridori sono così sincronizzati che stanno tutti facendo esattamente la stessa cosa. Se rimuovi un corridore dalla parte alta della pista, la corsa non cambia davvero perché stava solo copiando la persona sotto di lui.

Gli autori hanno scoperto che, se poti (tagli fuori) le teste di attenzione in questi strati superiori, il modello in realtà funziona meglio rispetto a se le tagliassi casualmente ovunque. Hanno testato questo metodo su diversi modelli famosi come LLaMA3.1-8B, Mistral-7B, Qwen2-7B e Gemma2-9B. Nei loro esperimenti, hanno rimosso specifiche teste di attenzione dagli ultimi 8 strati dei modelli.

Il Trucco della "Manopola del Volume"

C'era però un problema. Quando rimuovi quei detective degli strati superiori, il segnale che il cervello invia diventa un po' più silenzioso o più forte di prima. È come se rimuovessi un altoparlante da un sistema stereo; la musica potrebbe ancora suonare, ma il volume sarebbe errato e il suono potrebbe essere distorto. Per risolvere questo, gli autori hanno introdotto un "parametro di riscalatura" (rescaling parameter). Immaginalo come una manopola del volume o un dimmer. Dopo aver tagliato gli strati superiori, hanno girato questa manopola per regolare la dimensione dei segnali, assicurandosi che le parti rimanenti del cervello potessero ancora ascoltarsi chiaramente tra loro. Non hanno solo tirato a indovinare la configurazione corretta; hanno usato un metodo di ricerca intelligente per trovare il livello di volume perfetto per ogni strato, testando diversi numeri finché il modello non suonava al meglio.

Cosa Hanno Scoperto

I risultati sono stati piuttosto impressionanti. Quando hanno testato il loro metodo HARP su 27 compiti diversi — che vanno dal rispondere a domande di cultura generale al risolvere complessi problemi matematici e riassumere lunghi documenti — ha costantemente superato gli altri popolari metodi di potatura.

Compiti di Generazione: Questo è il campo in cui il modello deve scrivere cose nuove, come risolvere un problema matematico passo dopo passo. Qui, HARP ha brillato di più. Ad esempio, sul modello LLaMA3.1-8B, HARP ha ottenuto un punteggio medio del 31,10% nei compiti di generazione, mentre il secondo miglior metodo ha ottenuto solo il 20,58%. È un salto enorme!
Contesto Lungo: L'articolo ha anche esaminato quanto bene i modelli gestissero storie o documenti molto lunghi (fino a 65.536 token). Poiché il meccanismo di attenzione è la parte che rallenta maggiormente con i testi lunghi, tagliare gli strati superiori ha reso il modello significativamente più veloce. Hanno scoperto che per una sequenza di 65.536 token, il loro modello potato era il 16,7% più veloce del modello originale non potato, pur mantenendo alta la qualità.
Compiti Discriminativi: Questi sono i compiti in cui il modello deve solo scegliere la risposta corretta da un elenco (come un quiz a scelta multipla). In questo caso, il miglioramento è stato minore ma comunque positivo. HARP è stato all'altezza o migliore degli altri metodi, dimostrando che tagliare gli strati superiori non ha compromesso la capacità del modello di comprendere i fatti.

Perché Questo è Importante

Gli autori suggeriscono che questo metodo è un punto di svolta per rendere l'IA più veloce ed economica da gestire senza dover riaddestrare l'intero modello da zero. Capendo che i piani alti dell'edificio dell'IA sono i più "ridondanti" (ovvero fanno il minor lavoro unico), possono eliminare il superfluo senza danneggiare la struttura fondamentale. Il trucco della "riscalatura" assicura che il modello non si senta stordito quando si rimuovono quelle parti.

In breve, l'articolo sostiene che non dovremmo trattare tutte le parti di un cervello artificiale allo stesso modo. Proprio come un grattacielo, i piani alti potrebbero essere meno critici per la struttura rispetto alle fondamenta. Potando attentamente la parte superiore e regolando il volume, possiamo rendere questi enormi cervelli artificiali più piccoli, veloci e pronti per l'uso quotidiano. Il codice per questo metodo è disponibile per chiunque voglia provarlo, e gli autori sperano che aiuterà a rendere l'IA a contesto lungo (come leggere interi libri in pochi secondi) molto più praticabile per il mondo reale.

Sintesi Tecnica: High-Layer Attention Pruning with Rescaling (HARP)

Problematica

I Large Language Models (LLM) raggiungono prestazioni allo stato dell'arte, ma soffrono di un'elevata latenza di inferenza e costi di memoria, particolarmente negli scenari a lungo contesto. Sebbene il pruning strutturato offra una soluzione priva di addestramento per ridurre i parametri, i metodi esistenti impiegano spesso metriche euristiche che rimuovono indiscriminatamente le teste di attenzione attraverso tutti gli strati della rete. Questi approcci non tengono conto della ridondanza posizionale delle teste di attenzione all'interno dell'architettura. Nello specifico, i metodi attuali non distinguono se le teste di attenzione negli strati inferiori (che elaborano rappresentazioni di token diversificate) siano più critiche rispetto a quelle negli strati superiori (dove le rappresentazioni possono essere diventate altamente allineate). Inoltre, la rimozione delle teste di attenzione altera l'ampiezza delle rappresentazioni dei token poiché il passaggio di aggregazione (media ponderata) viene bypassato, potenzialmente destabilizzando la scala dell'output del modello.

Metodologia

Gli autori propongono HARP (High-layer Attention Rescaled Pruning), un algoritmo di pruning strutturato privo di addestramento progettato per affrontare questi problemi attraverso due meccanismi centrali:

1. High-Layer Attention Pruning

HARP opera sulla premessa teorica ed empirica che le teste di attenzione negli strati superiori degli LLM siano meno importanti rispetto a quelle negli strati inferiori.

Base Teorica: Man mano che i token si propagano attraverso la rete, le loro rappresentazioni nascoste tendono a diventare sempre più simili (over-smoothing). Quando la similarità del coseno media tra coppie di token si avvicina a 1, le query e le chiavi diventano quasi parallele. Di conseguenza, i pesi dell'attenzione softmax diventano uniformi, causando la degenerazione della testa di attenzione in un semplice operatore di media che non è in grado di distinguere tra i token.
Base Empirica: Metriche come i punteggi di Block Importance (BI) indicano che i parametri negli strati inferiori hanno generalmente un impatto maggiore sulle prestazioni del modello rispetto a quelli negli strati superiori.
Implementazione: HARP seleziona e pruna i parametri Query ( $Q$ ) e Key ( $K$ ) delle teste di attenzione negli strati più alti del modello. Rimuovendo $Q$ e $K$ , il meccanismo di auto-attenzione viene efficacemente bypassato per questi strati. Lo strato applica quindi solo le proiezioni Value ( $V$ ) e Output ( $O$ ), riducendo la complessità computazionale da $O(N^2d)$ a $O(Nd)$ per gli strati prunati.

2. Adaptive Rescaling

Il pruning del passaggio di aggregazione dell'attenzione altera la scala (ampiezza) delle rappresentazioni dello stato nascosto, poiché l'operazione di media ponderata viene rimossa.

Problema: Senza il passaggio di aggregazione, la norma di Frobenius degli stati nascosti cambia, portando potenzialmente a una degradazione delle prestazioni.
Soluzione: HARP introduce un parametro di riscalatura non differenziabile, $\alpha$ , nella connessione residua degli strati prunati. L'output è formulato come $H = H + \alpha H W_V W_O$ .
Ottimizzazione: Poiché $\alpha$ è un iperparametro non differenziabile piuttosto che un parametro addestrabile, gli autori impiegano una strategia di ricerca greedy top-down. Partendo dallo strato prunato più alto, ricercano il valore ottimale di $\alpha$ (da un insieme discreto $\{0, 0.1, \dots, 1.0\}$ ) minimizzando la Perplessità (PPL) su un corpus di validazione. Questo processo viene ripetuto strato per strato verso il basso nella rete.

Contributi Chiave

Nuova Strategia di Pruning: L'introduzione di HARP, che mira specificamente alle teste di attenzione negli strati superiori degli LLM, basandosi sull'osservazione che queste teste sono meno informative a causa dell'over-smoothing delle rappresentazioni.
Meccanismo di Rescaling: La proposta di un parametro di riscalatura adattiva per calibrare l'ampiezza delle rappresentazioni dei token post-pruning, contrastando lo spostamento di scala causato dal bypass del passaggio di aggregazione dell'attenzione.
Valutazione Esaustiva: Esperimenti estesi su quattro diverse architetture di LLM (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) e 27 task downstream, coprendo sia benchmark generativi che discriminativi.
Guadagni di Efficienza: Dimostrazione di significativi acceleramenti nell'inferenza, particolarmente nei compiti a lungo contesto, riducendo la complessità quadratica del meccanismo di attenzione negli strati prunati.

Risultati Sperimentali

Gli autori hanno valutato HARP contro baseline allo stato dell'arte inclusi Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP e Wanda.

Compiti Generativi: HARP ha superato costantemente tutte le baseline. Su LLaMA3.1-8B, HARP ha ottenuto un punteggio medio del 31.10% sui compiti generativi (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH), superando significativamente FLAP (15.05%) e Wanda-sp (12.61%). Il miglioramento è stato particolarmente evidente nei compiti che richiedono risposte lunghe (es. GSM8K), dove la propagazione dell'errore è una sfida principale per i modelli prunati.
Compiti Discriminativi: HARP ha ottenuto la prestazione media più alta su LLaMA3.1-8B, Mistral-7B-v0.3 e Qwen2-7B, e ha performato alla pari con la migliore baseline su Gemma2-9B.
Modellazione a Lungo Contesto: Sul benchmark LongBench, HARP ha dimostrato una robustezza superiore nei compiti di multi-document QA e riassunto, preservando meglio le dipendenze a lungo raggio rispetto ad altri metodi.
Studi di Ablazione:
- Selezione dello Strato: Il pruning degli ultimi 8 strati (Top-8) ha prodotto risultati significativamente migliori rispetto al pruning degli primi 8 strati (Bottom-8) o all'uso di metriche basate su Hessian/Similarità per selezionare gli strati.
- Rescaling: L'inclusione del parametro $\alpha$ ricercato ha portato a guadagni di prestazione sostanziali, in particolare nei compiti generativi, confermando la necessità della calibrazione dell'ampiezza.
Efficienza: Per una sequenza di 65.536 token, HARP ha ottenuto un acceleramento del 16.7% nel tempo di inferenza con solo una riduzione del 3.3% dei parametri, evidenziando l'efficienza del targeting delle teste di attenzione nei casi di lungo contesto.

Significato e Rivendicazioni

Il paper sostiene che HARP fornisca un metodo pratico e privo di addestramento per comprimere gli LLM senza richiedere modifiche architettoniche o un nuovo addestramento da zero. Mirando strategicamente alla ridondanza negli strati superiori e correggendo gli spostamenti di scala risultanti, HARP facilita il dispiegamento degli LLM in ambienti con risorse limitate e consente un serving più veloce per applicazioni interattive. Gli autori sottolineano che il loro approccio rende il ragionamento a lungo contesto più accessibile nei sistemi reali.

Lo studio riconosce i limiti, notando che si concentra principalmente sul pruning delle teste di attenzione negli strati superiori, lasciando inesplorati altri componenti. Si suggerisce come lavoro futuro l'estensione di HARP a modelli più grandi e multimodali e la combinazione con tecniche di quantizzazione o compressione della KV-cache.