Riepilogo Tecnico: Potatura della Ridondanza Consapevole della Località per la Compressione della Profondità degli LLM

1. Enunciato del Problema

I Large Language Models (LLM) basati su architetture Transformer soffrono di profondità estrema e sovrapparametrizzazione, portando a costi computazionali e di memoria sostanziali durante l'inferenza. Sebbene la potatura a livello di strato (profondità) sia una strategia efficace per ridurre la latenza e la memoria rimuovendo interi blocchi Transformer, i metodi esistenti one-shot, senza addestramento si basano su ipotesi errate riguardo alla ridondanza.

Gli approcci attuali ricadono generalmente in due categorie:

1. Metodi basati sull'importanza locale: Stimano la ridondanza utilizzando punteggi di strato isolati (ad es. Influenza del Blocco).
2. Metodi basati sulla similarità contigua: Assumono che la ridondanza sia concentrata all'interno di regioni di profondità adiacenti.

Tuttavia, l'analisi empirica rivela che queste ipotesi sono insufficienti. La ridondanza inter-strato non è uniforme tra le architetture; può essere localizzata (concentrata in regioni di profondità specifiche) o globalmente distribuita (sparsa su tutta la rete). I priori di potatura fissi non tengono conto di queste differenze strutturali dipendenti dall'architettura, portando a un degrado delle prestazioni subottimale.

2. Metodologia: Potatura della Ridondanza Consapevole della Località (LoRP)

Gli autori propongono LoRP, un framework di potatura della profondità one-shot e senza addestramento che si adatta alla geometria di rappresentazione specifica di ogni LLM. Il flusso di lavoro consiste in cinque fasi chiave:

2.1 Misurazione della Similarità Inter-strato

Utilizzando un piccolo dataset di calibrazione (128 sequenze da C4), LoRP raccoglie le attivazioni degli stati nascosti di input per ogni blocco Transformer. Calcola una matrice di similarità coseno degli stati nascosti inter-strato ($S$) a coppie, dove ogni voce $S_{ij}$ rappresenta la similarità coseno media per token tra le rappresentazioni di input degli strati $i$ e $j$.

2.2 Punteggio di Località della Rappresentazione (RLS)

Per quantificare la struttura globale della ridondanza, gli autori introducono il Punteggio di Località della Rappresentazione (RLS).

• In primo luogo, viene calcolata la media globale delle similarità fuori diagonale ($\bar{S}_{off}$) su tutte le coppie di strati.
• L'RLS è definito come: $RLS(S) = -\log_2(\bar{S}_{off})$.
• Interpretazione: Un RLS alto indica un decadimento rapido della similarità attraverso la profondità, implicando ridondanza localizzata (la ridondanza è concentrata in regioni specifiche). Un RLS basso indica una forte similarità globale, implicando ridondanza distribuita (la ridondanza è sparsa su tutta la rete).

2.3 Clustering degli Strati

Sulla base della matrice di similarità $S$ e dell'RLS, gli strati vengono partizionati in cluster rappresentazionali utilizzando il clustering spettrale su una matrice di affinità $A = (S + 1)/2$.

• La granularità del clustering è guidata dall'RLS: un RLS più alto porta a un clustering più grezzo (regioni concentrate), mentre un RLS più basso incoraggia una partizione più fine per gestire la ridondanza distribuita.
• Questo passaggio raggruppa gli strati che elaborano rappresentazioni simili del flusso residuo, indipendentemente dalla loro adiacenza fisica.

2.4 Potatura Consapevole della Ridondanza in Due Fasi

LoRP alloca il budget di potatura ($k$ strati da rimuovere) tramite una procedura in due fasi per bilanciare copertura e ridondanza:

1. Fase 1: Inizializzazione Consapevole della Copertura: Per evitare che la potatura collassi in un singolo cluster, il metodo seleziona lo strato eleggibile più ridondante da ciascun cluster per formare un pool iniziale di candidati.
2. Fase 2: Allocazione della Ridondanza Residua: Il budget rimanente viene allocato iterativamente. Ad ogni passo, l'algoritmo identifica il cluster con la più alta ridondanza residua (similarità media a coppie tra gli strati eleggibili rimanenti) e pota lo strato più ridondante all'interno di quel cluster.

Questa allocazione dinamica garantisce che le architetture con ridondanza localizzata potino all'interno di regioni concentrate, mentre quelle con ridondanza distribuita potino attraverso regioni multiple.

3. Contributi Chiave

Il paper apporta i seguenti contributi specifici:

• Osservazione Empirica: Ha dimostrato che la località della rappresentazione varia sostanzialmente tra le famiglie di LLM (ad es., i modelli Qwen mostrano similarità distribuita, mentre LLaMA/Mistral mostrano ridondanza localizzata).
• Proposta di Metrica: Ha introdotto il Punteggio di Località della Rappresentazione (RLS), una metrica semplice derivata dalla similarità globale degli stati nascosti inter-strato per quantificare questo fenomeno.
• Progettazione del Framework: Ha proposto LoRP, un framework di potatura one-shot e senza addestramento che raggruppa gli strati per similarità rappresentazionale e alloca la potatura in base alla struttura specifica di ridondanza dell'architettura.
• Validazione delle Prestazioni: Ha dimostrato che LoRP migliora costantemente la perplessità e l'accuratezza del ragionamento downstream attraverso diverse famiglie di LLM senza richiedere recupero post-potatura o fine-tuning.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque LLM open-source (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) utilizzando nove benchmark di ragionamento zero-shot e tre dataset di perplessità (WikiText-2, C4, PTB).

• Perplessità (PPL): LoRP ha ottenuto la perplessità media più bassa nella maggior parte dei modelli e dei budget di potatura rispetto alle baseline (ShortGPT, LLM-Streamline, LaCo). Il miglioramento è stato particolarmente significativo per i modelli Qwen, dove i metodi di potatura contigua hanno fallito.
• Accuratezza Downstream: LoRP ha preservato le prestazioni di ragionamento zero-shot meglio dei metodi esistenti. Ad esempio, su Qwen3-8B con 7/36 strati potati, LoRP ha raggiunto un'accuratezza media del 56,65%, superando ShortGPT (51,50%) e LaCo (55,82%).
• Pattern di Potatura: La visualizzazione ha confermato che LoRP adatta il suo pattern di potatura al modello: rimuove strati da regioni concentrate per LLaMA/Mistral (alto RLS) e distribuisce le rimozioni attraverso la rete per Qwen (basso RLS).
• Confronto con Metodi Iterativi: Sebbene i metodi iterativi come Shortened LLaMA abbiano talvolta ottenuto una perplessità inferiore (a causa dell'adattamento all'obiettivo di calibrazione), LoRP ha mantenuto un'accuratezza di generalizzazione downstream superiore, suggerendo una migliore robustezza oltre il set di calibrazione.

5. Significato e Affermazioni

Il paper afferma che la località della rappresentazione è un fattore critico e dipendente dall'architettura per una potatura della profondità efficace. Il significato di questo lavoro risiede nello spostamento del paradigma da una valutazione di strati fissi, contigui o isolati a un approccio globale e consapevole della geometria.

• Affermazioni Modeste: Gli autori dichiarano esplicitamente che le loro scoperte suggeriscono che la ridondanza è una proprietà strutturata della geometria della rappresentazione. Non affermano che LoRP sia una soluzione universale per tutti i compiti di compressione, ma piuttosto un framework che migliora l'efficienza rispettando le differenze architetturali.
• Limitazioni: Gli autori riconoscono che la loro politica di clustering guidata dall'RLS è derivata empiricamente dai modelli valutati. Notano che il metodo attuale si basa su un numero di cluster ($K$) specificato manualmente in base agli intervalli RLS e non include ancora recupero post-potatura o fine-tuning. Sono necessari lavori futuri per validare la generalizzazione su architetture, scale e ricette di addestramento più ampie, e per sviluppare strategie completamente automatiche per la selezione dei parametri di clustering.

In sintesi, LoRP dimostra che caratterizzando e adattandosi alla struttura specifica di ridondanza di un LLM, è possibile ottenere una compressione della profondità più efficiente senza sacrificare le prestazioni del modello.