Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

1. Enunciato del Problema

I Large Language Models (LLM) comportano costi di deployment significativi a causa della loro scala. La potatura per profondità (depth pruning), che rimuove interi blocchi Transformer, è una tecnica di compressione strutturata che riduce i costi di inferenza in modo lineare con il numero di livelli mantenuti.

La ricerca precedente sulla potatura per profondità ha operato ampiamente sotto una "visione strutturale" della ridondanza. Questa prospettiva assume che l'importanza del livello sia una proprietà intrinseca della rete preaddestrata, indipendente dal compito downstream. Di conseguenza, i lavori precedenti si sono concentrati sulla ricerca di un singolo ranking "universale" dei livelli (tramite criteri di importanza come la similarità coseno o la magnitudine) e sull'applicazione di algoritmi di ricerca sofisticati per identificare il sottoinsieme ottimale di livelli da rimuovere.

La Domanda Centrale: La ridondanza del livello è davvero una proprietà strutturale del modello, o è una proprietà funzionale determinata congiuntamente dal modello e dall'obiettivo di valutazione specifico (loss di calibrazione)? Gli autori ipotizzano che un livello considerato ridondante per il modellamento del linguaggio (perplessità) potrebbe essere critico per il ragionamento downstream, suggerendo che un ranking universale sia insufficiente.

2. Metodologia

Per testare empiricamente le visioni strutturale e funzionale, gli autori hanno progettato un esperimento controllato che disaccoppia due assi chiave della potatura per profondità: l'Obiettivo di Calibrazione e l'Algoritmo di Ricerca.

• Formulazione del Problema: La potatura per profondità è inquadrata come un problema di selezione di sottoinsiemi:
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  Dove $S$ è l'insieme dei livelli rimossi, $\mathcal{L}$ è la funzione di perdita e $D$ è il dataset di calibrazione.
• Variabili Sperimentali:
  • Modelli: Tre famiglie di LLM open-weight (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B) con pipeline di addestramento variabili ma scale comparabili.
  • Obiettivi di Calibrazione ($\mathcal{L}$):
    1. Perplessità (Task-Agnostic): Log-verosimiglianza negativa sul dataset C4.
    2. Margine di Verosimiglianza del Compito (Task-Centric): Il divario di log-verosimiglianza tra risposte corrette e errate su Commonsense 170k.
  • Algoritmi di Ricerca: Sono stati testati sette algoritmi distinti sotto ciascun obiettivo per isolare l'impatto della strategia di ricerca:
    1. Selezione top-k one-shot
    2. Cancellazione iterativa greedy
    3. Beam search
    4. Algoritmo Genetico (GA) guidato da prior
    5. Ottimizzazione Bayesiana (BO) guidata da prior
    6. Ottimizzazione Binaria Vincolata (CBO)
    7. Fast-block-select
• Valutazione:
  • I modelli potati tramite Perplessità sono stati valutati su WikiText-2, C4 e LAMBADA.
  • I modelli potati tramite Margine di Verosimiglianza del Compito sono stati valutati zero-shot su benchmark di ragionamento di senso comune (HellaSwag, WinoGrande, ARC, PIQA, BoolQ).
  • Budget di Potatura: Due livelli di compressione ($M=7$ e $M=9$ livelli rimossi).

3. Contributi Chiave

1. Visione Funzionale della Ridondanza: Il paper articola e valida empiricamente che la ridondanza del livello non è una proprietà strutturale intrinseca, ma una proprietà funzionale dipendente dall'obiettivo di valutazione.
2. Disaccoppiamento di Ricerca e Obiettivo: Mantenendo fissa una variabile mentre si varia l'altra su tre famiglie di modelli, gli autori isolano la fonte dei guadagni di prestazioni, affrontando il "confondimento metrica-ricerca" comune nella letteratura precedente.
3. Disallineamento Sistematico: Gli autori identificano una disconnessione sistematica tra la perplessità di calibrazione e l'accuratezza del ragionamento downstream, dimostrando che l'ottimizzazione per l'una non garantisce l'ottimizzazione per l'altra.

4. Risultati Chiave

A. Gli Obiettivi Riplasmano i Pattern di Potatura (Sezione 5.1)

• Calibrazione con Perplessità: I pattern di potatura sono stati altamente coerenti tra diversi algoritmi di ricerca. Le rimozioni si sono concentrate in cluster contigui di livelli intermedi-tardivi (ad esempio, livelli 9–12 e 22–26 in LLaMA3).
• Calibrazione con Margine di Verosimiglianza del Compito: I pattern di potatura sono stati dispersi attraverso la rete e sono variati significativamente a seconda dell'algoritmo di ricerca utilizzato.
• Conclusione: I due obiettivi producono insiemi strutturalmente diversi di livelli "ridondanti", smentendo l'idea di una singola mappa universale di ridondanza.

B. Disallineamento tra Perplessità e Accuratezza (Sezione 5.2)

• Gli autori hanno confrontato il ranking dei modelli potati basato sulla perplessità di calibrazione con la loro accuratezza di ragionamento downstream.
• Risultato: Le correlazioni di Spearman sono variate da $\rho = -0.78$ a vicino allo zero. Nella maggior parte delle condizioni, la correlazione è stata negativa.
• Implicazione: La configurazione del modello che minimizza la perplessità spesso non è quella che massimizza l'accuratezza del ragionamento downstream.

C. Gli Algoritmi di Ricerca sono Secondari (Sezione 5.3)

• Varianza Dentro l'Obiettivo: Quando l'obiettivo di calibrazione è stato fissato, diversi algoritmi di ricerca sono convergenti verso soluzioni con prestazioni molto simili.
  • Per la potatura basata sulla verosimiglianza del compito, le differenze di accuratezza tra gli algoritmi di ricerca migliori e peggiori sono state tipicamente 1–3 punti percentuali.
  • Anche metodi complessi (come BO o GA) hanno offerto rendimenti decrescenti rispetto a metodi più semplici (come One-shot o Greedy) una volta fissato l'obiettivo.
• Costo-Beneficio: Metodi semplici (One-shot, Fast-block-select) hanno raggiunto risultati quasi ottimali in minuti, mentre metodi complessi hanno richiesto ore per guadagni marginali.
• Conclusione: La scelta dell'obiettivo di calibrazione ha un'influenza molto maggiore sulle prestazioni finali e sulla struttura del modello rispetto alla scelta dell'algoritmo di ricerca.

5. Significato e Implicazioni

• Cambiamento di Paradigma: Il paper sfida l'assunzione prevalente che l'importanza del livello sia statica. Suggerisce che i ricercatori dovrebbero smettere di cercare un ranking "universale" dei livelli e concentrarsi invece sulla ridondanza condizionata all'obiettivo.
• Efficienza Pratica: Per i professionisti, i risultati implicano che investire risorse computazionali in algoritmi di ricerca complessi (ad esempio, ricerca evolutiva, ottimizzazione bayesiana) produce benefici limitati se l'obiettivo di calibrazione è subottimale.
• Priorità di Progettazione: La decisione di progettazione più critica nella potatura per profondità è l'obiettivo di calibrazione. Selezionare un obiettivo che si allinea con il compito downstream inteso (ad esempio, utilizzare una loss di margine specifica per il compito per compiti di ragionamento invece della perplessità generica) è più impattante che affinare la strategia di ricerca.
• Direzioni Future: Il lavoro futuro dovrebbe dare priorità alla progettazione di obiettivi di calibrazione e allo studio di come diversi compiti definiscono la ridondanza, piuttosto che concentrarsi esclusivamente sul miglioramento delle euristiche di ricerca.

In sintesi, il paper dimostra che nella potatura per profondità degli LLM, l'obiettivo definisce il paesaggio, mentre l'algoritmo di ricerca si limita a navigarlo. Un obiettivo povero non può essere corretto da una ricerca sofisticata, ma un obiettivo ben scelto permette anche a metodi di ricerca semplici di trovare soluzioni di alta qualità.