Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

Sintesi Tecnica: Selezionare o Proiettare? Valutazione di Vettori a Bassa Dimensionalità per le Spiegazioni dei Dati di Addestramento degli LLM

Definizione del Problema
I metodi basati sul gradiente per le spiegazioni basate su istanze dei Large Language Models (LLM) affrontano una barriera computazionale significativa a causa dell'immensa dimensionalità dei gradienti del modello. Per un modello con 1 miliardo di parametri, un singolo vettore di gradiente richiede oltre 4 GB di memoria, rendendo intrattabile l'analisi del gradiente completo. Le pratiche attuali spesso limitano la stima dell'influenza a un sottoinsieme di parametri del modello (ad esempio, layer specifici o adattatori LoRA) per rendere fattibile il calcolo. Tuttavia, questi sottoinsiemi sono spesso scelti ad hoc senza una giustificazione sistematica. Inoltre, tecniche alternative di riduzione della dimensionalità, come la proiezione casuale, vengono utilizzate ma mancano di una valutazione comparativa rispetto alle strategie di selezione consapevole dell'architettura. Il problema centrale è determinare se sia più efficace selezionare un sottoinsieme sparso e strutturalmente informato di componenti del modello o proiettare il gradiente completo ad alta dimensionalità in uno spazio a dimensionalità inferiore per catturare l'influenza dei dati di addestramento.

Metodologia
Gli autori propongono un nuovo benchmark privo di ri-addestramento per valutare le strategie di riduzione della dimensionalità per le spiegazioni basate su istanze. La valutazione inquadra il problema come un compito di recupero (retrieval): dato un'istanza di test (specificamente, una versione parafrasata di un campione di addestramento o un completamento generato dal modello), il sistema deve identificare l'esempio di addestramento originale tra un insieme di distrattori basandosi sulla similarità del gradiente.

1. Rappresentazione del Gradiente: Lo studio utilizza i gradienti della perdita rispetto ai parametri del modello ($\nabla_\theta L$). Il gradiente completo è costruito appiattendo i gradienti delle componenti (ad esempio, proiezioni di query, key, value, gate MLP) in un unico vettore.
2. Configurazione della Valutazione:
   • Dataset: Gli autori utilizzano il sottoinsieme LIMA del dataset Tülu 2. Generano due set di query: un set Parafrasato ($D_p$) utilizzando GPT-4o-mini per parafrasare i prompt preservandone la semantica, e un set Generato dal Modello ($D_m$) dove il modello fine-tuned genera completamenti per i prompt parafrasati.
   • Metrica: L'accuratezza del recupero è misurata verificando se la similarità del coseno tra il gradiente della query e il gradiente del campione di addestramento originale è superiore alla sua similarità con i distrattori (selezionati tramite BM25).
3. Strategie Confrontate:
   • Gradiente Completo (Full Gradient): Utilizzo dell'intero set di parametri (baseline).
   • Proiezione Casuale (Project): Proiezione del gradiente completo in uno spazio a dimensionalità inferiore ($d \ll M$) utilizzando una matrice casuale, implementata componente per componente per evitare la materializzazione di matrici massicce. Questo preserva la struttura geometrica del gradiente completo.
   • Selezione Greedy delle Componenti (Select): Un algoritmo consapevole dell'architettura che seleziona iterativamente un sottoinsieme di componenti del modello (fino a un budget di parametri) che massimizza l'accuratezza del recupero. Questo sfrutta la linearità dei prodotti scalari per ricostruire i punteggi di similarità da valori scalari pre-calcolati senza memorizzare vettori ad alta dimensionalità.

Contributi Chiave

1. Nuovo Benchmark: L'introduzione di un benchmark efficiente, basato sul recupero, progettato per testare quanto diverse rappresentazioni a bassa dimensionalità supportino l'identificazione di esempi di addestramento influenti.
2. Confronto Principato: Una valutazione sistematica che confronta la selezione greedy consapevole dell'architettura con la proiezione casuale che preserva la geometria e con la baseline del gradiente completo.
3. Dimostrazione di Efficienza e Accuratezza: Evidenza empirica che mostra come la selezione mirata delle componenti produca attribuzioni più accurate ed è significativamente più efficiente dal punto di vista computazionale rispetto alla proiezione casuale.

Risultati

• Limitazioni del Gradiente Completo: Mentre il gradiente completo performa bene nel setting parafrasato (accuratezza 0.993), le sue prestazioni crollano nel setting più impegnativo dei modelli generati (accuratezza 0.218), superando appena il caso casuale (0.20).
• Varianza delle Componenti: Non tutte le componenti contribuiscono allo stesso modo. Nel setting generato dal modello, le proiezioni dei gate MLP e delle up-projections trasportano il segnale più informativo, mentre le proiezioni delle chiavi e dei valori dell'attenzione contribuiscono poco o performano peggio del caso casuale. Il numero di parametri non correla linearmente con la performance; il ruolo funzionale è un determinante più critico.
• Selezione vs. Proiezione:
  • Accuratezza: Un sottoinsieme di componenti selezionato tramite metodo greedy (utilizzando meno del 5% dei parametri) raggiunge un'accuratezza quasi perfetta (0.998) nel setting parafrasato e supera significativamente il gradiente completo nel setting generato dal modello (0.36 contro 0.218).
  • Geometria vs. Utilità: Sebbene la proiezione casuale preservi efficacemente la geometria globale del gradiente completo (alta similarità del coseno rispetto ai punteggi del gradiente completo), questa alta fedeltà non si traduce in un'accuratezza di recupero ottimale. Selezionare le componenti in base alla loro specifica utilità per il compito di recupero è superiore alla preservazione della geometria globale.
• Efficienza Computazionale: Il metodo di selezione greedy è sostanzialmente più efficiente. Il pre-calcolo dei prodotti scalari ha richiesto circa 4 ore, mentre la selezione ha richiesto minuti. Al contrario, i baseline di proiezione casuale hanno richiesto oltre 900 ore (senza caching) a causa dell'intensità computazionale della proiezione di vettori massicci.

Significatività e Rivendicazioni
Il paper sostiene che, per le spiegazioni basate su istanze di grandi modelli, la selezione mirata delle componenti è una strategia pratica e superiore rispetto alla proiezione casuale o all'uso del gradiente completo. L'intuizione centrale è che un sottoinsieme sparso e attentamente scelto di componenti del modello può fornire un segnale più chiaro e discriminante per compiti specifici rispetto al gradiente completo, che è più rumoroso. Questo approccio rende le spiegazioni basate su istanze per grandi modelli più computazionalmente fattibili senza sacrificare, e anzi migliorando, l'accuratezza dell'attribuzione. Gli autori concludono che limitare la stima dell'influenza a un sottoinsieme di layer strutturalmente informato è una via percorribile, sfidando l'assunto che il gradiente completo sia la fonte ottimale di informazione.

Il lavoro è modesto nella sua portata, segnalando limitazioni riguardanti la dimensione del modello (1.2 miliardi di parametri) e la natura statica della valutazione (utilizzo di un singolo checkpoint). Gli autori suggeriscono che i lavori futuri dovrebbero esplorare la generalizzazione attraverso diverse architetture, scale e metodi di attribuzione dinamica che tracciano l'influenza durante l'intero processo di addestramento.