Interpretability-Guided Layer Selection over Subspace Projection: SAEs as Stethoscopes, Not Scalpels, for Raw Task Vector Model Editing

Riepilogo Tecnico: Selezione degli Strati Guidata dall'Interpretabilità tramite Proiezione Sottospaziale

Enunciato del Problema
I Large Language Models (LLM) richiedono sempre più un'editing "chirurgico" del modello per potenziare capacità specifiche di dominio senza i costi computazionali o l'oblio catastrofico associati al fine-tuning completo. Due filoni di ricerca principali affrontano questo aspetto: l'Aritmetica dei Compiti, che tratta le differenze di peso tra modelli fine-tunati e di base come "vettori di compito" additivi nello spazio dei pesi, e l'Interpretabilità Meccanicistica (MI), che utilizza Autoencoder Sparsi (SAE) per decomporre lo spazio di attivazione in caratteristiche interpretabili per l'intervento.

L'ipotesi prevalente suggerisce una pipeline sinergica: utilizzare gli SAE per identificare le caratteristiche rilevanti per il dominio e poi iniettare i vettori di compito solo attraverso quelle caratteristiche specifiche (proiezione sottospaziale). Questo lavoro valuta rigorosamente tale ipotesi su compiti di ragionamento matematico utilizzando Gemma-3-4B-IT e scopre una modalità di fallimento fondamentale in questo approccio.

Metodologia
Il lavoro confronta due pipeline per l'editing del modello guidato da SAE (illustrate nella Figura 1):

1. L'Approccio Fallito (Proiezione SAE):

   • Processo: I vettori di compito ($\Delta W$) vengono proiettati sul sottospazio generato dai vettori di decodifica SAE specifici del dominio prima dell'iniezione.
   • Meccanismo: Questo tenta di filtrare le modifiche nello spazio dei pesi attraverso direzioni nello spazio di attivazione.
   • Esito: Ciò agisce come un severo collo di bottiglia informativo, scartando circa il 97% dell'energia di modifica. Gli autori attribuiscono ciò a un disallineamento geometrico: i vettori di decodifica SAE coprono il manifold di attivazione (catturando regolarità statistiche delle rappresentazioni), mentre i vettori di compito esistono nello spazio dei pesi (codificando cambiamenti computazionali). Proiettare modifiche nello spazio dei pesi attraverso direzioni nello spazio di attivazione confonde due strutture geometriche distinte, risultando in una perdita quasi totale del segnale funzionale.

2. L'Approccio Proposto (SAE come Stetoscopio, non come Bisturi):

   • Processo: Gli SAE sono utilizzati rigorosamente per la diagnosi (selezione degli strati), non per l'intervento (filtraggio).
   • Passo 1 (Estrazione del Vettore di Compito): Un vettore di compito viene estratto tramite fine-tuning LoRA su un dataset specifico del dominio (ad es. Teoria dei Numeri).
   • Passo 2 (Selezione degli Strati Guidata da SAE): Viene calcolato un Punteggio di Specificità (SP) per strato. Per ogni strato $l$, il punteggio è la specificità massima delle sue caratteristiche SAE, dove la specificità è il rapporto tra l'attivazione media su input del dominio target rispetto ad altri domini. Vengono selezionati gli strati con $SP(l) \geq \tau_{SP}$ (ad es. 4.0).
   • Passo 3 (Iniezione Grezza Selettiva): Il vettore di compito grezzo e non filtrato ($\Delta W$) viene iniettato solo negli strati selezionati, scalato da un parametro globale $\alpha$. Non viene applicata alcuna proiezione o mascheratura al vettore stesso.
   • Insight Chiave: Questo preserva il 100% dell'energia di modifica confinando le modifiche alle regioni rilevanti per il dominio. Gli autori osservano una legge di conservazione empirica: all'aumentare del numero di strati selezionati, il parametro di scaling ottimale $\alpha$ aumenta proporzionalmente ($n_{layers} \times \alpha_{opt} \approx 11.2$).

Risultati Chiave
Valutati sul benchmark Minerva Math (7 materie, inclusa Teoria dei Numeri, Conteggio e Probabilità, Algebra, ecc.) utilizzando Gemma-3-4B-IT:

• Fallimento della Proiezione: Il metodo di proiezione SAE (iniettando vettori proiettati negli strati selezionati) non ha prodotto miglioramenti statisticamente significativi in nessuna delle sette materie matematiche, nemmeno aumentando la larghezza delle caratteristiche SAE da 16K a 262K. Ha mantenuto solo circa il 2–3,5% dell'energia di modifica.
• Successo dell'Iniezione Grezza: Il metodo proposto (iniettando vettori grezzi negli strati selezionati da SAE) ha migliorato significativamente le prestazioni:
  • Teoria dei Numeri: L'accuratezza è aumentata dal 29,6% al 39,4% ($z = +3,41, p = 0,0007$).
  • Complessivo: 5 su 7 materie hanno mostrato miglioramenti statisticamente significativi; nessuna è stata significativamente degradata.
  • Confronto: La fusione completa di LoRA (applicando $\Delta W$ a tutti gli 34 strati) ha degradato le prestazioni in diverse materie a causa di interferenze.
• Robustezza: Il metodo è robusto al parametro di scaling $\alpha$ entro un ampio intervallo (0,70–1,10) ed è completamente deterministico alla precisione float64.

Contributi Chiave

1. Quadro Metodologico: Propone "Selezione degli Strati Guidata da SAE con Iniezione di Vettori di Compito Grezzi", dimostrando che gli SAE sono efficaci per identificare dove modificare (diagnosi) ma inefficaci per filtrare cosa iniettare (intervento).
2. Risultato Negativo Sostanziale: Documenta che proiettare i vettori di compito sui sottospazi delle caratteristiche SAE scarta circa il 97% dell'energia di modifica e non produce guadagni. Questo è presentato come il contributo scientifico centrale, sfidando l'assunzione intuitiva che la selezione delle caratteristiche nello spazio di attivazione possa filtrare direttamente gli aggiornamenti nello spazio dei pesi.
3. Evidenza Empirica di Disallineamento Geometrico: Fornisce prove forti che le direzioni SAE nello spazio di attivazione e i vettori di compito nello spazio dei pesi non sono intercambiabili, supportando la letteratura recente che mette in discussione l'affidabilità degli SAE come strumenti di intervento oltre la sonda.
4. Ablazione Estesa: Include oltre 30 configurazioni che testano larghezze delle caratteristiche, soglie di selezione degli strati, fonti dei vettori di compito e parametri di scaling.

Significato e Affermazioni
Il lavoro afferma che la distinzione tra spazio di attivazione e spazio dei pesi è un "asse portante" del problema dell'editing del modello. Il significato principale risiede nella ridefinizione del ruolo degli strumenti di interpretabilità:

• SAE come Stetoscopi: Sono preziosi per diagnosticare la specializzazione del dominio a livello di strato.
• Gli SAE non sono Bisturi: Non dovrebbero essere utilizzati per filtrare chirurgicamente le modifiche nello spazio dei pesi tramite proiezione.

Gli autori concludono che un editing chirurgico efficace richiede una separazione dei ruoli: utilizzare gli SAE per identificare gli strati target, ma iniettare il vettore di compito grezzo e non filtrato per preservare il segnale funzionale. Questo approccio offre un quadro principiale, senza training (post-training) e deterministico per potenziare le capacità di dominio senza oblio catastrofico. I risultati suggeriscono che l'efficacia di tale selezione diagnostica dipende dalla "nitidezza" del vettore di compito stesso, richiedendo dati di training di dominio focalizzati.