Riepilogo Tecnico: Partizionamento degli Esempi per l'Interpretabilità Meccanica

Enunciato del Problema

L'interpretabilità meccanica mira a ingegnerizzare all'inverso le reti neurali in algoritmi leggibili dall'uomo. Gli approcci attuali affrontano limitazioni distinte:

• Analisi dei Circuiti: Isola sottografi specifici per il compito ma non riesce a produrre un inventario di caratteristiche a livello di modello.
• Sondaggio Supervisionato: Limitato alla verifica di concetti che i ricercatori sanno già cercare.
• Autoencoder Sparsi (SAE): L'approccio non supervisionato dominante, gli SAE apprendono un dizionario di dimensione fissa ottimizzando un obiettivo di ricostruzione che combina sparsità, ricostruzione e dimensione del dizionario. Questo processo di addestramento è computazionalmente costoso (richiedendo miliardi di token) e introduce vincoli (ad esempio, dimensione del dizionario fissa, apprendimento di basi lineari) che possono oscurare le proprietà intrinseche della geometria delle attivazioni del modello.

La domanda centrale posta è: quanto della struttura delle caratteristiche che gli SAE rivelano è dovuta all'obiettivo di addestramento stesso, rispetto a quanto è già presente nella geometria delle attivazioni del modello e accessibile tramite una costruzione più diretta e non appresa?

Metodologia: Partizionamento degli Esempi (EP)

Il Partizionamento degli Esempi è un metodo non supervisionato per costruire dizionari di caratteristiche interpretabili dalle attivazioni dei Modelli Linguistici di Grande Dimensione (LLM) senza addestramento. Tratta il dizionario come una partizione di Voronoi dello spazio delle attivazioni, costruita tramite clustering leader su un singolo passaggio in streaming.

Costruzione Principale

1. Clustering Leader in Streaming: Invece di mediare le attivazioni per formare centroidi (il che può creare direzioni incoerenti e causare instabilità nel clustering), l'EP utilizza esempi fissi. Un esempio è un'attivazione reale e osservata proveniente dal flusso di dati.
   • Quando arriva una nuova attivazione, viene centrata e normalizzata.
   • Se la sua distanza dall'esempio esistente più vicino è inferiore a una soglia, si unisce a quella regione.
   • Se supera la soglia, diventa un nuovo esempio, innescando una nuova regione.
2. Calibrazione e Soglia: La soglia di distanza $\theta_p$ non è un valore assoluto ma il percentile $p$-simo delle distanze a coppie calcolate su un piccolo batch di calibrazione. Ciò consente di sintonizzare la risoluzione del dizionario (un $p$ più piccolo = granularità più fine; un $p$ più grande = più grossolana) mantenendo la comparabilità tra livelli e modelli.
3. Criterio di Saturazione: Il dizionario cresce finché non passa una "finestra di saturazione" senza nuovi esempi. Ciò significa che la dimensione del dizionario non è prespecificata ma determinata dalla geometria delle attivazioni alla risoluzione scelta.
4. Inferenza: Le nuove attivazioni vengono assegnate al loro esempio più vicino. Il dizionario è nativamente 1-spars (one-hot) ma può essere esteso ad assegnazioni $n$-sparse o dense basate sulle distanze.

Proprietà Chiave

• Osservabilità: Poiché le regioni sono ancorate da esempi osservati e non da pesi appresi, i dizionari costruiti dallo stesso flusso di dati sono direttamente confrontabili tra livelli, modelli e checkpoint di addestramento tramite l'abbinamento degli esempi.
• Metrica di Stabilità: Il documento introduce una statistica $D_i = \log_{10}(N_i c_i^2)$ (dove $N_i$ è il conteggio dei membri e $c_i$ è la coerenza dei membri) per prevedere la stabilità incrociata di una regione. Le regioni con alto $D_i$ hanno maggiori probabilità di replicarsi attraverso diversi ordini di streaming.

Contributi e Risultati Chiave

1. Efficienza e Scalabilità

L'EP costruisce dizionari con $\sim 10^3\times$ meno token rispetto agli SAE comparabili.

• Costo di Costruzione: Un dizionario p1 per Gemma-2-2B viene costruito in minuti su una singola GPU utilizzando $\sim 3.6 \times 10^6$ token, mentre SAE comparabili richiedono l'addestramento su miliardi di token.
• Nessuna Backpropagazione: Il metodo richiede zero passaggi all'indietro.

2. Interpretabilità e Intervento Causale

• Ablazione Causale: In Gemma-2-2B-it, il comportamento di rifiuto si concentra in una specifica regione EP. Ablando la direzione dell'esempio (la prima attivazione arrivata) di questa regione, il rifiuto su dati tenuti fuori collassa fino a $\Delta = -0.96$. Ciò dimostra che la "direzione di rifiuto" è un asse preciso catturato da un singolo esempio, che è più efficace per l'intervento rispetto alla direzione media della regione.
• Abbinamento tra Checkpoint: L'abbinamento dei dizionari di base e di quelli addestrati con istruzioni rivela che l'addestramento con istruzioni ri-ancora in gran parte la struttura direzionale del modello, preservando solo un piccolo sottoinsieme universale. Mostra anche che la direzione di rifiuto nel modello addestrato è promossa da una direzione di contenuto dannoso all'interno del prompt presente nel modello di base.

3. Prestazioni sui Benchmark

• AxBench (Rilevamento di Concetti): Su Gemma-2-2B-it L20, un dizionario EP alla risoluzione $p=1$ raggiunge un AUROC medio di 0.881 su 500 concetti latenti.
  • Questo è +0.126 in più rispetto alla voce SAE GemmaScope canonica (0.755).
  • È entro 0.030 dalla baseline più forte, SAE-A (0.911), nonostante l'uso di un pool di candidati più piccolo e di una potenza di calcolo significativamente inferiore.
• SAEBench (Ritenzione di Informazioni): Un dizionario EP p10 ($\ell_0=1$) mantiene $\sim 97\%$ dell'accuratezza del sondaggio sulle attivazioni grezze (0.930 contro 0.959 per IdentitySAE). Ciò suggerisce che l'identità linearmente decodificabile dei concetti è in gran parte preservata dalla sola struttura di densità, anche scartando quasi tutte le coordinate grezze.

4. Approfondimenti Geometrici

• Densità vs. Separabilità Lineare: EP e SAE assumono impegni geometrici diversi. EP si impegna sulla densità (le regioni sono veri coni nello spazio delle attivazioni), mentre gli SAE si impegnano sulla separabilità lineare (ricostruzione sparsa).
• Nucleo Condiviso: Circa il 20% delle regioni EP corrisponde a una caratteristica SAE con $F1 > 0.5$ (a $p=10$). Concordano dove le direzioni sono sia concentrate in densità che linearmente separabili.
• Segnale Fuori Distribuzione (OOD): La distanza dall'esempio più vicino fornisce un segnale OOD gratuito. I token casuali sono consistentemente più lontani dal loro esempio più vicino rispetto ai token in distribuzione, con un divario che si allarga a risoluzioni più fini.

Significato e Affermazioni

Il documento afferma che il Partizionamento degli Esempi offre una nuova classe di oggetti interpretabili che sono:

1. Efficienti: Accessibili ai ricercatori senza budget di calcolo da laboratori all'avanguardia.
2. Diretti: Rivelano proprietà della geometria delle attivazioni (densità, stabilità, direzioni causali) che potrebbero essere oscurate dagli obiettivi di ricostruzione degli SAE.
3. Commensurabili: L'uso di esempi osservati consente il tracciamento diretto dell'evoluzione delle caratteristiche attraverso checkpoint di addestramento e varianti di modello senza procedure di allineamento complesse.

Gli autori sottolineano che, sebbene l'EP catturi un "nucleo condiviso" con gli SAE, espone anche ampie regioni ancorate al contenuto che gli SAE frammentano, e viceversa, gli SAE catturano direzioni lineari sparse che l'EP non risolve a una data risoluzione. Il documento conclude che la struttura della densità da sola trasporta gran parte del segnale misurato dal sondaggio e che l'efficienza del metodo e l'interfaccia di dizionario aperta lo rendono un'aggiunta pratica al toolkit di interpretabilità.

Limitazioni Riconosciute:

• L'EP dipende dal seme; l'identità della regione cambia con l'ordine di streaming, sebbene la stabilità possa essere prevista tramite $D_i$.
• L'implementazione attuale assume una geometria coseno centrata, che potrebbe non catturare caratteristiche dipendenti dalla magnitudine dell'attivazione.
• Gli esperimenti sono esplorativi; il documento non afferma che l'EP sia una sostituzione completa degli SAE, ma piuttosto un'alternativa complementare e altamente efficiente per specifici compiti di interpretabilità.