Riepilogo Tecnico: Scoperta di Feature Non Supervisionata tramite l'Allineamento di Semantica e Meccanismi

Definizione del Problema

Con l'impiego dei Large Language Models (LLM) in domini ad alto rischio, cresce la necessità di sottoporre ad audit non solo gli output del modello, ma anche i calcoli interni che li generano. Sebbene l'interpretabilità meccanicistica offra strumenti per spiegare comportamenti specifici, l'approccio dominante, l'analisi dei circuiti, è tipicamente condizionato al target. Ciò significa che gli analisti devono specificare un singolo prompt e una scelta di completamento target per identificare il circuito causale.

Questa configurazione condizionata al target presenta due criticità fondamentali:

1. Generalizzabilità: Non è chiaro se un meccanismo identificato per un completamento specifico si generalizzi a parafrasi semanticamente simili o se rifletta una dipendenza fragile da una specifica forma superficiale.
2. Eterogeneità Nascosta: Anche per un target fisso, l'analisi su singolo target può oscurare l'eterogeneità del calcolo interno. Output semanticamente simili possono fare affidamento su pattern di attivazione interna distinti che l'analisi su singolo target non riesce a catturare.

Le attuali valutazioni comportamentali sono limitate alle correlazioni input-output, mentre i metodi meccanicistici esistenti spesso richiedono la specifica manuale dei target, rischiando di perdere la diversità di "modalità di continuazione" che un modello può produrre per un singolo prompt.

Metodologia

Gli autori propongono un framework per la scoperta di feature non supervisionata a livello di distribuzione. Invece di analizzare un singolo target, il metodo raggruppa la distribuzione delle continuazioni campionate dal modello allargando l'allineamento tra contenuto semantico e attribuzioni meccanicistiche a livello di sequenza.

Il framework opera in tre fasi:

1. Campionamento delle Continuazioni

Dato un prefisso di input $x$, il modello campiona $N$ continuazioni distinte $y^{(n)}$ utilizzando il nucleus sampling. A ogni continuazione viene assegnata una probabilità normalizzata per lunghezza $P_n$, che rappresenta la sua verosimiglianza sotto la distribuzione del modello. Queste probabilità vengono utilizzate per pesare i contributi di ciascuna continuazione durante il clustering.

2. Rappresentazione Duale

Ogni continuazione campionata è rappresentata da due viste complementari:

• Embedding Semantico ($e_n$): Cattura il significato linguistico della continuazione nel contesto, tipicamente derivato da un modello di embedding pre-addestrato (es. EmbeddingGemma).
• Embedding Meccanicistico ($a_n$): Cattura come le feature del prefisso influenzano i logit della continuazione. Questo viene calcolato utilizzando i transcoder (autoencoder sparsi addestrati per approssimare i layer MLP) per decomporre i calcoli MLP in feature sparse interpretabili. Il vettore di attribuzione $a_n$ aggrega l'attribuzione lineare diretta delle feature del prefisso ai logit de-meaned (privi di media) sull'intero span della continuazione.

3. Clustering Congiunto via Rate-Distortion

L'innovazione principale consiste nel formulare la scoperta latente come un problemente di ottimizzazione rate-distortion. L'obiettivo è trovare un clustering che minimizzi la distorsione (errore di ricostruzione) in entrambe le viste semantica e meccanicistica, minimizzando al contempo il rate (entropia delle assegnazioni ai cluster).

La funzione obiettivo è:
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
Dove:

• $H(C)$ è l'entropia del prior del cluster (Rate).
• $D(e)$ e $D(a)$ sono le distorsioni pesate per probabilità negli spazi semantico (L2) e di attribuzione (L1), rispettivamente.
• $\beta$ controlla il compromesso tra compressione (meno cluster) e fedeltà (bassa distorsione).
• $\gamma$ bilancia il peso tra le viste semantica e meccanicistica ($\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$).

Operazioni Adattive: A differenza di K-means, che fissa $K$ a priori, questo framework utilizza le operazioni di Split e Junk per regolare adattivamente il numero di cluster:

• Split: Divide un cluster eterogeneo se la riduzione della distorsione supera il costo dell'aumento dell'entropia (rate).
• Junk: Rimuove cluster spuri che catturano rumore piuttosto che modalità coerenti, se la riassegnazione dei loro membri riduce l'obiettivo totale.

Contributi Chiave

1. Analisi a Livello di Distribuzione: Il paper introduce il primo framework per raggruppare la distribuzione delle continuazioni di un modello utilizzando sia la struttura semantica che l'attribuzione meccanicistica a livello di sequenza, andando oltre l'analisi su singolo target.
2. Ottimizzazione Congiunta: Dimostra che l'ottimizzazione congiunta per la coerenza semantica e la coerenza meccanicistica rivela modalità di continuazione che le baseline a singola vista (solo semantica o solo attribuzione tramite K-means) perdono.
3. Validazione Causale tramite Steering: Gli autori forniscono evidenza interventiva che le firme dei cluster scoperti corrispondono a fattori meccanicistici azionabili. Guidando (steering) lungo le direzioni derivate dai cluster (usando i medoidi), mostrano spostamenti direzionali e coerenti nella preferenza del modello per le continuazioni all'interno di quel cluster.
4. Controllo della Granularità: Il framework permette agli utenti di controllare la granularità delle modalità scoperte tramite l'annealing del parametro $\beta$, rivelando strutture gerarchiche dove i cluster più fini ereditano le firme meccanicistiche da quelli più grossolani.

Risultati Sperimentali

Il metodo è stato valutato su AmbigQA (usando Qwen3-8B) e MMLU, con esperimenti aggiuntivi su Gemma3 e task di ragionamento (GSM8K, MATH500).

• Performance di Clustering: Nei confronti a parità di rate, il clustering proposto (Rate-Distortion, RD) ha ottenuto la più bassa distorsione mista ($D_\gamma$) nel 94% delle impostazioni rispetto alle baseline K-means (KM-S per solo semantica, KM-A per solo attribuzione). KM-S preservava la coerenza semantica ma falliva sulla coerenza meccanicistica, mentre KM-A mostrava il medesimo fallimento per la parte semantica.
• Analisi della Granularità: Variando $\beta$ è stata rivelata una struttura gerarchica. Ad esempio, un cluster grossolano definito dallo "stile di formattazione" (es. solista vs gruppo) si è suddiviso in cluster più fini basati su dettagli di contenuto specifici (es. elencare i membri del gruppo vs descrizioni del genere) all'aumentare di $\beta$.
• Validazione dello Steering: Gli esperimenti di steering hanno confermato le relazioni causali. Le direzioni medoidi derivate da RD hanno prodotto forti correlazioni monotone tra l'intensità dello steering ($\epsilon$) e i cambiamenti nei logit del target-cluster. Al contrario, le baseline puramente semantiche (KM-Sem) hanno mostrato correlazioni vicine allo zero, e le baseline su singolo target erano più deboli e meno consistenti.
• Task di Ragionamento: Nei benchmark di ragionamento, il metodo ha identificato con successo che specifici step di ragionamento precedenti influenzano causalmente specifici cluster di step target, con gli effetti più forti osservati tra i primi step della sorgente e i target successivi.

Significato e Claim

Il paper sostiene che questo approccio integra la convenzionale analisi dei circuiti e la valutazione comportamentale fornendo un audit scalabile dei meccanismi che sottendono la distribuzione delle continuazioni di un modello.

• Complementarità: Riduce la dipendenza da target scelti manualmente, facendo emergere ipotesi meccanicistiche supportate dallo steering a livello di cluster. Gli utenti possono prima scoprire i cluster e poi tracciare i circuiti specifici associati a un determinato cluster.
• Meccanismi Azionabili: Le modalità scoperte non sono meramente descrittive; corrispondono a fattori meccanicistici azionabili che possono essere manipolati per spostare il comportamento del modello in modi prevedibili.
• Limitazioni: Gli autori riconoscono limitazioni riguardanti l'overhead computazionale (dovuto alla necessità di backward pass per l'attribuzione) e la mancanza di un framework rigoroso per assegnare etichette interpretabili dall'uomo ai cluster. Notano inoltre che la validazione sotto intervento non garantisce l'unicità delle feature identificate, richiedendo ulteriori ispezioni controfattuali.

In sintesi, il lavoro propone un passaggio dall'analisi di coppie isolate input-output all'analisi della distribuzione delle continuazioni, offrendo una lente più robusta per comprendere l'eterogeneità dei calcoli interni dei Large Language Models.