Towards Isolated Interventions via Almost Orthogonal Features in Language Models

Sintesi Tecnica: Verso Interventi Isolati tramite Caratteristiche Quasi-Ortogonali nei Modelli di Linguaggio

Problematica
Un presupposto centrale dell'interpretabilità meccanicistica è che i concetti significativi nei modelli di linguaggio (LM) corrispondano a caratteristiche lineari nello spazio delle attivazioni. Affinché queste caratteristiche possano supportare interventi causali affidabili, la manipolazione di una caratteristica non dovrebbe alterare sostanzialmente gli effetti di altre. Tuttavia, nella pratica, le caratteristiche apprese sono spesso intrecciate. Questo "interferenza tra caratteristiche" si verifica quando le caratteristiche sono fortemente allineate nello spazio di rappresentazione, causando effetti indesiderati a valle (downstream) durante le manipolazioni localizzate (ad esempio, il controllo del modello/steering), offuscando i contributi causali e limitando l'intervenibilità. Questo problema è esacerbato dal fenomeno della sovrapposizione (superposition), in cui i modelli rappresentano più caratteristiche di quante siano le loro dimensioni, portando a schemi di interferenza difficili da controllare.

Metodologia
Motivati dal principio dei Meccanismi Causali Indipendenti (ICM), il quale postula che i sistemi complessi possano essere scomposti in moduli autonomi che non si influenzano a vicenda, gli autori propongono di vincolare le caratteristiche interne a essere quasi-ortogonali. La metodologia prevede una pipeline di fine-tuning in due fasi:

1. Addestramento SAE Ortogonale: Gli autori addestrano un Autoencoder Sparso (SAE) sulle attivazioni del residual stream di un modello di linguaggio. A differenza degli SAE standard, introducono una penalità esplicita di regolarizzazione dellale ortogonalità sulla matrice del decoder $D$. La funzione di perdita include un termine $\lambda \| \text{tril}(D^\top D) \|_F^2$, che penalizza gli elementi fuori diagonale della matrice di Gram, imponendo così una bassa auto-coerenza (vicinanza all'ortogonalità) tra gli atomi delle caratteristiche.
2. Adattamento del LM: Una volta addestrato l'SAE e fissati i suoi pesi, gli autori lo inseriscono in un Transformer pre-addestrato (specificamente un modello Gemma 2 2B) in uno strato intermedio (lo strato 12 di 26). Successivamente, eseguono un adattamento a basso rango (LoRA) sul modello di linguaggio per adattarlo alla nuova geometria delle caratteristiche preservando al contempo le prestazioni complessive.

Quadro Teorico
Il documento formalizza la relazione tra l'interferenza delle caratteristiche e l'intervenibilità. Modellando la rappresentazione del LM come una combinazione lineare sparsa di caratteristiche ($X = DZ$) e assumendo un'ipotesi lineare per la mappatura dell'output, gli autori derivano un limite superiore sulla discrepanza attesa tra l'output reale e l'output del modello a seguito di un intervento.

• Dimostrano che il disallineamento post-intervento è controllato da un termine di base e da un termine specifico dell'intervento proporzionale alla auto-coerenza del dizionario delle caratteristiche, indicata con $\mu(D)$.
• Nello specifico, la discrepanza attesa è limitata superiormente da un termine che coinvolge $\delta^2 (d-1)\mu(D)$, dove $\delta$ è l'entità dell'intervento. Ciò dimostra teoricamente che la riduzione della auto-coerenza (aumento dell'ortogonalità) limita direttamente la propagazione dell'interferenza, migliorando così l'isolamento degli interventi.

Contributi Chiave

1. Limite Teorico: Gli autori forniscono un limite superiore teorico che mette in relazione l'intervenibilità nel residual stream con l'interferenza delle caratteristiche, collegando esplicitamente la discrepanza negli output del modello alla auto-coerenza del dizionario delle caratteristiche.
2. Pipeline di Fine-Tuning Ortogonale: Dimostrano una pipeline che effettua il fine-tuning di un LM attorno a un SAE con un decoder quasi-ortogonale. Mostrano che questo approccio mantiene prestazioni e punteggi di interpretabilità comparabili ai SAE non penalizzati in compiti di ragionamento matematico.
3. Interventi Isolati: Gli autori eseguono i primi interventi isolati su concetti specifici all'interno di un SAE limitando esplicitamente gli effetti di dispersione (spill-over). Sostituiscono con successo i concetti (ad esempio, cambiare il nome "Jerry" in "Aquaman") preservando le capacità di ragionamento del modello e minimizzando i cambiamenti indesiderati ad altre caratteristiche.

Risultati

• Ortogonalità vs. Prestazioni: La valutazione empirica sul dataset GSM8K mostra che l'aumento della penalità di ortogonalità $\lambda$ diminuisce monotonicamente la perdita di ortogonalità (migliorando la separazione delle caratteristiche) senza degradare significativamente l'accuratezza del modello sui compiti di ragionamento matematico. Le prestazioni dei modelli con penalità di ortogonalità rigorose rimangono competitive con il baseline non penalizzato.
• Efficacia dell'Intervento: Negli esperimenti riguardanti la sostituzione di nomi propri (ad esempio, da "Jerry" a "Aquaman") e altri concetti (animali, luoghi), i modelli con penalità di ortogonalità più elevate ($\lambda \ge 10^{-6}$) hanno dimostrato una migliore isolazione.
  • Sostituzione Corretta: All'aumentare della penalità, il modello include più frequentemente il nome sostituito corretto nella sua generazione (ad esempio, recuperando "Aquaman" circa il 70,9% delle volte con $\lambda=10^{-4}$ rispetto al 60,1% senza penalità).
  • Riduzione dello Spill-over: I modelli con penalità di ortogonalità sono stati più efficaci nell'eliminare il concetto originale senza mantenere erroneamente il precedente nell'output.
• Interpretabilità: L'interpretabilità delle caratteristiche (misurata dalla capacità di un LLM di associare correttamente le spiegazioni delle caratteristiche a frammenti di testo) è rimasta costante attraverso le diverse penalità di ortogonalità, indicando che l'imposizione dell'ortogonalità non sacrifica la comprensibilità umana delle caratteristiche.

Significato e Rivendicazioni
Il documento afferma che l'intreccio delle caratteristiche è un principale inibitore degli interventi isolati nei modelli di linguaggio. Collegando formalmente l'intervenibilità al principio ICM e dimostrando che la regolarizzazione dell'ortogonalità riduce l'interferenza tra le caratteristiche, gli autori suggeriscono una via fondata per migliorare l'identificabilità e l'atomicità delle caratteristiche SAE senza sacrificare l'utilità a valle.

Gli autori inquadrano modestamente il loro lavoro come un passo verso sistemi di IA più affidabili e prevedibili. Sostengono che il loro approccio consente modifiche precise e localizzate delle rappresentazioni interne, il che è cruciale per comprendere come componenti specifiche contribuiscano agli output. Riconoscono che, sebbene il loro metodo migliori la struttura e la controllabilità delle rappresentazioni apprese, introduce potenziali preoccupazioni di doppio uso riguardanti il controllo preciso degli output del modello. Tuttavia, osservano che il loro approccio richiede l'accesso diretto agli interni del modello e competenze tecniche, il che ne limita l'accessibilità e riduce la probabilità di uso improprio. Il lavoro non pretende di risolvere tutti i problemi di sovrapposizione o di robustezza avversaria, ma suggerisce che incoraggiare l'ortogonalità possa agire come un forte bias architettonico verso modelli più robusti.