Sintesi Tecnica: La Geometria dell'Informazione della Softmax: Sondaggio e Guida

Definizione del Problema

Gli approcci attuali per interpretare e manipolare i modelli di IA si basano spesso sull'ipotesi della rappresentazione lineare, la quale postula che i concetti di alto livello corrispondano a direzioni specifiche nello spazio di rappresentazione vettoriale del modello. Sebbene questa ipotesi abbia permesso lo sviluppo di metodi per identificare e guidare i concetti (ad esempio, sentiment o veridicità), le tecniche esistenti sono frequentemente fragili e meno efficaci rispetto al fine-tuning diretto. Una limitazione primaria identificata dagli autori è l'assunto implicito che gli spazi di rappresentazione possiedano una geometria euclidea piatta. Il documento sostiene che, per i modelli che utilizzano distribuzioni softmax (inclusi Transformer, LLM e modelli contrastivi come CLIP), la geometria naturale dello spazio di rappresentazione non è euclidea, ma è quella della geometria dell'informazione. Di conseguenza, le operazioni euclidee standard (come l'aggiunta di un vettore di sonda direttamente a una rappresentazione) possono fallire nel preservare la struttura semantica o causare una deriva indesiderata "fuori bersaglio" (off-target drift), dove la massa di probabilità si disperde verso concetti non correlati.

Metodologia

Il documento operazionalizza l'idea che la geometria dei vettori di rappresentazione $\lambda$ debba riflettere la vicinanza delle distribuzioni di probabilità indotte $P_\lambda$.

1. Framework della Geometria dell'Informazione

Gli autori stabiliscono che la geometria indotta dalla divergenza di Kullback-Leibler (KL) tra le distribuzioni softmax è una geometria di Bregman (dualmente piatta). Questa struttura introduce una dualità tra:

• Spazio Primale ($\Lambda$): Lo spazio dei vettori di rappresentazione $\lambda$.
• Spazio Duale ($\Phi$): Lo spazio dei valori attesi (embedding medi) $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$, dove $A(\lambda)$ è il log-normalizzatore.

Il documento distingue tra due percorsi di interpolazione naturali:

• Interpolazione Primale (e-geodesica): Una linea retta nello spazio primale. Questa minimizza una somma pesata di divergenze KL inverse, comportandosi come un operatore AND che enfatizza le regioni ad alta probabilità condivise.
• Interpolazione Duale (m-geodesica): Una linea retta nello spazio duale. Questa minimizza una somma pesata di divergenze KL forward, comportandosi come un operatore OR che crea una miscela lineare di distribuzioni, preservando simultaneamente le caratteristiche semantiche di entrambi gli estremi.

2. Guida Duale (Dual Steering)

Il nucleo metodologico del contributo è la Guida Duale (Dual Steering), una tecnica per modificare le rappresentazioni in modo da esibire un concetto target minimizzando al contempo le variazioni nei concetti fuori bersaglio.

• Il problema della Guida Euclidea: La guida standard aggiunge un vettore di sonda $\beta_W$ (un elemento dello spazio duale) direttamente alla rappresentazione primale $\lambda$. Questo è un "errore di tipo" (type mismatch) in una geometria non euclidea e spesso porta a una deriva fuori bersaglio.
• La soluzione della Guida Duale: Inveve di aggiornare direttamente $\lambda$, la Guida Duale aggiorna la coordinata duale $\phi(\lambda)$ aggiungendo il vettore di sonda: $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$.
• Garanzia Teorica: Sotto l'assunto di distribuzioni fattorizzabili per concetti (dove la distribuzione di output può essere fattorizzata in una distribuzione del concetto target e una distribuzione fuori bersaglio), gli autori dimostrano che la Guida Duale identifica il minimizzatore della divergenza KL che modifica il concetto target e, contemporaneamente, minimizza la divergenza KL della distribuzione fuori bersaglio. Ciò preserva efficacementamente le probabilità relative dei token non correlati.

3. Implementazione Pratica

Poiché lo spazio duale è un insieme convesso limitato, un aggiornamento lineare nello spazio duale può uscire dalla regione ammissibile. Per affrontare questo problema, gli autori propongono un Aggiornamento Newton Regolarizzato:

1. Approssimare il cambiamento nelle coordinate duali utilizzando l'Hessiana del log-normalizzatore (che corrisponde alla matrice di covarianza dei vettori di unembedding).
2. Risolvere il sistema lineare $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ per trovare il corrispondente passo nello spazio primale.
3. Applicare la regolarizzazione di Tikhonov ($\alpha I$) alla matrice di covarianza per gestire la scarsità di rango (che si verifica quando la softmax è altamente concentrata su pochi token), garantendo che l'aggiornamento rimanga ben definito e spinga la distribuzione verso regioni a maggiore entropia, se necessario.
4. Utilizzare il metodo del Gradiente Coniugato per risolvere efficientemente il sistema lineare senza dover invertire esplicitamente la grande matrice di covarianza.

Risultati Chiave

Gli autori valutano la Guida Duale su Gemma-3-4B (LLM) e MetaClip-2 (Vision-Language) attraverso vari concetti binari (ad esempio, verbo $\Rightarrow$ terza persona, cane $\Rightarrow$ gatto, inglese $\Rightarrow$ francese).

• Preservazione dei Concetti Fuori Bersaglio: I risultati empirici mostrano che la Guida Duale supera significativamente la guida euclidea nel preservare le distribuzioni fuori bersaglio. Mentre la guida euclidea causa spesso "perdite" (assegnando una probabilità significativa a token non correlati come "amico" quando si guida "padre" $\Rightarrow$ "madre"), la Guida Duale mantiene la massa di probabilità delle coppie controfattuali e dei token neutri.
• Metriche di Robustezza: La Guida Duale raggiunge una divergenza KL inferiore e differenze di rango minori per le distribuzioni fuori bersaglio rispetto ai metodi euclidei, anche quando la probabilità del concetto target si avvicina a 1.
• Comportamento di Interpolazione: Le visualizzazioni confermano che l'Interpolazione Duale (m-geodesica) agisce come una miscela lineare di distribuzioni, mentre l'Interpolazione Primale (e-geodesica) sopprime gli output specifici degli estremi a favore delle caratteristiche condivise.

Significato e Rivendicazioni

Il documento sostiene che la struttura non euclidea della geometria intrinseca dell'informazione è critica per connettere le manipolazioni geometriche a compiti semantici come la guida (steering).

• Intuizione Teorica: Dimostra che l'ipotesi della rappresentazione lineare deve essere compresa nel contesto della geometria dell'informazione (specificamente la dualità di Bregman) piuttosto che nella geometria euclidea piatta per essere robusta.
• Utilità Pratica: La Guida Duale fornisce un metodo teoricamente fondato per manipolare robustamente le rappresentazioni, minimizzando gli effetti collaterali indesiderati, offrendo un modello per migliorare l'affidabilità dei metodi di interpretabilità e controllo.
• Ambito: Sebbene i risultati siano derivati da modelli basati su softmax, gli autori suggeriscono che l'idea di alto livello di sfruttare la geometria intrinseca sia ampiamente applicabile. Notano esplicitamente che il lavoro serve come modello per la ricerca futura su come la geometria influenzi la robustezza dei metodi di controllo, in particolare negli strati intermedi dei modelli.

Gli autori rimangono modesti riguardo all' "assunto di sondaggio" (ovvero che una sonda lineare catturi perfettamente un concetto attraverso l'intero iperpiano), riconoscendo che in pratica tale assunto potrebbe non valere strettamente, pur evidenziando che la Guida Duale supera comunque empiricamente i metodi euclidei.