Riepilogo Tecnico: Cobras (Conditional Optimal Bridge for Riemannian Activation Steering)

Definizione del Problema

Lo steering delle attivazioni è emerso come un'alternativa leggera al fine-tuning per il controllo dei Large Language Models (LLM) durante l'inferenza, operando sotto l'ipotesi della rappresentazione lineare secondo cui le proprietà di alto livello corrispondono a direzioni lineari nello spazio delle attivazioni. Tuttavia, i metodi esistenti soffrono di due limitazioni primarie:

1. Obiettivi Euristici: La maggior parte dei metodi ottimizza implicitamente un obiettivo di rapporto tra log-densità ($\nabla \log \frac{p_+}{p_-}$) in modo euristico, mancando di una derivazione principesca da un problema di ottimizzazione ben posto.
2. Indipendenza dalla Query: Gli stimoli di steering attuali sono tipicamente indipendenti dalla query (vettori o trasformazioni fissi). Questa rigidità porta spesso a un grave degrado delle prestazioni su input Out-of-Distribution (OOD), dove una direzione vantaggiosa per i prompt in-distribution può causare output incoerenti o errati per le query OOD.

Metodologia: Cobras

Gli autori propongono Cobras (Conditional Optimal Bridge for Riemannian Activation Steering), che inquadra lo steering delle attivazioni come un problema di Schrödinger Bridge (SB) sull'ip sfera dello stream residuo.

1. Formulazione della Geometria Riemanniana

Il metodo si basa sull'osservazione che le attivazioni dello stream residuo nei layer dei transformer si concentrano fortemente nella norma, vivendo effettivamente su un'ip sfera $S = \{x \in \mathbb{R}^d : \|x\| = R\}$. Cobras opera interamente all'interno di questo manifold riemanniano, utilizzando:

• Proiettori Tangenti: $\Pi_x = I - R^{-2}xx^\top$.
• Distanza Geodetica: $d_S(x, y) = R \arccos(R^{-2}x^\top y)$.
• Mappe Esponenziali/Logaritmiche: Per muoversi tra il manifold e gli spazi tangenti.

2. L'Obiettivo dello Schrödinger Bridge

Inveve di aggiungere euristicamente un vettore, Cobras cerca il processo stocastico ottimale che trasporta la distribuzione delle attivazioni indesiderate ($p_-$) verso le attivazioni desiderate (p_) con il minimo "sforzo", definito come la divergenza di Kullback-Leibler (KL) da un moto Browniano di riferimento sulla sfera.

• Ottimizzazione: Il problema è formulato come la minimizzazione di $KL(P \| Q)$ soggetto ai marginali $P_0 = p_-$ e $P_T = p_+$.
• Soluzione: Ciò si riduce a un problema di trasporto ottimale entropico risolvibile tramite l'algoritmo di Sinkhorn, che fornisce i potenziali duali $\{\phi_j\}$ e $\{\psi_i\}$.

3. Derivazione della Direzione di Steering

La soluzione induce un'equazione differenziale stocastica (SDE). Applicando l'ODE di Flusso di Probabilità a questa SDE, gli autori derivano un termine di drift deterministico:
$$v(x) \propto \nabla_S \log \frac{\hat{\psi}(x, t)}{\hat{\phi}(x, t)}$$
dove $\hat{\psi}$ e $\hat{\phi}$ sono i potenziali di Schrödinger valutati all'attivazione corrente $x$.

• Derivazione Principesca: Il paper dimostra (Proposizione 1) che nel limite di costo di trasporto trascurabile, questo drift converge al comunemente usato rapporto log-densità $\nabla_S \log \frac{p_+}{p_-}$. Questo fornisce la prima rigorosa derivazione basata sull'ottimizzazione dell'obiettivo del rapporto log-densità.
• Adattività alla Query: Fondamentalmente, poiché i potenziali sono valutati sull'attivazione della query corrente, la direzione di steering risultante è intrinsecamente dipendente dal contesto.

4. Implementazione Algoritmica

L'algoritmo Cobras opera in due fasi:

• Offline: Proietta i campioni di addestramento ($D_+, D_-$) sull'ip sfera e risolve il problema SB statico tramite iterazioni di Sinkhorn per calcolare i potenziali.
• Online (Inferenza):
  1. Stima Non Parametrica: Utilizza la stima della densità kernel (KDE) per estendere i potenziali a punti di query arbitrari.
     za Integrazione ODE: Dirige l'attivazione della query integrando l'ODE di flusso di probabilità utilizzando passi di Euler geodetici sulla sfera.
  2. Meccanismi di Gating:
     • Abstain Gate (Gate di Astensione): Confronta la distanza della query rispetto alla distribuzione di addestramento con un raggio di riferimento. Se la query è lontana (OOD), lo steering viene attenuato per prevenire il degrado.
     • Strength Gate (Gate di Forza): Modula lo steering in base all'allineamento della query con la direzione contrastiva media, riducendo l'intervento per input già allineati.

Contributi Chiave

1. Derivazione Principesca: Fornisce la prima derivazione dell'obiettivo di steering del rapporto log-densità da un problema di Schrödinger Bridge ben posto su un manifold riemanniano.
2. Steering Adattivo alla Query: Introduce un metodo in cui le direzioni di steering sono calcolate dinamicamente in base alla specifica query, evitando i modi di fallimento "one-size-fits-all" dei metodi a vettore fisso.
3. Superiorità Empirica: Dimostra una performance costantemente superiore su quattro modelli (Falcon-7B, Mistral-7B, LLaMA3.1-8B, Qwen2.5-7B) e tre assi di allineamento (Helpfulness, Truthfulness, Detoxification).

Risultati Sperimentali

Gli autori hanno valutato Cobras su TruthfulQA (Truthfulness), UltraFeedback (Helpfulness) e RealToxicityPrompts (Detoxification), insieme a benchmark OOD (MMLU, GSM8K).

• Performance In-Distribution: Cobras ha costantemente raggiunto i valori più alti per le metriche primarie in tutti i modelli e i task. Ad esempio, su TruthfulQA, ha migliorato il punteggio True×Info di +29.5 punti su Mistral-7B e +25.1 su LLaMA3.1-8B rispetto ai modelli originali, superando i baseline come ODESteer, CAA e SphericalSteer.
• Preservazione OOD: A differenza di molti baseline che hanno migliorato le metriche in-distribution a scapito dell'accuratezza OOD (ad esempio, cali severi in GSM8K), Cobras ha mantenuto le performance OOD vicine o superiori al baseline non steerato. Ciò è attribuito all'abstention gate, che impedisce lo steering su input lontani dal supporto di addestramento.
• Diversità: Cobras ha preservato meglio la diversità lessicale (metriche Dist-n) e la perplessità rispetto a diversi baseline (come CAA e SphericalSteer), che spesso degradano la qualità della generazione.

Significato e Rivendicazioni

Il paper sostiene che Cobras colmi il divario tra lo steering delle attivazioni euristico e la rigorosa teoria del trasporto ottimale. Il suo significato primario risiede in:

• Fondamento Teorico: Stabilire che l'euristica del rapporto log-densità è un caso limite di una formulazione di Schrödinger Bridge ben posta su un manifold riemanniano.
• Robustezza: Risolvere il problema del degrado OOD inerente allo steering a direzione fissa rendendo l'intervento intrinsecamente adattivo alla query.
• Generalità: Fornire un framework che unifica vari paradigmi di steering (inclusi CAA, ITI e Spherical Steering) sotto un singolo framework di ottimizzazione geometrica, offrendo al contempo una performance empirica superiore.

Gli autori segnalano limitazioni, tra cui il costo computazionale $O(N_+ \cdot N_-)$ delle distanze geodetiche pairwise e delle iterazioni di Sinkhorn, che potrebbe essere proibitivo per set contrastivi molto grandi, e la dipendenza da un'assunzione di geometria sferica fissa. Si suggerisce di esplorare solver di trasporto gerarchici e manifold riemanniani più generali per il lavoro futuro.