Sintesi Tecnica: ORBIT

Problematica

I grandi modelli linguistici (LLM) vengono frequentemente impiegati in contesti di assistenza dove il controllo degli attributi comportamentali (ad esempio, tono, tratti della personalità) è essenziale. Sebbene lo steering delle attivazioni al momento dell'inferenza offra un meccanismo leggero e privo di addestramento per modificare il comportamento del modello spostando le rappresentazioni degli stati latenti, i metodi esistenti affrontano limitazioni significative nel controllo multi-attributo.

Gli approcci attuali si concentrano principalmente sullo steering di un singolo attributo. Quando devono essere controllati simultaneamente più attributi (ad esempio, una risposta che sia sia "cauta" che "concisa"), i metodi ingenui falliscono a causa dell'interferenza geometrica:

1. Sbilanciamento della Norma: Gli attributi inducono vettori di steering con magnitudo vastamente differenti; senza una calibrazione attenta, gli attributi ad alta magnitudo dominano la somma.
2. Cancellazione Direzionale: Diversi attributi possono indurre direzioni che sono antagoniste (similarità del coseno negativa) o ridondanti, causando la cancellazione dei vettori o l'iper-amplificazione di direzioni specifiche.
3. Mancanza di Flessibilità: Le alternative basate sull'addestramento (ad esempio, classificatori guidati dal gradiente) richiedono un nuovo addestramento ogni volta che cambia l'insieme degli attributi target, limitando la composizione comportamentale on-the-fly.

Metodologia: ORBIT

Gli autori propongono ORBIT (Orthogonal Rotation-Based Intervention Technique), un metodo privo di addestramento che estende lo steering basato su rotazione al setting multi-attributo. Invece di sommare vettori di steering indipendenti, ORBIT costruisce un sottospazio congiunto e applica una singola rotazione che preserva la norma all'interno di esso.

Algoritmo Core

Il metodo opera in due fasi: setup e decoding.

1. Estrazione del Piano dell'Attributo: Per ogni attributo target $k$, viene costruito un piano di steering 2D utilizzando la direzione media contrastiva ($b_1^{(k)}$) e la prima direzione PCA delle differenze accoppiate ortogonalizzate a $b_1^{(k)}$ ($b_2^{(k)}$).
2. Costruzione del Sottospazio Congiunto (Passaggio 1): Gli assi normalizzati di tutti i $K$ attributi vengono concatenati. Viene applicata la Decomposizione ai Valori Singolari (SVD) per estrarre una base ortonormale $E$ per lo span di questi assi. Questo passaggio rimuove automaticamente le direzioni ridondanti e crea un sottospazio condiviso dove tutti gli attributi possono essere guidati simultaneamente.
3. Gating Adattivo per Token (Passaggio 2): Per evitare modifiche non necessarie, il metodo calcola una proiezione con segno $s_k$ dell'attivazione dell'attuale token sul primario asse di ogni attributo. Un gate lineare a margine zero $g_k = \max(0, -s_k)$ determina l'intensità dell'intervento. I token già allineati con il target non ricevono intervento; i token disallineati ricevono aggiornamenti più forti proporzionalmente alla loro opposizione.
4. Direzione Target Combinata (Passaggio 3): Una direzione aggregata pesata dal gate $r$ viene formata dagli attributi attivi. Se $r$ è non nullo, viene normalizzato per formare la direzione target $t$. Ciò consente al sistema di dare priorità dinamicamente agli attributi che sono attualmente più disallineati nella rappresentazione del token.
5. Decomposizione del Sottospazio e Rotazione (Passaggio 4): L'attivazione del token $h$ viene decomposta in una componente all'interno del sottospazio congiunto ($h_{in}$) e un resto ortogonale ($h_{\perp}$). La componente nel sottospazio viene ruotata verso il target $t$ preservandone la norma. La componente ortogonale rimane invariata, garantendo che il contenuto non relativo all'attributo sia preservato.
6. Boost Additivo Opzionale: Per rafforzare lo steering quando la proiezione iniziale è debole, viene applicato un boost additivo opzionale all'interno del piano dopo la rotazione. Anche questo boost è gated, applicandosi solo ai token disallineati.

Proprietà Teoriche

• Preservazione della Norma: Utilizzando la rotazione invece dell'addizione, ORBIT preserva la norma dell'attivazione, prevenendo l'instabilità e la degradazione della coerenza spesso viste con i metodi additivi.
• Generalizzazione: Il metodo non richiede addestramento. Si generalizza a nuove combinazioni di attributi senza retraining, poiché il sottospazio congiunto è costruito on-the-fly tramite SVD.
• Complessità: Il costo per token è $O(Kd + md)$, dove $d$ è la dimensione nascosta e $m$ è la dimensione del sottospazio ($m \le 2K$). Questo è circa il doppio del costo di Contrastive Activation Addition (CAA), ma di un ordine di grandezza più economico rispetto ai metodi basati sul gradiente come K-Steering.

Contributi Chiave

1. Algoritmo ORBIT: Un metodo geometrico privo di addestramento che costruisce un sottospazio di tratti congiunto tramite SVD e applica una singola rotazione che preserva la norma, lasciando invariate le componenti al di fuori del sottospazio.
2. Analisi dei Modelli di Fallimento: Una caratterizzazione dei fallimenti geometrici nella composizione naive multi-attributo (dominanza della norma e conflitto angolare) e la validazione empirica di tali problemi.
3. Benchmark TRAITFACTORY: Un nuovo benchmark multi-attributo focalizzato su 13 tratti della personalità attraverso 22 categorie tematiche, progettato per testare tendenze comportamentali profonde piuttosto che stili superficiali.
4. Nuove Metriche: Introduzione di Geometric Gain (che richiede che tutti gli attributi migliorino simultaneamente) e Joint Success Rate per valutare meglio il controllo bilanciato multi-attributo.
5. Valutazione Esaustiva: Test estesi su tre modelli (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B) e due benchmark (TRAITFACTORY e TONEBANK).

Risultati

Gli autori hanno valutato ORBIT contro i baseline, inclusi Unsteered, CAA, K-Steering e varianti di composizione geometrica naive.

• Efficacia dello Steering: ORBIT ha ottenuto i punteggi dei giudici più alti nella maggior parte delle configurazioni. Ha mantenuto la coerenza entro pochi punti rispetto al baseline unsteered, mentre CAA ha costantemente degradato la coerenza. Il vantaggio è stato più pronunciato su TRAITFACTORY, dove i tratti adiacenti alla sicurezza (es. inganno, malvagità) resistevano alle perturbazioni additive.
• Controllo Bilanciato: ORBIT è stato l'unico metodo a mantenere un Geometric Gain positivo in tutte le configurazioni, confermando che tutti gli attributi target sono migliorati simultaneamente. Al contrario, CAA e K-Steering hanno frequentemente prodotto guadagni negativi per $K \ge 2$, indicando una dominanza di attributo (un tratto migliora a scapito degli altri).
• Joint Success Rate: Su TRAITFACTORY con $K=2$, ORBIT ha raggiunto un tasso di successo congiunto dell'81% su Llama-3.2-3B, rispetto al 23% di K-Steering.
• Capacità Generali: La valutazione su TINYBENCH (ARC-C, GSM8k, MMLU, ecc.) ha mostrato che l'accuratezza guidata seguiva da vicino il baseline unsteered, con deviazioni inferiori a 3 punti percentuali, confermando che limitare l'intervento al sottospazio dei tratti preserva le capacità generali del modello.
• Ablazione: La variante "calibrated boost" (shift additivo adattivo) ha fornito il miglior equilibrio tra forza di steering e qualità dell'output.

Significato e Rivendicazioni

Il paper sostiene che ORBIT offra un meccanismo semplice, flessibile e potente per il controllo comportamentale multi-attributo. Il suo significato risiede in:

• Risoluzione dell'Interferenza Geometrica: Sostituendo le operazioni locali indipendenti con una rotazione unificata in un sottospazio congiunto, ORBIT evita la cancellazione e l'inflazione della norma che destabilizzano la composizione naive all'aumentare del numero di attributi.
• Flessibilità Senza Addestramento: A differenza degli operatori di composizione appresi, ORBIT non richiede retraining quando l'insieme degli attributi cambia, consentendo una composizione comportamentale dinamica e on-the-fly.
• Robustezza: Il metodo dimostra una superiorità costante rispetto ai baseline nel preservare la coerenza dell'output e le capacità generali pur guidando più attributi simultaneamente.

Gli autori notano limitazioni, tra cui la dipendenza da direzioni di steering lineari (che potrebbero non catturare strutture di attributi fortemente non lineari) e l'attuale portata di scalabilità verso set di attributi molto grandi ($K > 5$), che è lasciata al lavoro futuro.