Riepilogo Tecnico: Ottimizzazione della Policy con Steering Vettoriale (VSPO)

Enunciato del Problema

I moderni modelli linguistici su larga scala (LLM) richiedono spesso un'ottimizzazione per un obiettivo primario di accuratezza, mentre simultaneamente devono accomodare preferenze comportamentali secondarie, come la verbosità, l'espressione della confidenza, il livello di competenza o la robustezza rispetto a contesti fuorvianti. Nella pratica, i modelli base possono esibire questi comportamenti desiderati raramente o per nulla, creando un collo di bottiglia nella ricompensa comportamentale sparsa.

Gli approcci esistenti affrontano limitazioni significative in questo contesto multi-obiettivo:

• Modellazione della Ricompensa (Reward Shaping): Aggiungere ricompense ausiliarie alla Group Relative Policy Optimization (GRPO) è spesso inefficiente quando il comportamento target è raro nei rollouts campionati. Le ricompense scalari valutano le traiettorie ma non migliorano la diversità o la qualità della distribuzione dei rollout stessi. Se un gruppo GRPO manca di candidati di alta qualità o diversificati dal punto di vista comportamentale, la normalizzazione dell'vantaggio relativo fornisce segnali di apprendimento deboli.
• Distillazione delle Tracce del Docente (SFT): Utilizzare un modello docente più forte per generare o riscrivere tracce con comportamenti target introduce un mismatch off-policy. Il modello studente apprende da traiettorie prodotte da un altro modello piuttosto che dai propri output campionati, potenzialmente causando una disconnessione tra il comportamento distillato e la distribuzione raggiungibile dallo studente.
• Feedback AI Online (RLAIF): I metodi che utilizzano modelli docenti potenti come annotatori o riscrittori durante il ciclo di RL sono computazionalmente costosi a causa di chiamate API ripetute e soffrono ancora di svantaggi off-policy quando addestrano su tracce riscritte.

Metodologia: Ottimizzazione della Policy con Steering Vettoriale (VSPO)

VSPO affronta questi colli di bottiglia impiegando vettori di steering associati ai comportamenti target per controllare l'intensità dei rollouts generati. Il metodo è inquadrato come una procedura di auto-distillazione latente on-policy in cui il modello interiorizza il proprio vettore di steering.

Il flusso di lavoro VSPO consiste in due fasi:

Fase 1: Costruzione del Vettore di Steering

Un vettore di steering è costruito per rappresentare il comportamento target nello spazio di attivazione latente del modello.

1. Riscrittura Contrastiva: Un modello docente riscrive le risposte base dal modello target in varianti comportamentali positive e negative (ad esempio, spiegazioni da esperto vs. elementari).
2. Estrazione del Vettore: Le differenze di attivazione tra queste varianti positive e negative sono calcolate a livello di strato. La direzione più forte a livello di strato viene selezionata e normalizzata per formare il vettore di steering $v$. Questo vettore cattura la direzione latente del comportamento target.

Fase 2: Ottimizzazione della Policy con Auto-Distillazione

La policy corrente è ottimizzata utilizzando GRPO, ma con un processo di generazione dei rollout modificato:

1. Rollout Steering: Per ogni prompt, un gruppo di $G$ rollout è campionato con diverse intensità di steering $\beta \in \{\beta_1, \dots, \beta_G\}$. Queste intensità sono applicate iniettando il vettore di steering nel flusso residuo durante il decoding: $\tilde{h}_t = h_t + \beta v$.
2. Calcolo della Ricompensa: Ogni rollout riceve una ricompensa $r = r_0 + \alpha \beta$, dove $r_0$ è la ricompensa del compito primario (ad esempio, correttezza) e $\alpha \beta$ è una ricompensa comportamentale proxy proporzionale all'intensità di steering.
3. Aggiornamento della Policy: La policy è aggiornata utilizzando l'obiettivo standard GRPO con vantaggi relativi al gruppo. Crucialmente, l'aggiornamento è applicato alla policy non steering ($\pi_\theta$), mentre il vantaggio è calcolato basandosi sulle tracce steering. Questo permette al modello di distillare comportamenti utili dalle proprie varianti steering senza alterare permanentemente il comportamento di inferenza della policy con il vettore di steering.

Contributi Chiave

1. Innovazione Algoritmica: L'introduzione di VSPO, un metodo di ottimizzazione della policy multi-obiettivo che sfrutta vettori di steering per controllare il comportamento preservando l'accuratezza del compito. A differenza della GRPO standard o della modellazione della ricompensa, VSPO migliora attivamente la diversità dei rollout campionando esplicitamente tracce lungo il vettore latente target. A differenza della SFT con tracce del docente, evita l'addestramento su traiettorie docente off-policy; il docente assiste solo nella costruzione del vettore.
2. Garanzie Teoriche: Il documento stabilisce che VSPO raggiunge provatamente una complessità di iterazione migliore rispetto alla GRPO con modellazione della ricompensa sotto un'astrazione a bandito. Specificamente, quando le distribuzioni indotte dallo steering sono sufficientemente allineate con il comportamento target (soddisfacendo una condizione "$\gamma$-buona"), VSPO sovracampiona pattern comportamentali rari ma desiderabili, accelerando la convergenza.
3. Validazione Empirica: Una valutazione estesa sui benchmark MATH e MMLU-Pro dimostra che VSPO supera costantemente la modellazione della ricompensa, la SFT con tracce del docente, SDFT, SDPO e le baseline di stile RLAIF. Raggiunge un forte controllo su quattro comportamenti target (livello di competenza, espressione della confidenza, robustezza rispetto a contesti fuorvianti e verbosità) mantenendo o migliorando l'accuratezza del compito.
4. Proprietà Favorevoli: VSPO induce un curricolo di apprendimento naturale lungo l'asse comportamentale e mantiene una distribuzione vicina alla policy (basso NLL rispetto al modello base), evitando i gravi spostamenti distribuzionali spesso osservati con metodi off-policy.

Risultati Sperimentali

Gli autori hanno valutato VSPO su due benchmark (MMLU-Pro e MATH) con quattro comportamenti target:

• Livello di Competenza: VSPO ha raggiunto il controllo bidirezionale più forte (spostamento tra stili da esperto ed elementare) mantenendo alta accuratezza (ad esempio, 64,3% di controllo a livello di esperto su MMLU-Pro contro il 45,0% per SFT).
• Espressione della Confidenza: VSPO ha guidato con successo le risposte verso toni sicuri o cauti senza degradare l'accuratezza, superando le baseline che spesso sacrificano lo stile per la correttezza.
• Robustezza rispetto a Contesti Fuorvianti: In contesti in cui i modelli sono distorti a concordare con risposte errate iniettate, VSPO ha migliorato significativamente l'accuratezza (64,2% contro il 23,6% del modello originale) esponendo più tracce di ragionamento indipendenti durante la generazione dei rollout.
• Ragionamento Conciso: VSPO ha migliorato il compromesso accuratezza-lunghezza, raggiungendo un'accuratezza più elevata con risposte più brevi rispetto alla modellazione della ricompensa con penalità di lunghezza.

Significato e Affermazioni

Il documento afferma che VSPO rappresenta un passo significativo in avanti nell'allineamento multi-obiettivo controllabile. Trattando il controllo comportamentale come un problema di steering latente piuttosto che come un problema di modellazione della ricompensa o di distillazione off-policy, VSPO:

• Allevia il collo di bottiglia della ricompensa sparsa generando candidati diversificati e allineati al comportamento direttamente dalla policy corrente.
• Riduce la dipendenza da feedback esterni costosi riutilizzando un singolo vettore di steering durante l'ottimizzazione, a differenza di metodi che richiedono chiamate docenti ripetute.
• Abilita un'ottimizzazione stabile mantenendo il processo di addestramento on-policy e vicino alla policy, evitando il mismatch distribuzionale intrinseco nella distillazione con tracce del docente.

Gli autori concludono che VSPO fornisce un quadro robusto per acquisire comportamenti secondari controllabili senza sacrificare le prestazioni del compito primario, offrendo un'alternativa più efficiente dal punto di vista del campione e teoricamente fondata ai metodi RL e di distillazione esistenti.