Sintesi Tecnica: Analisi Meccanicistica degli Algoritmi di Allineamento nei Modelli Linguistici

Definizione del Problema

Gli algoritmi di allineamento post-training, progettati per guidare i Large Language Models (LLM) verso l'utilità, l'innocuità e l'onestà, sono valutati prevalentemente come "black box". Il successo è misurato tramite metriche comportamentali aggregate (ad esempio, punteggi di benchmark, valutazioni di preferenza umana) piuttosto che attraverso la comprensione di come questi algoritmi rimodellino le computazioni interne del modello. Questo divario diagnostico impedisce la rigorosa previsione di effetti collaterali indesiderati, come la degradazione di specifiche capacità o l'emergere di comportamenti ingannevoli. Sebbene il campo si sia diversificato dal paradigma iniziale della Proximal Policy Optimization (PPO) per includere obiettivi di preferenza diretta come Direct Preference Optimization (DPO), Simple Preference Optimization (SimPO), Odds Ratio Preference Optimization (ORPO), Kahneman-Tversky Optimization (KTO) e Group Relative Policy Optimization (GRPO), manca un'analisi meccanicistica comparativa per determinare se questi diversi obiettivi convergano su rappresentazioni interne simili o inducano cambiamenti distinti a livello di feature.

Metodologia

Gli autori presentano un'analisi meccanicistica sistematica attraverso sei metodi di ottimizzazione delle preferenze (PPO, DPO, SimPO, ORPO, GRPO, KTO) applicati a tre famiglie di modelli open-weight: Llama-3.2-3B, SmolLM3-3B e Qwen3-4B. I modelli sono stati allineati utilizzando il Low-Rank Adaptation (LoRA) sul dataset UltraFeedback. L'analisi impiega un framework di interpretabilità a tre pilastri:

1. Linear Probing: Per localizzare le rappresentazioni di preferenza, gli autori addestrano classificatori di regressione logistica sulle attivazioni del residual stream tra le completazioni scelte e quelle scartate. Questo misura la separabilità lineare dei segnali di preferenza attraverso diversi strati, identificando i "migliori" strati dove l'informazione di preferenza è più decodificabile.
2. Sparse Autoencoders (SAEs): Per decomporre le attivazioni sovrapposte e polisemantiche in feature monosemantiche interpretabili, sono stati addestrati Batch Top-K SAE sui modelli base. Questi SAE sono stati poi utilizzati per misurare l'attivazione di specifiche feature "ancora", permettendo di quantificare la soppressione, l'amplificazione o i cambiamenti di varianza delle feature.
3. Crosscoders: Per confrontare la geometria degli spazi latenti tra i modelli base e quelli allineati, sono stati addestrati crosscoder su stati nascosti accoppiati. Ciò consente di classificare le feature come condivise, specifiche del modello base, specifiche dell'allineamento, attenuate o reindirizzate. Statistiche geometriche (rapporti di norma e angoli) sono state utilizzate per determinare se l'allineamento abbia indotto una condivisione costruttiva o una rotazione/attenuazione non costruttiva.

Contributi Chiave

Il documento stabilisce che l'allineamento è un intervento eterogeneo piuttosto che una correzione comportamentale uniforme. I principali contributi sono:

• Diagnostica dell'Allineamento Esaustiva: Lo studio fornisce il primo confronto "white-box" di sei metodi di allineamento leader attraverso tre diverse architetture, andando oltre il benchmarking a livello di output verso l'analisi delle rappresentazioni interne.
• Firme di Allineamento Distinte: Gli autori identificano trasformazioni geometriche qualitativamente diverse indotte da diversi obiettivi:
  • KTO e GRPO: Questi metodi migliorano la separabilità lineare delle rappresentazioni di preferenza. KTO ottiene questo attraverso la condivisione costruttiva di feature e il reclutamento di feature sparse ad alta salienza. GRPO amplifica i gradienti basandosi sulla varianza intra-gruppo, portando a un forte potere discriminativo.
  • DPO e ORPO: Questi metodi degradano la separabilità lineare rispetto al modello base. DPO è associato a una rotazione geometrica non costruttiva delle feature condivise, spostando le rappresentazioni in sottospazi ortogonali alle direzioni originali di codifica della preferenza. ORPO attenua le attivazioni rilevanti per la preferenza, smorzando significativamente i segnali di specifiche feature (ad esempio, una riduzione del 400% nell'attivazione mediana per certe feature in Qwen3).
  • PPO e SimPO: Questi metodi preservano ampiamente la geometria di base, mantenendo la decodificabilità lineare delle preferenze senza il potenziamento costruttivo visto in KTO/GRPO o la degradazione vista in DPO/ORPO.
• Variabilità Dipendente dall'Architettura: Gli effetti interni di un particolare obiettivo di allineamento non sono uniformi tra le famiglie di modelli. Ad esempio, mentre ORPO causa un collasso delle prestazioni catastrofico e la soppressione delle feature in Llama-3.2 e Qwen3, mantiene livelli di attivazione comparabili al modello base in SmolLM3. Ciò dimostra che le affermazioni sui meccanismi di allineamento devono essere contestualizzate alla specifica architettura base e allo strato analizzato.

Risultati

• Linear Probing: Il pattern "camel-hump" (gobba del cammello) della discriminabilità di preferenza (concentrata negli strati iniziali-medi o medi-tardivi) persiste tra i metodi. Tuttavia, KTO e GRPO mostrano il più alto potere discriminativo, mentre DPO e ORPO mostrano una ridotta separabilità rispetto al modello base.
• Analisi SAE: ORPO induce una marcata soppressione delle feature ancora nei modelli Llama e Qwen, mentre KTO introduce una maggiore varianza nelle attivazioni delle feature, suggerendo una maggiore dipendenza dal contesto. SmolLM3 esibisce un'eterogeneità differente, dove GRPO mostra una riduzione dell'attivazione solo allo strato migliore per il probe, ma un'attivazione elevata allo strato di addestramento.
• Geometria dei Crosscoder: La condivisione delle feature di KTO è "costruttiva", prendendo in prestito la discriminabilità esistente e migliorandola. Al contrario, DPO e ORPO esibiscono una distorsione "non costruttiva"; DPO ruota le feature lontano dal sottospazio di preferenza, e ORPO attenua le feature condivise. PPO e SimPO mostrano distribuzioni di feature che riaffermano la preservazione della geometria di base.
• Correlazione Comportamentale: I punteggi MT-Bench rivelano che le prestazioni superficiali non sempre correlano con la salute interna. Ad esempio, ORPO ha causato un drastico calo nei punteggi di Llama-3.2 (da 6.33 a 2.12), che è stato diagnosticato come deriva della rappresentazione interna e attenuazione delle feature piuttosto che semplice rumore dell'output.

Significato

Il paper sostiene che l'allineamento comportamentale non implica una ristrutturazione interna uniforme. Caratterizzando l'allineamento come un insieme di distinte trasformazioni rappresentazionali, gli autori motivano la necessità di un audit standardizzato a livello di feature per la sicurezza e l'interpretabilità. Le conclusioni suggeriscono che siano necessari obiettivi di ottimizzazione consapevoli dei meccanismi per garantire che i protocolli di allineamento non solo migliorino il comportamento in uscita, ma mantengano o potenzino la fedeltà geometrica delle rappresentazioni interne. Questo lavoro sposta il campo verso una comprensione "white-box" dell'allineamento, fornendo un framework diagnostico per rilevare se la degradazione derivi dalla deriva della rappresentazione, dall'over-optimization o dalla perdita di circuiti di istruzione.

Limitazioni

Gli autori riconoscono che i loro esperimenti sono vincolati a modelli con 3B–4B di parametri, e che i cambiamenti rappresentazionali potrebbero scalare in modo non lineare in modelli più grandi in produzione. Inoltre, l'analisi è diagnostica piuttosto che causale; sebbene identifichi le informazioni decodificabili e i cambiamenti della geometria delle feature, non esegue ablazioni causali a livello di componente (ad esempio, l'activation patching) per stabilire i circuiti necessari o sufficienti per i comportamenti osservati.