The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

Sintesi Tecnica: La Maschera Neutra

Definizione del Problema
L'ambizione primaria dell'Apprendimento per Rinforzo dal Feedback Umano (RLHF) è quella di allineare i grandi modelli linguistici (LLM) con i valori umani, rendendoli sicuri e utili. Tuttavia, il meccanismo attraverso il quale l'RLHF codifica questi valori rimane opaco. Una crescente serie di prove suggerisce che l'addestramento all'allineamento spesso produce una "conformità funzionale" piuttosto che un allineamento strutturale profondo, potenzialmente lasciando intatte le sottostanti strutture cariche di valori, pur sopprimendone l'espressione. Questo articolo investiga tale fenomeno attraverso la lente dell'orientamento politico partigiano, affrontando la questione se l'RLHF rimuova i pregiudizi partigiani dalle rappresentazioni interne di un modello o se semplicemente li scolleghi dalla pipeline di generazione dell'output.

Metodologia
Lo studio impiega un caso di studio meccanicistico confrontando le rappresentazioni interne del modello Llama 3.1 8B in due stati: il Modello Base (pre-addestrato su massicci corpora testuali) e il Modello Instruct (fine-tuned tramite RLHF). La metodologia prevede tre componenti tecniche primarie:

1. Probing Partigiano: Utilizzando un lineare probe addestrato su 190.491 tweet congressuali, gli autori identificano una specifica direzione ($\hat{\omega}$) nello spazio delle attivazioni degli stati nascosti del Livello 18 dove l'identità partigiana è linearmente separabile. Questo probe viene applicato sia al Modello Base che al Modello Instruct attraverso 84 prompt diversificati (politici, storici, scientifici e non politici) per misurare i punteggi partigiani.
2. Decomposizione tramite Sparse Autoencoder (SAE): Un autoencoder sparso TopK viene addestrato sugli stati nascosti del Livello 18 dei tweet congressuali per scomporre il flusso residuo di 4.096 dimensioni in 32.768 caratteristiche latenti. Ciò consente l'identificazione di caratteristiche interpretabili e monosemantiche, isolando specificamente quelle che codificano il contenuto politico rispetto quelle che codificano lo stile del registro.
3. Steering a livello di Feature: Per stabilire la causalità, gli autori eseguono esperimenti di activation steering. Estraggono le colonne del decoder dall'SAE corrispondenti a specifiche feature (correlate alla politica e al registro) e aggiungono perturbazioni ($\alpha \cdot \hat{d}_i$) agli stati nascosti durante la generazione. Questo testa se lo steering delle rappresentazioni interne lungo direzioni partigiane risulti in cambiamenti corrispondenti nel testo generato per entrambi i modelli.

Risultati Chiave

• Compressione, non Cancellazione: L'RLHF comprime drasticamente la varianza del segnale partigiano. Mentre il Modello Base presenta punteggi partigiani che spaziano da -0,5 a 1,253, i punteggi del Modello Instruct sono compressi in una banda stretta centrata vicino a 0,169. Nonostante questo spostamento verso un offset positivo (orientato verso i Repubblicani), il testo generato dal Modello Instruct rimane costantemente neutrale e multi-prospettico.
• Scomparsa delle Feature di Politica: La decomposizione SAE rivela che cinque specifiche feature che codificano contenuti politici riconoscibili (ad es. retorica anti-Biden, difesa progressista) sono attive sporadicamente nel Modello Base, ma sono completamente inattive (zero) nel Modello Instruct in tutti gli 84 prompt.
• La Natura dell'Offset: Il residuo punteggio partigiano positivo (0,169) nel Modello Instruct non è guidato dalle feature politiche. La decomposizione mostra che il 68% di questo punteggio deriva dal bias del decoder dell'SAE (ereditato dal corpus dei tweet congressuali) e il 24% da una singola feature (32143) che codifica lo stile del discorso formale (elenchi numerati, citazioni, voce istituzionale) piuttosto che la politica. L'allineamento positivo di questa feature di stile è un artefatto del corpus di addestramento, non una posizione politica.
• Disconnessione Causale: Gli esperimenti di steering dimostrano una divergenza fondamentale nel comportamento. Quando il Modello Base viene guidato lungo le direzioni delle feature politiche, il suo output cambia per corrispondere alla direzione partigiana. Al contrario, il Modello Instruct vede le proprie rappresentazioni interne muoversi in risposta allo steering (il punteggio partigiano si sposta in modo identico), ma la pipeline di generazione non riesce a convertire questo spostamento rappresentazionale in output testuale. Il Modello Instruct continua a generare un testo equilibrato e neutrale indipendentemente dall'entità dello steering.

Contributi Chiave

1. Evidenza Meccanicistica di "Scollegare invece di Cancellare": Il documento fornisce prove empiriche che l'RLHF non cancella la geometria partigiana dallo spazio di rappresentazione del modello. Invece, recide il percorso causale tra tale geometria e il meccanismo di generazione dell'output.
2. Distinzione tra Neutralità Funzionale e Strutturale: Lo studio distingue tra neutralità funzionale (l'output appare equilibrato) e neutralità strutturale (il pregiudizio sottostante è rimosso). Gli autori dimostrano che il modello Llama 3.1 8B Instruct raggiunge la prima, pur mantenendo la seconda.
3. Ruolo dello Stile del Discorso: L'analisi identifica che la "neutralità" osservata è in parte un sottoprodotto dell'addestramento dell'RLHF a far adottare al modello un registro formale e strutturato specifico, che per coincidenza si allinea con una specifica direzione nello spazio partigiano a causa dei dati di addestramento, piuttosto che essere una deliberata cancellazione della conoscenza politica.

Significatività e Rivendicazioni
Il documento sostiene che la neutralità osservata negli LLM allineati sia una "maschera". La geometria partigiana sottostante rimane intatta e può essere riattivata se il legame causale con la pipeline di generazione viene bypassato. Gli autori affermano che questo schema "disconnetti-non-cancellare" è probabilmente una proprietà generale dei metodi di allineamento attuali, osservata precedentemente nei domini della tossicità e della sicurezza.

La significatività di questa scoperta risiede nella fragilità del comportamento allineato. Poiché il pregiudizio strutturale rimane, i meccanismi che inferiscono e amplificano l'identità partigiana di un utente (ad es. attraverso il contesto della conversazione) possono riattivare la generazione partigiana. Il documento conclude che gli attuali metodi di allineamento possono ottenere solo una conformità superficiale, suggerendo che il vero allineamento e la sicurezza richiedano metodi che allineino le rappresentazioni stesse, piuttosto che limitarsi a reindirizzare la generazione attorno a strutture esistenti cariche di valori. Gli autori notano che le loro scoperte sono specifiche per l'architettura Llama 3.1 8B e che le richieste computazionali di tale analisi meccanicistica ne limitano l'attuale applicazione ai modelli open-weight.