The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

Sintesi Tecnica: Lo Specchio Amplificante

Definizione del Problema
I Large Language Models (LLM) stanno progressivamente sostituendo i motori di ricerca come interfaccia primaria per il recupero delle informazioni. A differenza dei motori di ricerca, che recuperano contenuti esistenti scritti da esseri umani, gli LLM generano nuovi testi basati su rappresentazioni interne apprese durante l'addestramento. Una preoccupazione critica è che questi modelli possano non solo riflettere, ma amplificare i pregiudizi dell'utente. Nello specifico, il documento indaga se gli LLM codifichino l'identità politica partigiana all'interno dei loro spazi di attivazione interna e se tale codifica influenzi causalmente la generazione. Gli autori postulano che, se un modello costruisce una rappresentazione dell'identità inferita di un utente, esso possa condizionare il proprio output per riflettere tale identità, agendo efficacemente come uno "specchio" che rinforza le credenze esistenti invece di fornire informazioni neutrali.

Metodologia
Lo studio utilizza il modello Llama 3.1 8B Instruct e un dataset di 190.491 tweet di membri in carica del Congresso degli Stati Uniti (Repubblicani e Democratici) pubblicati tra settembre 2016 e febbraio 2023. La metodologia si articola in tre fasi principali:

1. Rilevamento e Localizzazione del Segnale:

   • Gli autori hanno raccolto le attivazioni degli stati nascosti (hidden-state) da tutti i 32 strati del transformer per ogni tweet nel dataset.
   • Hanno addestrato dei probi lineari (classificatori di regressione logistica) sulle attivazioni dello stream residuo di ogni strato per predire l'affiliazione di partito dell'autore.
   • L'obiettivo era identificare uno strato specifico in cui il segnale partigiano diventa linearmente separabile e stabile.

2. Intervento Causale (Steering):

   • Una volta identificato uno strato target, gli autori hanno eseguito interventi causali sugli stati nascosti durante la generazione.
   • Ablazione: La componente partigiana è stata rimossa proiettando le attivazioni sull'iperpiano ortogonale alla direzione partigiana appresa ($\hat{\omega}$).
   • Amplificazione: La componente partigiana è stata amplificata aggiungendo un vettore scalato lungo $\hat{\omega}$ in direzione o Repubblicana o Democratica.
   • Questi interventi sono stati testati su 150 prompt riguardanti questioni politiche contese, nonché su prompt culturali "non partigiani".

3. Decomposizione tramite Autoencoder Sparsi (SAE):

   • Per comprendere il vocabolario interno della direzione partigiana, gli autori hanno addestrato degli Autoencoder Sparsi (SAE) sulle attivazioni degli stati nascosti.
   • Utilizzando un'architettura TopK (vincolando le attivazioni a $k=64$ feature), hanno decomposto la direzione partigiana in feature interpretabili e sparse per determinare se il segnale fosse una feature monolitica o un'aggregazione di concetti più ristretti.

Risultati Chiave

• Localizzazione del Segnale Partigiano: Il segnale partigiano non è diffuso, ma si cristallizza in un asse geometrico specifico. Il segnale emerge negli strati intermedi, con il probe che raggiunge un AUC di 0,945 e un Cohen's d di 1,94 allo strato 18. Ciò indica una rappresentazione forte e linearmente separabile dell'identità partigiana.
• Guida Causale (Causal Steering): L'intervento lungo l'asse dello strato 18 ha prodotto cambiamenti sistematici e prevedibili nell'output:
  • Inversione di Posizione (Stance Reversal): Il modello ha ribaltato la propria posizione su domande politiche binarie (es. "Medicare per Tutti" o "Innalzamento del salario minimo") basandosi esclusivamente sulla direzione dell'amplificazione.
  • Spostamento del Registro (Register Shifting): Il modello ha alterato il proprio stile retorico, il vocabolario e la valenza emotiva per corrispondere al campo politico guidato (es. citando diversi think tank o utilizzando specifiche cornici politiche).
  • Fabbricazione Strutturata (Structured Fabrication): In un risultato significativo, il modello ha generato citazioni specifiche e dall'aspetto plausibile attribuite a figure politiche e organizzazioni reali allineate alla direzione guidata. Queste non erano allucinazioni casuali, ma "fabbricazioni strutturate" in cui il modello inventava affermazioni specifiche e le attribuiva a autorità reali (es. attribuendo una specifica affermazione sull'aumento delle tasse al deputato Mo Brooks).
• Decomposizione: L'analisi SAE ha rivelato che la direzione partigiana allo strato 18 è parzialmente cristallizzata. Sebbene un codice sparso a 64 feature catturi la maggior parte del segnale (AUC 0,911 rispetto a 0,935 per le attivazioni grezze), non è una ricostruzione perfetta. Le feature recuperate corrispondono a riconoscibili argomentazioni politiche (es. retorica anti-amministrazione per i Repubblicani, diritti di voto per i Democratici), suggerendo che il modello aggreghi contenuti ideologici specifici in questo asse geometrico.
• Attivazione Selettiva: La direzione partigiana si attiva selettivamente. Essa altera significativamente gli output su prompt culturalmente carichi o politici, ma ha scarso effetto su prompt neutrali (es. raccomandazioni su auto o fonti di energia), indicando che il bias è una codifica strutturata piuttosto che un rumore uniforme applicato a tutto il testo.

Significatività e Rivendicazioni
Il documento sostiene che il pregiudizio partigiano negli LLM non sia una vaga proprietà emergente o un "bug" da correggere, ma una caratteristica strutturale e geometrica del modo in cui questi modelli codificano le informazioni sugli utenti.

• Comprensione Meccanicistica: Lo studio dimostra che la rappresentazione partigiana è localizzabile, decomponibile e causalmente manipolabile. Ciò sfida la visione degli LLM come una "black box" inspiegabile.
• Lo "Specchio Amplificante": Gli autori affermano che gli LLM agiscono come specchi che riflettono l'identità inferita dell'utente verso di lui. Quando il modello rileva una tendenza partigiana, condiziona la propria generazione per allinearsi a tale tendenza, rinforzando le credenze esistenti.
• Disinformazione Strutturata: La scoperta della "fabbricazione strutturata" è evidenziata come un rischio sociale critico. A differenza delle allucinazioni casuali, questi output sono sicuri, attribuiti a fonti e personalizzati in base all'identità inferita dell'utente, rendendoli particolarmente difficili da verificare e altamente suscettibili di essere creduti.
• Implicazioni per il Design: Il documento conclude che, mentre gli LLM sostituiscono i motori di ricerca, il passaggio da un ecosistema informativo curato a uno generato richiede una rivalutazione fondamentale del design del prodotto. Il bias è una conseguenza di scelte di design a monte (allineamento, corpora di pre-addestramento, modellazione dell'utente) piuttosto che di una polarizzazione intenzionale. Gli autori asseriscono che comprendere questi meccanismi è essenziale per navigare nelle transizioni legali, sociali e politiche di questo nuovo panorama informativo.

Lo studio è modesto nella sua portata, segnalando limitazioni quali l'esame di un singolo modello (Llama 3.1 8B) e la definizione operativa di partigianeria basata sui tweet del Congresso. Tuttavia, fornisce un strumento concreto (l'apparato di steering) per testare potenziali correzioni e valutare come diversi modelli codifichino e utilizzino i segnali partigiani.