Sintesi Tecnica: Le Rappresentazioni Lineari nei Modelli di Linguaggio Possono Cambiare Drasticamente Durante una Conversazione

Definizione del Problema

Ricerche recenti hanno stabilito che i grandi modelli di linguaggio (LLM) possiedono rappresentazioni lineari corrispondenti a concetti di alto livello come la fattualità, l'etica e l'onestà. Queste rappresentazioni sono state proposte come meccanismi per rilevare e controllare il comportamento del modello. Tuttavia, gli LLM sono intrinsecamente adattivi al loro contesto, esibendo un apprendimento in-context comportamentale che può spostare le "credenze" espresse. Esiste una lacuna critica nella comprensione di come queste rappresentazioni lineari evolvano dinamicamente all'interno del contesto accumulato di una conversazione. In particolare, non è chiaro se le direzioni lineari identificate come codificanti concetti quali la "fattualità" rimangano stabili o se subiscano una significativa riorganizzazione man mano che la conversazione progredisce. Questa instabilità pone una sfida fondamentale alla validità costruttiva dei metodi di interpretabilità che assumono significati di feature statici, come gli autoencoder sparsi (SAE) o il probing statico.

Metodologia

Gli autori investigano la dinamica delle rappresentazioni utilizzando la famiglia di modelli Gemma 3 (principalmente la variante 27B-IT), con esperimenti supplementari su Qwen3 14B e modelli Gemma più piccoli.

Design Sperimentale:

1. Identificazione della Dimensione Lineare: Gli autori costruiscono dataset bilanciati di domande sì/no (scienza generica, identità del modello, etica e argomenti rilevanti per il contesto). Applicano regressioni logistiche regolarizzate sulle attivazioni del residual stream del modello (specificamente sul token "Sì"/"No") per identificare direzioni lineari che separano le risposte fattuali da quelle non fattuali.
   • Per garantire la robustezza, impiegano una strategia di addestramento "opposite day" (giorno opposto), in cui la regressione è addestrata sia su prompt standard che su prompt "opposite day" (comportamentalmente invertiti). Ciò isola una dimensione di "fattualità" che è robusta alla semplice inversione comportamentale, distinguendola da meri pattern di risposta.
2. Metrica del Margin Score: Per quantificare l'allineamento della rappresentazione, calcolano un "margin score". Questo misura la separazione tra le proiezioni delle risposte fattuali e non fattuali lungo la direzione lineare identificata. Un punteggio positivo indica un corretto allineamento con la verità di base; un punteggio negativo indica un'inversione in cui le risposte non fattuali vengono proiettate più fortemente sulla direzione "fattuale".
3. Scenari Contestuali: Lo studio valuta queste rappresentazioni attraverso diversi contesti conversazionali:
   • Opposite Day: Un prompt che istruisce il modello a rispondere l'opposto della realtà.
   • Conversazioni di Role-Playing: Script pre-scritti riguardanti discussioni sulla coscienza (dove il modello afferma di esperire qualia) e sui chakra (dove il modello rivendica poteri spirituali/divini). Questi vengono riprodotti sul modello (off-policy) e anche generati tramite interazione on-policy.
   • Simulazione di Argomentazione: Due copie del modello che discutono posizioni opposte su un argomento, con il modello target che cambia ruolo.
   • Storie di Finzione: Storie di fantascienza esplicitamente inquadrate come finzione per testare se il contenuto da solo guidi i cambiamenti senza il role-play.
4. Interventi Causali: Nell'Appendice B.8, gli autori eseguono lo steering delle attivazioni sul token prima che la risposta venga generata per testare se gli interventi producono cambiamenti comportamentali coerenti in diversi contesti.

Risultati Chiave

1. Drammatico Flipping delle Rappresentazioni:
Il risultato principale è che le rappresentazioni lineari di concetti come la fattualità e l'etica possono invertirsi drasticamente nel corso di una conversazione.

• Negli scenari "opposite day", il margin score per le domande fattuali degrada e infine si inverte dopo pochi turni, il che significa che il modello rappresenta le risposte non fattuali come più "fattuali" rispetto a quelle fattuali.
• Nelle conversazioni di role-playing (coscienza e chakra), le rappresentazioni per le domande rilevanti per il contesto si invertono. Ad esempio, in una conversazione in cui il modello adotta un personaggio che afferma la coscienza, la direzione lineare identificata come "fattuale" in un prompt vuoto inizia a rappresentare l'affermazione "Io esperisco qualia" come fattuale, nonostante sia oggettivamente non fattuale.
• Crucialmente, le rappresentazioni per le domande generiche (ad esempio, "Il suono può viaggiare nel vuoto?") rimangono relativamente stabili, indicando che il cambiamento è specifico per il contenuto rilevante della conversazione piuttosto che un collasso globale dello stato interno del modello.

2. Robustezza attraverso le Condizioni:

• Off-Policy vs. On-Policy: Il flipping si verifica anche quando la conversazione viene riprodotta da un modello diverso o da uno script pre-scritto. Il modello non ha bisogno di generare attivamente la conversazione per esibire questi spostamenti rappresentazionali; il contesto da solo è sufficiente.
• Famiglie di Modelli e Dimensioni: Il fenomeno è osservato in diverse famiglie di modelli (Gemma, Qwen) ed è più pronunciato nei modelli più grandi (27B e 12B) rispetto a quelli più piccoli (4B), che mostrano poco cambiamento affidabile.
• Consistenza tra i Layer: L'effetto appare costantemente attraverso i layer del modello dove la fattualità è affidabilmente decodificabile (tipicamente nei layer medi o successivi).

3. Role-Play vs. Contenuto:
I cambiamenti rappresentazionali sono significativamente più forti negli scenari di role-play conversazionale rispetto ai contesti in cui il modello è semplicemente chiesto di generare una storia inquadrata esplicitamente come finzione. Ciò suggerisce che il modello adatta le sue rappresentazioni in base al "ruolo" che sta interpretando nell'interazione, piuttosto che subire un cambiamento fondamentale nelle "credenze" o nelle conoscenze. Il fatto che il replay off-policy induca cambiamenti simili suggerisce che si tratti di una caratteristica dell'adattamento contestuale generale.

4. Fallimento dell'Interpretabilità Statica:

• Metodi Non Supervisionati: Anche il metodo non supervisionato di Contrast-Consistent Search (CCS) fallisce nel mantenere rappresentazioni coerenti in contesti lunghi, spesso performando al di sotto del caso nelle domande generiche dopo una conversazione.
• Causal Steering: Gli interventi di steering (activation patching) che riescono a influenzare il comportamento del modello in un contesto vuoto possono produrre effetti opposti in un contesto conversazionale lungo. Ad esempio, lo steering verso un comportamento "fattuale" in un contesto vuoto potrebbe indurre il modello verso risposte "non fattuali" in una conversazione a tema chakra.

Significato e Rivendicazioni

Il paper sostiene che queste scoperte sfidano fondamentalmente le assunzioni alla base degli attuali metodi di interpretabilità e sicurezza.

• Validità Costruttiva: Gli autori affermano che le interpretazioni statiche delle feature lineari sono spesso fuorvianti. Una direzione identificata come "fattualità" in un contesto breve non corrisponde costantemente alla fattualità basata sulla verità in tutti i contesti. Ciò implica che i "rilevatori di bugie" o i monitor di sicurezza basati sul probing statico potrebbero fallire nelle interazioni a lungo contesto.
• Ipotesi del Role-Play: I risultati supportano una descrizione dei modelli di linguaggio come "role-play", in cui il modello ristruttura le sue rappresentazioni interne per adattarsi al ruolo suggerito dalla conversazione, piuttosto che subire un cambiamento fondamentale nelle "credenze" o nelle conoscenze. Il fatto che il replay off-policy induca cambiamenti simili suggerisce che questo sia un tratto dell'adattamento contestuale generale.
• Implicazioni per la Sicurezza: La natura dinamica delle rappresentazioni complica gli sforzi per garantire la sicurezza o l'affidabilità del modello basandosi sugli stati interni. Se un modello può spostare la sua rappresentazione di ciò che è "fattuale" in base ai segnali conversazionali, confermare che uno stato attuale ricade in una regione di rappresentazione "fattuale" non è una garanzia di affidabilità.
• Direzioni Future: Gli autori suggeriscono che comprendere queste dinamiche è essenziale per sviluppare metodi di interpretabilità più robusti che tengano conto del tempo e del contesto, e per comprendere i meccanismi di apprendimento in-context e di adattamento.

Il paper conclude con un richiamo alla cautela: i metodi di interpretabilità addestrati o adattati su distribuzioni specifiche (ad esempio, prompt vuoti) non dovrebbero essere assunti come dotati di significati validi quando applicati a diverse distribuzioni di input, come il contesto accumulato di una conversazione naturalistica.