Sintesi Tecnica: Orientamento delle Preferenze Intertemporali in Qwen3 tramite l'Aggiunta di Attivazione Contrastiva

Definizione del Probleamento

Il paper investiga se le preferenze intertemporali (il compromesso tra ricompense immediate e differite) nei modelli linguistici di grandi dimensioni (LLM) siano rappresentate come caratteristiche lineari all'interno dello stream residuo del modello e se tali caratteristiche possano essere manipolate causalmente per alterare il comportamento del modello. Nello specifico, gli autori si chiedono se l' "orizzonte temporale" di un modello — la sua tendenza a dare priorità a risultati a breve rispetto a lungo termine — possa essere identificato tramite sonde lineari e orientato utilizzando l'Aggiunta di Attivazione Contrastiva (CAA) per indurre cambiamenti significativi e bidirezionali nelle preferenze e nelle capacità di pianificazione.

Metodologia

Modello e Dati

• Modello: Gli esperimenti utilizzano Qwen3-32B con tracce di pensiero (thinking traces) disabilitate.
• Dataset:
  • Dataset Esplicito: 500 domande di scelta temporale con marcatori temporali espliciti (es. "prossimi 30 giorni" vs. "10 anni"). Diviso in 400 esempi di training e 100 di test.
  • Dataset Implicito: 300 domande che codificano gli orizzonti temporali attraverso contrasti semantici (es. "contenente danni" vs. "riprogettazione dell'architettura") senza parole temporali esplicite. Utilizzato per la valutazione cross-domain.
  • Training Teacher-Forced: Per ogni domanda, il modello è costretto a generare sia una continuazione a breve termine che una a lungo termine per creare esempi di training accoppiati.

Costruzione della Direzione (Training della Sonda)

Gli autori costruiscono una direzione di differenza delle medie contrastiva con segno ($d_{MM}$) per rappresentare l'orizzonte temporale.

• Pooling: Utilizzano il Mean-Mass (MM) pooling, mediando gli stati nascosti attraverso tutti i token nella continuazione della risposta, invece di utilizzare solo l'ultimo token. Questa scelta è fatta per allinearsi meglio con le interazioni applicate durante la generazione.
• Definizione del Vettore: A specifici strati ($l \in \{24, 28, \dots, 48\}$), la direzione è definita come:
  $$d_{MM} = \mu_{long} - \mu_{imm}$$
  dove $\mu$ rappresenta la media delle attivazioni delle continuazioni a lungo termine e immediate (a breve termine), rispettivamente.
• Diagnostica: Gli autori confrontano la direzione MM con sonde di Regressione Logistica (LR), Whitened LR (WLR) e Whitened MM (WMM). Sebbene le varianti biancate (whitened) raggiungano un'accuratezza di classificazione leggermente superiore sui dati non utilizzati per il training, la direzione MM non biancata è selezionata per l'orientamento (steering) per preservare la natura firmata del contrasto.

Intervento di Orientamento (CAA)

La direzione identificata viene utilizzata per l'Aggiunta di Attivazione Contrastiva durante l'inferenza:

• Meccanismo: Un vettore normalizzato $\hat{d}_l$ viene aggiunto allo stream residuo in uno strato $l$ selezionato e ad ogni passo di decodifica.
• Formula: L'intervento aggiunge $\alpha \hat{d}_l$ allo stream residuo, dove $\alpha$ è un parametro di forza con segno.
  • $\alpha$ Positivo: Orienta il modello verso la classe a lungo termine.
  • $\alpha$ Negativo: Orienta il modello verso la classe a breve termine/immediata.
• Controllo: Un controllo a norma corrispondente (matched-norm control) utilizzando un vettore unitario casuale ortogonale alla direzione MM è impiegato per garantire che gli effetti non siano dovuti a una perturbazione generica.

Esperimenti Chiave e Risultati

1. Orientamento Temporale Binario (Valutazione su Dati Non Visti)

• Task: Il modello viene presentato con domande a scelta binaria (opzioni a breve termine vs. lungo termine) dal set di test esplicito tenuto da parte e dall'intero set implicito.
• Risultato: Lo steering CAA produce spostamenti sistematici e bidirezionali nelle scelte del modello.
  • Lo steering positivo aumenta significativamente la proporzione di scelte a lungo termine.
  • Lo steering negativo aumenta significativamente le scelte a breve termine.
  • L'effetto è osservato in una vasta gamma di strati medi-tardivi (24–48), con lo Strato 44 che mostra il maggiore contrasto di scelta analizzata su entrambi i set di valutazione.
  • I controlli ortogonali casuali producono spostamenti trascurabili e inconsistenti, confermando il ruolo causale della specifica direzione temporale.

2. Orientamento Tempo-Utilità (Generalizzazione Out-of-Distribution)

• Task: Al modello viene posta una domanda di scelta intertemporale monetaria (es. "Prendi \X subito o \Y tra $t$ giorni?"). Questo task non è stato utilizzato per addestrare la direzione della sonda.
• Metrica: Moltiplicatore di Indifferenza Equivalente all'Area (AEIM), che stima il rapporto di ricompensa ($Y/X$) al quale il modello è indifferente tra ricompense immediate e differite.
• Risultato: Lo steering altera significativamente la soglia di indifferenza del modello:
  • Steering Negativo: Aumenta l'AEIM, il che significa che il modello richiede una ricompensa differita molto più grande per attendere (diventa più impaziente).
  • Steering Positivo: Diminuisce l'AEIM, il che significa che il modello accetta ricompense differite minori (diventa più paziente).
  • Magnitudo: In un orizzonte di 10 anni (3650 giorni) e con la massima forza ($|\alpha|=128$), il rapporto tra l'AEIM dello steering negativo e quello dello steering positivo supera le 56 volte. Ciò dimostra che una direzione addestrata su scelte binarie semantiche generalizza efficacemente ai trade-off monetari quantitativi.

3. Benchmark della Capacità TravelPlanner

• Task: Un benchmark di pianificazione di viaggi nel mondo reale che richiede itinerari multi-giorno che soddisfino vincoli (trasporto, budget, ecc.).
• Metrica: Tasso di superamento micro dei vincoli di senso comune (la frazione di singoli controlli di senso comune superati).
• Risultato: L'orientamento temporale influenza la capacità di pianificazione, ma la relazione è non monotona:
  • Moderato Orientamento Positivo: Migliora il tasso di superamento del senso comune.
  • Orientamento Negativo: Degrada le prestazioni.
  • Forte Orientamento Positivo ($|\alpha|=128$): Degrada le prestazioni, probabilmente perché spinge il modello troppo lontano dalla distribuzione originale (out-of-distribution), causando problemi di coerenza.
  • Ciò suggerisce che, sebbene la direzione temporale influenzi la pianificazione, esiste un "punto ottimale" (sweet spot) per la forza dell'orientamento. Gli autori hanno selezionato lo Strato 40 come strato rappresentativo limitato dalla computazione dal range di sonde medio-tardive per questo specifico esperimento, piuttosto che come ottimo specifico del task.

Contributi Chiave

1. Identificazione di Rappresentazioni Lineari: Ha dimostrato che le preferenze intertemporali in Qwen3-32B sono linearmente separabili nello stream residuo e possono essere catturate tramite semplici sonde lineari contrastive.
2. Orientamento Causale: Ha provato che l'aggiunta di questi vettori lineari sposta causalmente il comportamento del modello sulle scelte binarie non viste e, crucialmente, su task monetari out-of-distribution.
3. Generalizzazione: Ha mostato che una direzione addestrata su contrasti semantici di breve/lungo termine orienta efficacemente metriche di preferenza temporale quantitativa (AEIM) su un task strutturalmente distinto.
4. Impatto sulla Capacità: Ha fornito evidenza del fatto che l'orientamento delle preferenze temporali può modulare le capacità legate alla pianificazione, sebbene con rendimenti decrescenti a intensità di intervento estreme.

Significato e Rivendicazioni

Il paper sostiene che le preferenze intertemporali del modello sono misurabili e orientabili, sfidando la visione secondo cui tali preferenze siano solo effetti collaterali opachi del pre-training o del fine-tuning delle istruzioni.

• Sicurezza e Allineamento: La capacità di orientare gli orizzonti temporali è rilevante per i sistemi di IA che forniscono consulenza in ambiti finanziari, sanitari e politici, dove i costi e i benefici differiti sono critici. Evidenzia una preoccupazione per la sicurezza: un modello potrebbe ottimizzare internamente un orizzonte diverso da quello che presenta agli utenti, rendendo difficile la valutazione basata solo sugli output.
• Rischio di Doppio Uso: Gli autori notano esplicitamente che la capacità di orientare le preferenze temporali potrebbe essere abusata da attori malevoli per spingere i modelli verso decisioni disallineate con i valori dell'utente (es. forzare impropriamente il breve termine o il lungo termine).
• Insight Meccanicistico: I risultati supportano il paradigma dell'interpretabilità meccanicistica secondo cui concetti di alto livello (come l'orizzonte temporale) corrispondono a direzioni specifiche e manipolabili nello spazio delle attivazioni del modello.

Limitazioni Riconosciute dagli Autori

• Validità di Costruzione: La direzione addestrata potrebbe catturare caratteristiche semantiche correlate (astrazione, urgenza, portata strategica) piuttosto che l' "orizzonte temporale" in isolamento.
• Scala dell'Intervento: Grandi forze di orientamento possono degradare altre capacità (fattualità, coerenza) insieme allo spostamento delle preferenze.
• Ambito: Gli esperimenti sono limitati a una singola famiglia di modelli (Qwen3-32B), template di prompt specifici e tracce di pensiero disabilitate. I risultati potrebbero non trasferirsi ad altre architetture o contesti con capacità di ragionamento abilitate.
• Specificità del Benchmark: I risultati di TravelPlanner si basano su metriche aggregate e non identificano esattamente quali specifici vincoli siano influenzati dall'orientamento.