Sintesi Tecnica: Collisione Creativa: Orientamento della Persona Direttoriale e Competizione nei Large Language Models

Definizione del Problema

L'orientamento delle attivazioni (activation steering) si è affermato come un potente meccanismo per modificare il comportamento dei Large Language Models (LLM) durante l'inferenza, iniettando direzioni semantiche apprese nel flusso residuo (residual stream). Sebbene la ricerca precedente abbia applicato con successo questa tecnica a compiti a singola direzione — come il potenziamento della veridicità, della sicurezza o di specifiche persone — la dinamica della collisione multi-vettore rimane inesplorata. Nello specifico, non è noto cosa accada quando due vettori di orientamento semanticamente opposti vengono sovrapposti e competono per il controllo rappresentazionale. Questo articolo affronta tale lacuna investigando il regime di "Collisione Creativa", in cui direzioni morali e stilistiche opposte vengono interpolate per osservare interazioni non lineari, degradazione della coerenza e dominanza direzionale.

Metodologia

1. Corpus di Contrasto Direttoriale

Gli autori hanno costruito un corpus accoppiato $D = \{(x^{SPL}_i, x^{SCO}_i)\}$ composto da 100 estratti ciascuno dalle filmografie di Steven Spielberg e Martin Scorsese.

• Spielberg: Tratto da film come E.T., Schindler's List e Saving Private Ryan, caratterizzati da archi di redenzione, catarsi emotiva e risoluzione ottimistica.
• Scorsese: Tratto da film come Goodfellas, Taxi Driver e Casino, caratterizzati da ambiguità morale, violenza e traiettorie autodistruttive.
• Corrispondenza: Le coppie sono state accoppiate su situazioni narrative (ad esempio, confronto, scelta morale) per isolare il tono morale del regista dalla complessità della trama.

2. Estrazione dei Vettori di Orientamento

Utilizzando un transformer decoder-only da 14 miliardi di parametri (40 layer), gli autori hanno estratto i vettori di orientamento tramite differenza media tra un corpus di base neutro condiviso $B$.

• Vettori: $v^{(l)}_{SPL}$ e $v^{(l)}_{SCO}$ sono stati calcolati come la differenza tra la media delle attivazioni del rispettivo corpus del regista e il baseline al layer $l$.
• Normalizzazione: I vettori sono stati normalizzati $\ell_2$. Notevolmente, non erano antiparalleli; al layer 28, la loro similarità del coseno era $\approx 0.29$, indicando un sottospazio rappresentazionale condiviso per il contenuto emotivo cinematografico nonostante le divergenti risoluzioni morali.

3. Protocollo di Interpolazione e Orientamento

Lo studio ha introdotto una famiglia parametrica di vettori interpolati:
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• Orientamento (Steering): Il vettore interpolato è stato aggiunto al flusso residuo ai layer $L = \{20, \dots, 38\}$ con un coefficiente di orientamento $\lambda \in \{0.5, 1.0, 1.5, 2.0\}$.
• Valutazione: Sono stati generati 50 passaggi di narrativa creativa per ogni condizione. Le metriche includevano:
  • Valenza Morale: Valutata da un classificatore fine-tuned ($[-1, +1]$).
  • Coerenza: Misurata tramite la perplessità a livello di token sotto il modello base non orientato.
  • Dominanza Direzionale: Probabilità assegnata da un classificatore stilometrico alla classe Spielberg.
  • Stile Superficiale: Metriche che includono lunghezza della frase, densità del dialogo e diversità lessicale.

Risultati Chiave

1. Valenza Morale Non-Monotona

Contrariamente alla naif aspettativa che il tono morale cambierebbe linearmente da Spielberg (positivo) a Scorsese (negativo) all'aumentare di $\alpha$, i risultati sono stati non-monotoni.

• Al $\lambda = 1.0$, la valenza morale era più negativa a $\alpha = 0.25$ ($MV \approx -0.38$) piuttosto che a $\alpha = 1.0$.
• Questa "incoerenza morale" nei punti intermedi suggerisce un'interferenza costruttiva dove la componente di Scorsese introduce oscurità ma non riesce a dominare, creando uno stato penalizzato.
• Ad alti magnitudi di orientamento ($\lambda = 1.5$), il segnale morale è collassato completamente verso lo zero vicino, indicando che il flusso residuo è stato spinto fuori dal manifold testuale naturale.

2. La Valle della Coerenza

È emersa una scoperta controintuitiva riguardo alla coerenza della generazione (perplessità).

• Orientamento Puro: L'orientamento a un singolo regista ($\alpha=0$ o $1$) ha causato gli aumenti di perplessità più elevati ad alto $\lambda$.
• Collisione Intermedia: Le condizioni con vettori misti ($\alpha \in \{0.25, 0.5\}$) sono rimaste significativamente più coerenti.
• Spiegazione Geometrica: Gli autori hanno dimostrato che interpolare due vettori unitari non anti-paralleli ($\rho < 1$) riduce la norma $\ell_2$ del vettore risultante. La norma è minimizzata a $\alpha = 0.5$. Poiché il costo della coerenza scala con la magnitudo della perturbazione, i punti di collisione intermedia applicano una perturbazione effettiva più debole, preservando la prossimità del modello al manifold testuale naturale.

3. Dominanza Direzionale

La firma rappresentazionale di Spielberg ha mostrato una robusta dominanza attraverso quasi l'intero intervallo di interpolazione.

• Per $\alpha \in \{0.0, 0.25, 0.50, 0.75\}$, il classificatore stilometrico ha assegnato una probabilità di $\approx 1.0$ alla classe Spielberg.
• Solo a $\alpha = 1.0$ (Scorsese puro) il classificatore si è avvicinato al confine di decisione ($P \approx 0.49$).
• Meccanismi: Ciò è attribuito a (1) un bias preventivo nei dati di pre-training verso narrazioni prosociali e (2) l'amplificazione dell'allineamento tramite RLHF, che rinforza la generazione positiva, agendo efficacemente come un persistente prior della direzione Spielberg.

4. Localizzazione per Layer

Gli effetti morali di entrambi i registi hanno raggiunto il picco al Layer 28 (circa il 70% della profondità in un modello a 40 layer).

• Gli effetti sono stati approssimativamente anti-simmetrici ($\Delta MV \approx -0.50$ per Scorsese, $+0.47$ per Spielberg).
• Questa co-localizzazione suggerisce che il Layer 28 funzioni come un "hub di tono morale" condiviso dove le proprietà semantiche di alto livello sono codificate causalmente, supportando l'ipotesi della rappresentazione lineare per la valenza morale.

5. Amplificazione Morale

Decomponendo la valenza morale in sottoclassi positive ($p+$) e negative ($p-$), il regime di collisione ($\alpha \approx 0.25$) ha prodotto testi con sia alti punteggi morali positivi che alti punteggi morali negativi simultaneamente. Questa "amplificazione morale" indica che la collisione può generare testi con maggiore complessità morale ed esplicitità rispetto a ciascun estremo del singolo regista.

Significato e Rivendicazioni

L'articolo sostiene di far avanzare la comprensione delle direzioni semantiche competitive negli spazi di attivazione dei transformer. I loro contributi primari sono:

1. Implicazioni per la Sicurezza: La robusta dominanza direzionale del contenuto prosociale suggerisce che i modelli affinati per l'utilità mantengono un forte prior interno contro il contenuto moralmente oscuro. Orientare verso contenuti indesiderati richiede magnitudo di attivazione sostanzialmente maggiori rispetto all'orientamento verso contenuti benigni, alzando l'asticella empirica per gli attacchi avversari a livello di attivazione.
2. Principio di Design per la Coerenza: La "valle della coerenza" fornisce un principio geometrico: quando è richiesta un'alta magnitudo di orientamento, interpolare tra due direzioni semanticamente opposte può preservare meglio la coerenza rispetto all'applicazione di una singola direzione alla stessa magnitudo totale, a condizione che i vettori non siano antipodali.
3. Generazione Creativa: L'effetto di "amplificazione morale" suggerisce che iniettare deliberatamente una piccola componente di direzione opposta può aumentare la tensione narrativa e la profondità morale senza abbandonare la persona dominante, offrendo un nuovo strumento per la generazione creativa controllabile.
4. Interpretabilità Meccanicistica: L'identificazione del Layer 28 come un substrato condiviso del tono morale e la conferma delle direzioni lineari della valenza morale forniscono target concreti per futuri studi di tracciamento causale e decomposizione delle feature.

Gli autori sottolineano che, sebbene la capacità di orientarsi verso contenuti oscuri esistesse già, il loro lavoro quantifica la resistenza imposta dall'allineamento fine-tuning. Considerano la scoperta che tale orientamento sia difficile da raggiungere come un netto positivo per la letteratura sulla sicurezza, pur riconoscendo il potenziale dell' "amplificazione morale" per la generazione di contenuti ad alta intensità.