Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

1. Il Problema: Polisenso e Vulnerabilità Strutturale

Il lavoro affronta il fenomeno della polisenso (polysemanticity) nei modelli linguistici (LLM), dove singoli neuroni o gruppi di neuroni codificano più concetti distinti contemporaneamente. Sebbene questa proprietà migliori l'efficienza rappresentativa e le capacità del modello (tramite il "superposition"), essa complica l'interpretabilità e introduce vulnerabilità sistemiche.

La premessa centrale è che due feature semanticamente distinte (quasi ortogonali nello spazio simbolico umano) possono interferire significativamente nello spazio di attivazione del modello se condividono direzioni di attivazione comuni. Il paper indaga se queste strutture di interferenza polisenso siano:

1. Sfruttabili per manipolare l'output del modello.
2. Trasferibili tra modelli di dimensioni e architetture diverse.
3. Rivelatrici di una organizzazione interna stabile e prevedibile, piuttosto che di un artefatto stocastico.

2. Metodologia

Gli autori utilizzano Sparse Autoencoders (SAE) per mappare la topologia polisenso di due piccoli modelli (Pythia-70M e GPT-2-Small) e identificare coppie di feature semanticamente non correlate ma che interferiscono tra loro.

Definizioni Chiave

• Manifold Simbolico Umano ($M$): Lo spazio dei significati intuitivi.
• Spazio di Attivazione del Modello ($A_\ell$): Lo spazio vettoriale dei neuroni.
• Base delle Feature Sparse ($F_\ell$): Le feature estratte dagli SAE.
• Interferenza: Misurata come similarità coseno tra le direzioni di attivazione di due feature nello spazio $A_\ell$, anche se la loro similarità semantica in $M$ è bassa.

Strategie di Intervento

Il team ha testato quattro livelli di intervento per misurare lo spostamento nella distribuzione di previsione del prossimo token:

1. Intervento sulle Feature (Feature Steering): Manipolazione diretta delle direzioni delle feature SAE nello spazio di attivazione.
2. Intervento sui Token (Token-Gradient Steering): Utilizzo dei gradienti dei token che attivano maggiormente le feature di interferenza come vettori di steering. Questo metodo non richiede l'accesso ai pesi interni dell'SAE del modello target, ma solo ai gradienti di attivazione.
3. Iniezione di Prompt (Prompt Injection): Inserimento di snippet di testo che attivano le feature di interferenza all'inizio del prompt.
4. Intervento sui Neuroni: Mascheramento o amplificazione delle attivazioni dei neuroni, classificati in base al loro grado di polisenso (numero di feature connesse).

Validazione Cross-Modello

Le strutture di interferenza identificate nei modelli piccoli sono state testate su modelli più grandi e instruction-tuned (Llama-3.1-8B/70B-Instruct e Gemma-2-9B-Instruct) in modalità "black-box", utilizzando solo i vettori di gradiente o i prompt derivati dai modelli piccoli.

3. Contributi Chiave e Risultati

A. Manipolazione tramite Feature Non Correlate

Gli esperimenti dimostrano che è possibile spostare l'output del modello verso una semantica target manipolando feature semanticamente distinte ma che interferiscono nello spazio di attivazione.

• Risultato: L'intervento su feature interferenti induce cambiamenti prevedibili nella distribuzione dei token successivi.
• Efficacia: L'intervento basato sui gradienti dei token è risultato circa 10 volte più efficace rispetto alla semplice steering delle direzioni delle feature SAE. L'iniezione di prompt, sebbene meno potente in termini di spostamento coseno, mostra un effetto di amplificazione significativo (10x-1000x) sulla probabilità di sovrapposizione (weighted overlap) con i token target.

B. Trasferibilità e Generalizzazione

Le strutture di interferenza polisenso non sono limitate ai modelli di addestramento originali.

• Risultato: Le coppie di feature interferenti identificate su Pythia-70M e GPT-2-Small sono state applicate con successo a Llama-3.1 e Gemma-2.
• Significato: Questo suggerisce l'esistenza di una topologia polisenso stabile e condivisa che trascende l'architettura specifica e il regime di addestramento, indicando una vulnerabilità sistematica comune ai LLM.

C. Strutture Controintuitive e Regolarità Latenti

Molte delle coppie di feature che interferiscono fortemente non hanno una relazione semantica ovvia o di primo ordine (es. "posizione" e "tipi di dati" nella programmazione).

• Analisi: L'annotazione post-hoc con LLM avanzati ha rivelato che meno del 30% di queste coppie possiede associazioni di ordine superiore comprensibili all'uomo.
• Implicazione: I modelli apprendono regolarità robuste e stabili che sono spesso opache all'intuizione umana, suggerendo l'esistenza di strutture di conoscenza latente che potrebbero essere testate come ipotesi.

D. Vulnerabilità dei Neuroni "Super-Polisenso"

L'analisi a livello di neurone ha mostrato una correlazione diretta tra il grado di polisenso e la vulnerabilità del modello.

• Neuroni "Super": I neuroni connessi a oltre 500 feature mostrano un comportamento asimmetrico: l'amplificazione delle loro attivazioni altera drasticamente il comportamento del modello, mentre il loro mascheramento (disattivazione) ha un effetto ridotto. Questo indica che agiscono come giunzioni critiche nell'architettura semantica.

4. Significato e Implicazioni

1. Sfida alla Visione Stocastica: I risultati contraddicono l'idea che la polisenso sia un mero artefatto casuale dell'addestramento. Dimostrano invece l'esistenza di una organizzazione gerarchica superiore convergente nelle rappresentazioni interne dei modelli.
2. Sicurezza e Controllo Black-Box: Il lavoro offre nuovi metodi per il controllo comportamentale dei modelli senza accesso ai pesi interni (tramite gradienti o prompt), sfruttando vulnerabilità strutturali condivise. Questo ha implicazioni sia per la sicurezza (attacchi più sottili) che per l'allineamento (interventi mirati).
3. Nuova Prospettiva Cognitiva: La scoperta di interferenze stabili ma controintuitive suggerisce che i LLM potrebbero aver sviluppato forme di associazione "inconsapevoli" o latenti, offrendo una lente teorica per comprendere sia la cognizione artificiale che quella umana.

In sintesi, il paper stabilisce che il "rumore" delle interferenze polisenso contiene un "segnale" strutturale prevedibile e trasferibile, aprendo la strada a nuove tecniche di interpretazione e controllo dei modelli linguistici su larga scala.