Riassunto Tecnico: L'Apprendimento Subliminale è Distillazione di Vettori di Guida

Problema

L'apprendimento subliminale è un fenomeno in cui un modello linguistico studente, quando sottoposto a fine-tuning sui dati prodotti da un modello insegnante, acquisisce i tratti comportamentali latenti dell'insegnante (ad esempio, una preferenza per i gatti) nonostante i dati di addestramento siano semanticamente slegati da tali tratti (ad esempio, sequenze numeriche). Sebbene studi precedenti abbiano stabilito che ciò accade, il meccanismo rimaneva poco chiaro. Nello specifico, non si sapeva come dati non semantici potessero trasmettere tratti semantici specifici, perché alcuni tratti si trasferiscano mentre altri no, e perché l'effetto sia ampiamente limitato alle coppie insegnante-studente appartenenti alla stessa famiglia di modelli. Ipotesi precedenti, come l'entanglement dei token o i token di divergenza, avevano identificato dove il segnale potesse risiedere, ma non sono riuscite a spiegare come il segnale venga trasferito durante il fine-tuning.

Metodologia

Gli autori propongono che l'apprendimento subliminale sia mediato da un singolo vettore di guida (steering vector) — una direzione nello stream residuo del modello che, se aggiunta alle attivazioni, sposta il comportamento verso un tratto target. Lo studio impiega una pipeline in tre fasi utilizzando modelli open-source (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct e OLMo-3-7B-Instruct):

1. Generazione dell'Insegnante: Un modello di riferimento viene sollecitato con un prompt di sistema che induce un tratto (ad esempio, "Ti piacciono i gatti") e genera dati (ad esempio, sequenze numeriche). Questi dati vengono filtrati per rimuovere qualsiasi riferimento semantico superficiale al tratto.
2. Estrazione del Vettore:
   • $v_{teacher}$: Definito come la differenza media nelle attivazioni dello stream residuo tra il modello di riferimento sotto un prompt che induce il tratto e un prompt neutro.
   • $v_{student}$: Definito come la differenza media nelle attivazioni tra lo studente sottoposto a fine-tuning e il modello di riferimento (sotto prompt neutri) sugli stessi dati di addestramento.
3. Test Causale: Gli autori eseguono test di sufficienza e necessità:
   • Sufficienza: Guidare un modello base con $v_{student}$ (o $v_{teacher}$) per vedere se riproduce il tratto senza fine-tuning.
   • Necessità: Ablare $v_{student}$ da uno studente sottoposto a fine-tuning (sostituendo la sua proiezione con quella del modello di riferimento) per vedere se il tratto scompare.
4. Esperimenti di Distillazione: Gli autori estendono il setup alla "distillazione del vettore di guida", in cui gli studenti vengono addestrati su dati generati da un insegnante guidato con vettori casuali o vettori per vari tratti semantici (ad esempio, "Pirata", "Shakespeariano", "Felicità").
5. Analisi dell'Ottimizzatore: Lo studio confronta ottimizzatori adattivi (Adam, AdamW) con quelli non adattivi (SGD, SGD con momentum) per determinare il loro ruolo nell'acquisizione del vettore di guida.

Contributi Chiave e Risultati

1. L'Apprendimento Subliminale è Mediato da un Singolo Vettore di Guida

Il documento dimostra che il fine-tuning installa una singola direzione nello stream residuo dello studente ($v_{student}$) che è strettamente allineata con il vettore di guida dell'insegnante ($v_{teacher}$).

• Allineamento: L'Empirical Activation Similarity (EAS) mostra che $v_{student}$ si allinea con $v_{teacher}$ man mano che l'addestramento procede.
• Causalità:
  • Sufficienza: Guidare un modello base con $v_{student}$ aumenta significativamente il tasso di espressione del tratto.
  • Necessità: Rimuovere la componente $v_{student}$ da uno studente sottoposto a fine-tuning sopprime oltre il 50% del comportamento allineato al tratto.
• Ruolo dell'Insegnante: Allo stesso modo, $v_{teacher}$ è necessario e sufficiente. L'addestramento su dati generati da un insegnante con $v_{teacher}$ ablato fallisce nell'indurre il tratto, mentre l'addestramento su dati generati guidando un modello base con $v_{teacher}$ (senza prompt di sistema) induce con successo il tratto.

2. La Distillazione del Vettore di Guida è un Fenomeno Generale

Gli autori mostrano che questo meccanismo va oltre l' "apprendimento subliminale" di tratti semantici.

• Vettori Casuali: Gli studenti addestrati su dati provenienti da un insegnante guidato con vettori casuali o feature di Autoencoder Sparsi (SAE) riescono ad apprendere l'allineamento con tali vettori.
• Trasferimento Semantico: Tuttavia, il tratto comportamentale (il significato semantico) si trasferisce solo se il vettore di guida stesso è capace di spostare il comportamento del modello al momento dell'inferenza. Se un vettore non può guidare il modello base a esibire un tratto, lo studente non imparerà subliminalmente quel tratto, anche se impara la direzione del vettore.

3. Spiegazione della Specificità del Modello e della Selettività del Tratto

Il documento risolve due misteri chiave:

• Perché alcuni tratti falliscono: I tratti che non sono ben rappresentati da un vettore di guida nel modello (ovvero, guidare con $v_{teacher}$ non sposta il comportamento del modello) non possono essere appresi subliminalmente. Il vettore deve essere un "vettore" valido del tratto nello spazio di attivazione di quel modello specifico.
• Perché il trasferimento cross-modello fallisce: I vettori di guida sono specifici per il modello. Le direzioni estratte da un modello (ad esempio, OLMo) non riducono in modo affidabile la perdita sulle completazioni di un altro modello (ad esempio, Qwen), anche per lo stesso tratto. L'apprendimento subliminale si basa su componenti del vettore di guida specifiche del modello che non si generalizzano attraverso le architetture.

4. Il Ruolo degli Ottimizzatori Adattivi

Una scoperta critica è che gli ottimizzatori adattivi (come Adam) sono necessari per l'apprendimento subliminale nei modelli linguistici, mentre il semplice SGD fallisce.

• Meccanismo: I gradienti sui dati generati dall'insegnante contengono una componente piccola ma costante lungo la direzione di guida.
• Fallimento di SGD: In SGD, una piccola frazione di parametri con gradienti sproporzionatamente grandi domina i passi di aggiornamento, sommergendo il segnale di guida sottile e costante.
• Successo di Adam: La scalatura adattiva sopprime gli aggiornamenti su queste scale anomale, permettendo alla componente piccola e costante allineata con il vettore di guida di accumularsi e installare il tratto.

Significato e Rivendicazioni

Il documento sostiene di fornire una spiegazione meccanicistica per l'apprendimento subliminale riducendolo a un caso speciale di distillazione del vettore di guida. Gli autori argomentano che:

1. Meccanismo: I dati non semantici trasmettono tratti semantici perché gli output dell'insegnante contengono "tracce specifiche del modello" (il vettore di guida) che sono sufficienti affinché lo studente ricostruisca il bias latente dell'insegnante.
2. Prevedibilità: Il successo dell'apprendimento subliminale per un dato tratto può essere predetto testando se il vettore di guida di quel tratto può effettivamente spostare il comportamento del modello base al momento dell'inferenza.
3. Limitazioni: Gli autori notano con modestia che, sebbene la distillazione del vettore di guida spieghi il mistero centrale di come i dati non semantici trasmettano i tratti, essa non spiega esaustivamente tutta la varianza (ad esempio, $v_{student}$ non recupera completamente l'affinità al tratto in tutti i casi, e le dimensioni dell'effetto variano per architettura di modello). Essi riconoscono inoltre che la necessità di ottimizzatori adattivi manca di una spiegazione teorica rigorosa oltre l'osservazione empirica.

Il lavoro suggerisce che i vettori di guida non sono solo strumenti per l'intervento al momento dell'inferenza, ma sono unità fondamentali di rappresentazione che possono essere distillate attraverso il fine-tuning standard, anche da dati che appaiono semanticamente neutri.