Riassunto Tecnico: Attribuzione Meccanicistica Simbolica dei Dati (SMDA)

Definizione del Problema

I metodi esistenti di attribuzione dei dati, inclusa l'Attribuzione Meccanicistica dei Dati (MDA), sono efficaci nel tracciare gli esempi di addestramento verso specifici circuiti a basso livello pre-caratterizzati (ad esempio, neuroni, teste di attenzione o feature di SAE note). Tuttavia, essi faticano a spiegare come i dati di addestramento plasmino le decisioni comportamentali di alto livello dove il circuito sottostante non è noto a priori. Questo divario limita la capacità di diagnosticare fenomeni di sicurezza complessi come la conformità dannosa, la sicofantia o i comportamenti di rifiuto, che spesso emergono dall'interazione di molteplici componenti piuttosto che da un singolo'unità identificabile. Inoltre, le standard funzioni di influenza operano come black box, mentre l'analisi manuale dei circuiti non è scalabile alle policy di alto livello.

Metodologia: Attribuzione Meccanicistica Simbolica dei Dati (SMDA)

Gli autori propongono SMDA, un framework che attribuisce l'influenza dell'addestramento a una policy simbolica appresa sulle feature di un Autoencoder Sparso (SAE), piuttosto che a un componente di circuito specificato manualmente. Il metodo opera attraverso le seguenti fasi:

1. Costruzione della Policy Simbolica:

   • Il framework estrae le attivazioni delle feature SAE da uno strato specifico (Layer 10 di Llama-3.2-3B-Instruct) per un set di valutazione tenuto fuori dal training (held-out).
   • Seleziona un sottoinsieme di feature ($d=75$) che mostrano differenze di attivazione sostanziali tra prompt dannosi e innocui.
   • Viene applicata una regressione Ridge in forma chiusa per modellare il comportamento target (propensione al rifiuto) come funzione di queste feature SAE. L'output è un vettore di pesi della policy simbolica $W$, dove ogni voce rappresenta il contributo di una specifica feature alla decisione di rifiuto.

2. Computazione dell'Influenza:

   • Per una data coppia di fine-tuning supervisionato (SFT) $z_i$, SMDA approssima l'effetto di un singolo step di gradiente sui pesi della policy simbolica $W$.
   • Lo spostamento nei pesi, $\Delta W_i$, è scomposto analiticamente in due percorsi utilizzando un'espansione di Taylor del primo ordine:
     • Percorso $\Delta X$: Cambiamenti nelle attivazioni delle feature SAE interne causati dall'aggiornamento del gradiente.
     • Percorso $\Delta Y$: Cambiamenti nelle probabilità logaritmiche di rifiuto dell'output del modello causati dall'aggiornamento del gradiente.
   • Il punteggio di influenza finale è il prodotto scalare $\langle \Delta W_i, W \rangle$, che indica se la coppia di addestramento spinge la policy ulteriormente nella sua direzione attuale (positivo) o contro di essa (negativo).

3. Setup Sperimentale:

   • Modello: Llama-3.2-3B-Instruct.
   • SAE: Un BatchTopK SAE addestrato sullo stream residuo del Layer 10, che produce 12.288 feature.
   • Dati: 200 coppie di addestramento SFT (100 rifiuti dannosi, 100 conformità innocue) e un set di valutazione di 11.000 prompt suddivisi in varie configurazioni (dannoso-innocuo, dannoso-naturale, dannoso-bilanciato).

Contributi Chiave

1. Innovazione del Framework: Introduzione di SMDA, che sposta l'oggetto dell'attribuzione dai componenti predefiniti a basso livello a una policy simbolica appresa su feature SAE. Ciò consente l'attribuzione in contesti in cui la struttura del circuito sottostante è ignota.
2. Decomposizione Analitica: Derivazione di una computazione dell'influenza in forma chiusa che separa gli effetti dell'addestramento in percorsi di attivazione delle feature ($\Delta X$) e di probabilità di output ($\Delta Y$), fornendo un insight meccanicistico su come l'addestramento dei dati alteri il comportamento.
3. Analisi Empirica: Applicazione di SMDA al comportamento di rifiuto di Llama-3.2-3B-Instruct, analizzando 200 coppie SFT per rivelare lacune sistematiche nel comportamento di sicurezza e pattern di interferenza tra feature.

Risultati Chiave

L'analisi della policy simbolica e delle influenze dell'addestramento ha prodotto tre scoperte primarie:

1. Lacune Sistematiche nel Comportamento di Sicurezza:

   • I coefficienti della policy simbolica hanno rivelato che il modello base rileva in modo affidabile i contenuti dannosi (le feature si attivano) ma non riesce a tradurre questo rilevamento in decisioni di rifiuto.
   • Le feature associate allo stereotipo religioso, alla caratterizzazione di gruppi protetti e alla formulazione argomentativa portavano grandi coefficienti negativi (predicendo la conformità). Ciò indica che il modello rappresenta il danno, ma non ha appreso la corrispondente policy di rifiuto per queste categorie.

2. Differenze Qualitative nell'Influenza dell'Addestramento:

   • La decomposizione $\Delta X / \Delta Y$ ha mostrato che le coppie di addestramento dannose e innocue esercitano influenze qualitativamente diverse.
   • Per certe feature, le coppie dannose hanno principalmente spostato la probabilità di output del modello ($\Delta Y$), mentre le coppie innocue hanno distribuito l'influenza in modo più uniforme su entrambi i percorsi. Ciò suggerisce che il fine-tuning della sicurezza non è un processo uniforme.

3. Interferenza tra Feature:

   • Le singole coppie di addestramento hanno frequentemente esibito "interferenza catastrofica", in cui una coppia che mira a una categoria semantica (es. violenza) ha spostato significativamente i coefficienti di feature semanticamente non correlate (es. richieste di copyright).
   • SMDA ha identificato con successo coppie di addestramento "miscalibrate" dove l'effetto dominante ricadeva su feature non intenzionali (es. una coppia di rifiuto riguardante contenuti sessuali che sopprimeva primariamente richieste informative generali), evidenziando potenziali inefficienze nella cura dei dati di sicurezza.

Significato e Rivendicazioni

Il paper sostiene che combinare l'interpretabilità meccanicistica con l'attribuzione dei dati fornisca uno strumento diagnostico che è più fine delle funzioni di influenza black-box e pi più scalabile dell'analisi manuale dei circuiti.

• Dai Circuiti alle Policy: SMDA colma il divario tra la comprensione dei singoli componenti e la comprensione del comportamento a livello decisionale. Tratta la policy simbolica stessa come l'oggetto dell'attribuzione, rivelando non solo quali feature esistono, ma come il modello le pesa.
• Utilità Diagnostica: Il framework fornisce segnali interpretabili per l'ingegneria della sicurezza, come l'identificazione di coppie di addestramento che causano interferenza cross-feature non intenzionale o la rivelazione di specifiche categorie in cui il modello rileva il danno ma non rifiuta.
• Limitazioni e Ambito: Gli autori sono modesti riguardo all'attuale portata, notando che SMDA attribuisce alla policy simbolica (una regressione Ridge a 75 feature con accuratezza sul test di circa 64–70%) piuttosto che all'intero modello. Essi dichiarano esplicitamente che, sebbene il metodo identifichi coppie di addestramento con profili di influenza coerenti, non esegue una validazione causale tramite esperimenti di ri-addestramento per verificare che la rimozione di tali coppie migliori la sicurezza a valle. Il lavoro è presentato come un prerequisito necessario per futuri studi di intervento piuttosto che come uno strumento di cura dei dati pienamente validato.