Riepilogo Tecnico: Realizzazione di Comportamenti SFT Reversibili nei Modelli Linguistici di Grande Dimensione

Enunciato del Problema

Il Fine-Tuning Supervisato (SFT) è il meccanismo standard per instillare comportamenti critici per il deployment (ad esempio, allineamento alla sicurezza, rispetto delle istruzioni, adattamento dello stile) nei Modelli Linguistici di Grande Dimensione (LLM). Tuttavia, il processo SFT non impone vincoli strutturali su come questi comportamenti sono organizzati internamente. Di conseguenza, i comportamenti appresi sono spesso codificati in modo diffuso, rappresentati in modo ridondante o intrecciati con calcoli non correlati.

Questa mancanza di struttura crea due limitazioni principali:

1. Fallimento della Diagnosi Causale: I metodi esistenti di interpretazione post-hoc (ad esempio, l'attribuzione di circuiti) identificano sottoreti sparse correlate ai comportamenti. Tuttavia, la correlazione non implica causalità. Poiché il modello completo mantiene percorsi ridondanti, l'ablazione di una sottorete correlata potrebbe non sopprimere il comportamento, rendendo impossibile stabilire conclusivamente la necessità causale.
2. Controllabilità Causale Limitata: I metodi attuali non possono istanziare una sottostruttura sparsa che sia meccanicamente necessaria per un comportamento indotto da SFT. Sebbene l'editing dei vettori di compito e l'editing del modello possano modificare i parametri, non producono una sottostruttura indirizzabile esclusivamente tramite intervento sugli input a pesi fissi.

Il documento affronta la seguente domanda di ricerca: I comportamenti indotti da SFT possono essere deliberatamente compressi in sottostrutture sparse e meccanicamente necessarie (vettori) che rimangono controllabili al momento dell'inferenza senza modificare i pesi del modello?

Metodologia

Gli autori propongono un framework a due stadi: Loss-Constrained Dual Descent (LCDD) per la creazione del vettore, e SFT-Eraser per validarne la necessità tramite intervento sugli input.

1. Parametrizzazione della Variazione dei Pesi

L'approccio tratta il calcolo indotto da SFT come una variazione additiva dei pesi $\Delta W = W_{ft} - W_{base}$. Il modello è parametrizzato come $W = W_{base} + M \odot \Delta W$, dove $M$ è una maschera binaria. L'obiettivo è trovare la $M$ più sparsa che preservi il comportamento del compito.

2. LCDD: Creazione di Vettori Sparsi

LCDD ottimizza congiuntamente la maschera di instradamento $M$ e la variazione dei pesi $\Delta W$ per comprimere il comportamento in un vettore sparsa, aderendo a un budget esplicito di utilità.

• Sparsità Strutturata: Invece di elementi di peso arbitrari, la sparsità è imposta a livello di canale di attivazione (righe e colonne delle matrici dei pesi). Ciò crea maschere strutturate di rango 1 ($M_{jk} = m_{row, j} \cdot m_{col, k}$) che gestiscono le attivazioni di input e output, isolando il calcolo delta indotto da SFT.
• Obiettivo di Ottimizzazione: Il metodo minimizza la penalità di sparsità (somma dei logit delle porte sigmoidali) soggetto a un vincolo per cui la perdita del compito $L_{task}$ rimane entro un budget $\epsilon$.
• Penalità Adattiva: Viene utilizzata una metodologia di penalità adattiva in cui un moltiplicatore $\lambda_t$ viene aggiornato online in base alla violazione del vincolo. Un riscaldamento lineare della sparsità permette al modello di stabilizzarsi prima dell'inizio della compressione.
• Ottimizzazione Congiunta: Crucialmente, sia la maschera che le variazioni dei pesi sono ottimizzate congiuntamente. Ciò permette ai pesi rimanenti di riorganizzarsi attorno alle connessioni potate, consentendo una sparsità più profonda rispetto agli approcci basati solo sulla maschera.

3. SFT-Eraser: Validazione della Necessità

Una volta creato un vettore sparsa, SFT-Eraser verifica se il comportamento può essere soppresso da un trigger di input senza modifica dei pesi.

• Selezione del Target: Il trigger mira ai "canali di scrittura residua" (le porte di output dei percorsi delta FFN e attention), che fungono da interfaccia del vettore con il flusso residuo.
• Ottimizzazione del Trigger: Un prompt soft (embedding di token continui) viene ottimizzato per minimizzare una perdita composita:
  • $L_{MSE}$: Guida le attivazioni di scrittura del vettore verso quelle del modello base sullo stesso input.
  • $L_{KL}$: Garantisce che la distribuzione di output torni verso il modello base (prevenendo artefatti derivanti dal solo matching a livello di canale).
  • $L_2$: Regolarizza la magnitudine del trigger per prevenire embedding degeneri.
• Criteri di Successo: L'inversione è considerata riuscita se il trigger sopprime il comportamento SFT mentre riporta la distribuzione di output verso il modello base, dimostrando che il vettore è il collo di bottiglia causale.

Contributi Chiave

1. Prima Indagine sui Vettori Costruttivi: Il documento è il primo a investigare la fattibilità di costruire deliberatamente sottostrutture sparse e meccanicamente necessarie per i comportamenti SFT durante l'addestramento, piuttosto che scoprirle post-hoc.
2. Framework LCDD: Introduce un metodo per comprimere i comportamenti SFT in vettori sparsi tramite ottimizzazione congiunta di maschere e pesi sotto vincoli espliciti di utilità.
3. Protocollo SFT-Eraser: Propone un protocollo di trigger di input che valida la necessità causale dei vettori costruiti. Se un trigger sopprime il comportamento a pesi fissi, il vettore è provato essere il locus causale, non meramente correlato.
4. Validazione Empirica: Dimostra, su tre tipi di comportamento (Risposta Fissa, Allineamento alla Sicurezza, Stile Shakespeare) e quattro famiglie di modelli (Qwen, DeepSeek, Mistral, Vicuna), che:
   • LCDD preserva i comportamenti target con alta fedeltà.
   • SFT-Eraser inverte in modo affidabile questi comportamenti.
   • La struttura sparsa è il prerequisito necessario per l'inversione; applicare lo stesso trigger a modelli SFT standard (senza il vettore creato) non riesce a ottenere l'inversione distribuzionale.

Risultati Sperimentali

Gli esperimenti coprono tre compiti di crescente complessità strutturale:

• Risposta Fissa: Il modello impara a dire "Non lo so". LCDD ha raggiunto un'alta sparsità (73–84%) con una preservazione del comportamento quasi perfetta. I trigger hanno ridotto il tasso di risposta fissa a quasi zero.
• Allineamento alla Sicurezza: Addestrato su dati harmful/benign intercalati. LCDD ha mantenuto alti tassi di rifiuto della sicurezza (88–98%). I trigger hanno degradato con successo le metriche di sicurezza (minore rifiuto, maggiore successo degli attacchi) e riportato le distribuzioni verso il modello base.
• Stile Shakespeare: Un compito di trasferimento di stile distribuzionale. La sparsità è stata inferiore (30–56%) a causa della natura diffusa del comportamento stilistico, ma i trigger hanno comunque soppresso efficacemente lo stile.

Risultati delle Ablazioni:

• Struttura vs Trigger: L'applicazione del trigger SFT-Eraser a un modello SFT standard (senza LCDD) ha portato a una perturbazione comportamentale ma non è riuscita a riportare la distribuzione al modello base. Ciò conferma che la struttura sparsa è il fattore operativo, non la progettazione del trigger.
• Ottimizzazione Congiunta: L'ottimizzazione solo della maschera (fissando i pesi e ottimizzando solo la maschera) non ha raggiunto una profondità di sparsità sufficiente o un'inversione affidabile, confermando che la riorganizzazione congiunta dei pesi è necessaria per creare un collo di bottiglia indirizzabile.

Significato e Affermazioni

Il documento afferma di fornire prove dirette che i vettori appresi sono causalmente necessari per i comportamenti indotti da SFT. Costruendo una sottostruttura sparsa che è il locus completo del comportamento, gli autori abilitano:

• Diagnosi Causale: Superare la correlazione per testare la necessità tramite intervento sugli input a pesi fissi.
• Controllo Modulare: La capacità di auditare o sopprimere selettivamente comportamenti specifici al momento dell'inferenza senza retraining o modifica dei pesi.

Gli autori notano limitazioni, tra cui l'uso di prompt soft continui (piuttosto che token discreti) per i trigger e la valutazione su una singola combinazione modello-compito per l'ablazione strutturale. Riconoscono inoltre il rischio di doppio uso, poiché la metodologia potrebbe teoricamente essere utilizzata per rimuovere l'allineamento alla sicurezza dai modelli deployati. Il lavoro suggerisce direzioni future nella ricerca sull'interpretabilità, come l'uso della sparsità del vettore come proxy per la complessità descrittiva delle trasformazioni comportamentali.