Sintesi Tecnica: Output Vector Editing per la Mitigazione della Memorizzazione nei Large Language Models

1. Definizione del Problema

I Large Language Models (LLM) memorizzano e riproducono sequenze dai loro dati di addestramento, creando significativi rischi per la privacy, il copyright e la sicurezza. Le strategie di mitigazione esistenti affrontano limitazioni: la prevenzione durante l'addestramento richiede un intero riaddestramento; l'unlearning post-hoc spesso lascia intatti gli encoding sottostanti, permettendo il recupero tramite riapprendimento benigno; e il filtraggio a livello di decoder aggiunge un overhead di inferenza senza modificare i pesi.

All'interno del paradigma "localizza-e-modifica" (locate-then-edit), il lavoro precedente sulla memorizzazione ha ampiamente ridotto la fase di "modifica" allo azzeramento delle attivazioni dei neuroni identificati. Gli autori sostengono che questo sia inutilmente distruttivo. Poiché i neuroni partecipano alla rappresentazione di molteplici feature attraverso la sovrapposizione (superposition), azzerare un'attivazione collassa tutte le informazioni codificate dal neurone, non solo il contenuto memorizzato. Inoltre, i metodi esistenti spesso si affidano a template strutturati (es. <soggetto, relazione, oggetto>) che non esistono nella memorizzazione sequenziale a testo libero.

2. Metodologia: Output Vector Editing

Il paper propone l'Output Vector Editing, una modifica dei pesi tramite ottimizzazione vincolata che modifica i vettori di output dei neuroni MLP responsabili di una continuazione memorizzata, invece di azzerarne le attivazioni.

Meccanismo Core

L'output di uno strato MLP è una somma di contributi per neurone: $MLP(x) = \sum a_i \cdot v_i$, dove $a_i$ è l'attivazione scalare e $v_i$ è il vettore di output.

• Attivazione vs. Vettore: L'attivazione $a_i$ controlla se un neurone si attiva, mentre il vettore di output $v_i$ determina cosa viene scritto nel residual stream.
• La Modifica: Invece di impostare $a_i = 0$, il metodo mantiene $a_i > 0$ ma modifica $v_i$ in $v'_i$. Ciò avviene tramite un aggiornamento di rango uno lungo la direzione di unembedding di un token "distrattore" $s$.
• Ottimizzazione: La modifica minimizza la distanza tra il vettore originale e quello nuovo, proiettando il nuovo vettore sulla direzione del logit del token distrattore verso un valore target $\Delta_i$. La soluzione in forma chiusa è:
  $$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$$
  dove $u_s$ è il vettore di unembedding per il token $s$. Questo non richiede il calcolo del gradiente ed è applicato direttamente ai pesi.

Fasi della Pipeline

1. Mining delle Sequenze Memorizzate: Utilizzando la predizione teacher-forced sul corpus di pretraining, gli autori identificano sequenze in cui l'output del modello corrisponde alla verità di base (BLEU > 0.5).
2. Localizzazione in Due Fasi:
   • Selezione dello Strato: Identifica i primi 5 strati MLP dove il token target riceve il più forte boost di logit (usando il "logit lens").
   • Selezione del Neurone: All'interno degli strati selezionati, valuta i neuroni in base alla prossimità L1 al residual stream e filtra quelli che promuovono o sopprimono direttamente il token target (posizionandolo nei primi o ultimi 50 della vocabolario).
3. Modalità di Modifica (Edit Modes): Il metodo definisce quattro modalità basate sul token distrattore $s$:
   • EOS: Reindirizza al token di fine sequenza (terminazione aggressiva).
   • Redact: Reindirizza a un marker di redazione (****).
   • Next-best: Reindirizza al secondo token più probabile del modello (alternativa plausibile).
   • Suppress: Smorza direttamente il logit del token target senza iniettare un distrattore.

3. Contributi Chiave

1. Decoupling di Attivazione e Output: Il paper dimostra che le attivazioni e i vettori di output svolgono ruoli separabili nei neuroni MLP. Modificare il vettore di output per introdurre un distrattore è un intervento distinto e meno distruttivo rispetto allo azzeramento delle attivazioni.
2. Rank-One Output Editing: Adattamento del meccanismo di aggiornamento di rango uno (precedentemente usato per l'editing fattuale come ROME) per il reindirizzamento dell'output per neurone per la mitigazione della memorizzazione.
3. Valutazione Esaustiva: Valutazione su quattro modelli (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) e quattro modalità di editing, confrontando il metodo con lo zero ablation, i neuroni casuali e i baseline di activation steering.
4. Confini Meccanicistici: Identificazione di un "limite duro" del ~14% dove l'editing basato solo su MLP fallisce, suggerendo un ruolo complementare dei meccanismi di attenzione in questi casi specifici.

4. Risultati

Valutati principalmente su OLMo-7B (6.831 sequenze memorizzate):

• Superiorità rispetto allo Zero Ablation: Alla localizzazione corrispondente ($k=5$), EOS ha ottenuto una soppressione dell'85,7% rispetto al 31,3% dello zero ablation sugli stessi neuroni. Questo divario di 2,7x conferma che il successo deriva dall'edit del vettore di output, non solo dalla localizzazione.
• Trade-off Successo-Località:
  • Aggressivo (EOS, k=10): 87,9% di soppressione ma incurre in un "rischio di coda" di fallimenti catastrofici di località (picchi di perplexity > 100) in circa l'1,8% delle modifiche.
  • Pratico (Next-best, k=5): 81,5% di soppressione con zero editi catastrofici e uno shift minimo della mediana della perplexity (+0,13). Questa è identificata come l'ottimo punto operativo.
  • Conservativo (Redact, k=5): 31,7% di soppressione con danni di località quasi nulli.
• Complementarità delle Modalità: Le quattro modalità non sono ridondanti. Un ensemble di tutte le modalità copre il 96,5% delle sequenze memorizzate. La modalità "Next-best" sopprime unicamente 161 sequenze che nessun'altra modalità raggiunge.
• Generalizzazione Cross-Model: Il successo scala con la dimensione del modello piuttosto che con la famiglia di architetture. I modelli più piccoli (360M) mostrano tassi di successo inferiori (34,9%) principalmente a causa di un tasso di skip più elevato nel filtro di localizzazione.
• Confronto con l'Activation Steering: Il metodo proposto ottiene tassi di successo comparabili all'activation steering (73,3%) ma con una località significativamente migliore (mediana $\Delta$PPL +0,13 vs +0,90) e un targeting per singola sequenza.

Limitazioni e Fallimenti

• Limite MLP: Circa il 14% delle sequenze resiste a tutte le configurazioni basate su MLP. L'analisi suggerisce che queste non siano primariamente guidate dall'attenzione, poiché l'ablazione dei principali head di attenzione recupera il 60–64% di questi fallimenti, posizionando l'attenzione come un fallback complementare.
• Rischio Cumulativo: Sebbene i singoli editi siano sicuri, l'editing massivo senza ripristino dei pesi porta al collasso catastrofico (es. la modalità EOS collassa entro 10 editi cumulativi).

5. Significato e Assertions

Il paper sostiene di fornire un intervento meccanicisticamente fondato a livello di peso che mitiga la memorizzazione senza i sottoprodotti distruttivi dell'ablazione dei neuroni o l'overhead di runtime del filtraggio.

• Precisione: Modificando il vettore di output invece dell'attivazione, il metodo reindirizza chirurgicamente specifiche continuazioni memorizzate preservando al contempo le altre feature codificate dal neurone.
• Praticità: La modalità "Next-best" offre una configurazione ad alto successo e basso rischio adatta al deployment pratico, evitando gli outlier catastrofici visti nelle modalità aggressive.
• Scalabilità: Il metodo si trasferisce tra le famiglie di modelli e scala, con tassi di successo che correlano con la dimensione del modello.
• Rimedio vs Difesa: Gli autori posizionano questo lavoro come un rimedio per le memorizzazioni note (che richiede l'accesso al corpus di pretraining per estrarre le sequenze) piuttosto che una difesa a runtime contro l'estrazione avversaria. Riconoscono che l'editing reindirizza i contributi invece di rimuovere le rappresentazioni sottostanti, il che significa che il contenuto soppresso potrebbe potenzialmente essere recuperato tramite riapprendimento benigno.

Il lavoro stabilisce che una mitigazione efficace della memorizzazione richiede di andare oltre la semplice soppressione dell'attivazione verso una manipolazione precisa dei contributi del residual stream tramite l'output vector editing.