Riepilogo Tecnico: Non dimenticare i tuoi embedding: Cancellazione robusta della conoscenza tramite l'editing preciso degli embedding

Problema

Man mano che i modelli linguistici (LM) vengono sempre più implementati, la capacità di cancellare permanentemente conoscenze specifiche (ad esempio, dati privati, contenuti protetti da copyright o argomenti sensibili per la sicurezza) diventa critica. Gli attuali metodi di cancellazione persistente si concentrano principalmente sull'aggiornamento dei parametri del modello, specificamente all'interno degli strati Multi-Layer Perceptron (MLP), utilizzando spesso autoencoder sparsi (SAE) o il controllo dei pesi (weight steering). Tuttavia, questi metodi spesso non riescono a ottenere una cancellazione robusta. La conoscenza bersaglio rimane spesso recuperabile attraverso il prompting avversariale o il riapprendimento (fine-tuning su dati correlati al concetto), e l'efficacia della cancellazione è spesso dipendente dal formato (fallendo nel generalizzare dai test a scelta multipla alla generazione aperta).

Gli autori ipotizzano che questi limiti derivino dal fatto che le tecniche esistenti trascurano lo strato di embedding dei token. Sebbene gli MLP siano noti per svolgere un ruolo chiave nel richiamo della conoscenza, i LM codificano anche una parte non trascurabile della loro conoscenza direttamente nei loro embedding dei token. Ignorare questo strato lascia una via per cui il modello può "riapprendere" i concetti cancellati e costringe i metodi esistenti a fare affidamento su aggiornamenti dei parametri ampi e aggressivi che degradano l'utilità complessiva del modello.

Metodologia: EMBER

Il documento introduce EMBER (EMBedding ERasure), un modulo plug-and-play progettato per editare precisamente gli embedding dei token per integrare gli esistenti metodi di cancellazione focalizzati sugli MLP. EMBER segue un approccio "localizza-poi-edita" composto da tre fasi:

1. Fattorizzazione di Matrice Sparsa (Sparse MF) per la Localizzazione delle Caratteristiche:
   Invece di utilizzare gli SAE, EMBER applica la Fattorizzazione di Matrice Sparsa direttamente alla matrice di embedding $E$. Decompone gli embedding di un set specifico di token (quelli che compaiono in frasi correlate al concetto e frasi neutre) in un dizionario di fattori $Z$ (caratteristiche di embedding) e una matrice di coefficienti $Y$.

   • Vincolo di Sparsità: Per garantire che le caratteristiche corrispondano a concetti localizzati e interpretabili, viene applicato un vincolo "winner-takes-all" (WTA) ai coefficienti $Y$, mantenendo solo l'1% delle magnitudini per fattore. Ciò forza la fattorizzazione nell'identificare caratteristiche condivise da piccoli e specifici sottoinsiemi di token.

2. Identificazione delle Caratteristiche Correlate al Concetto:
   Il metodo valuta le caratteristiche recuperate per distinguere le caratteristiche specifiche del concetto da quelle generali. Calcola una statistica del rapporto di massa che confronta il contributo di una caratteristica rispetto ai token etichettati come concetto rispetto ai token neutri. Le caratteristiche con un rapporto elevato vengono ulteriormente filtrate utilizzando un LLM-as-a-judge per verificare che i token associati corrispondano semanticamente al concetto bersaglio.

3. Cancellazione Precisa tramite Sottrazione:
   Una volta identificate le caratteristiche correlate al concetto ($F_C$), EMBER sottrae il loro contributo dagli embedding dei token rilevanti. Per un embedding di un token $e_t$, l'aggiornamento è:
   $$e_t \leftarrow e_t - \delta \sum_{i \in F_C} Y_{i,t} z_i$$
   dove $\delta$ è un iperparametro di intensità. Questa operazione rimuove la componente specifica del concetto lasciando intatto il resto dell'embedding. Il metodo viene applicato solo ai token che hanno coefficienti non nulli per le caratteristiche del concetto identificato.

EMBER è progettato per essere combinato con i metodi di cancellazione esistenti basati su MLP (ad esempio, RMU, CRISP, SNMF) per creare un ensemble che colpisca sia lo strato di embedding che gli strati MLP.

Contributi Chiave

• Identificazione del Collo di Bottiglia degli Embedding: Il documento fornisce il primo studio empirico che stabilisce lo strato di embedding come un collo di bottiglia critico per la robusta cancellazione dei concetti. Dimostra che ignorare gli embedding permette ai modelli di recuperare la conoscenza cancellata più facilmente.
• Algoritmo EMBER: Un metodo innovativo che utilizza la Fattorizzazione di Matrice Sparsa per disgiungere e rimuovere precisamente le caratteristiche correlate al concetto dagli embedding dei token senza richiedere il fine-tuning completo del modello.
• Augmentation Plug-and-Play: Si dimostra che EMBER è compatibile con i framework di cancellazione esistenti, aumentando significativamente le loro prestazioni senza richiedere una riprogettazione completa della pipeline di cancellazione.

Risultati Sperimentali

Gli autori hanno valutato EMBER su Gemma-2-2B-it e Llama-3.1-8B-Instruct su 18 concetti diversi (che spaziano da opere di finzione come Harry Potter a temi di sicurezza come Cannabis).

• Efficacia e Specificità: L'integrazione di EMBER con i metodi esistenti (RMU, CRISP, SNMF) ha migliorato costantemente l'efficacia della cancellazione (abbassando l'accuratezza del concetto) e la specificità (mantenendo le prestazioni su domini simili e MMLU).
• Robustezza al Riapprendimento: Questo è il guadagno principale. EMBER ha ridotto drasticamente la capacità del modello di riapprendere i concetti cancellati.
  • Su Llama-3.1, l'accuratezza del riapprendimento per i metodi precedenti (RMU, CRISP) è stata ridotta dal 70%–76% al 35% quando combinata con EMBER (una riduzione di circa il 50%).
  • Su Gemma, l'accuratezza del riapprendimento è stata ridotta del 16%–24%.
  • La pipeline completa basata su MF (SNMF + EMBER) ha ottenuto l'accuratezza di riapprendimento più bassa (35% su Llama), superando significativamente i baseline.
• Coerenza e Localizzazione: Il costo per la coerenza della generazione è stato minimo. L'analisi ha mostrato che EMBER modifica al massimo lo 0,14% del vocabolario per concetto. La degradazione della coerenza è stata altamente localizzata ai token "esclusivi del concetto" (ad esempio, "Hogwarts" quando si cancella Harry Potter), mentre i token generali (ad esempio, "Harry" nel contesto di Prince Harry) sono rimasti ampiamente inalterati.
• Generalizzazione: Sebbene gli iperparametri siano stati ottimizzati su compiti a scelta multipla (MC), i miglioramenti si sono trasferiti efficacementamente alle risposte a domande a risposta aperta (OE), suggerendo che le modifiche mirano a conoscenze concettuali piuttosto che a scorciatoie specifiche del formato.

Significato e Rivendicazioni

Il documento sostiene che l'editing preciso e mirato della matrice di embedding è fondamentale per ottenere una cancellazione robusta del concetto. Spostando l'attenzione oltre la visione centrata sugli MLP dei lavori precedenti, EMBER affronta il problema della "cancellazione superficiale" (shallow unlearning) in cui la conoscenza viene solo soppressa anziché rimossa.

Gli autori concludono che:

1. Le interazioni a livello di embedding sono necessarie per prevenire gli attacchi di riapprendimento.
2. I metodi di cancellazione esistenti possono essere significativamente potenziati integrando edizioni a livello di embedding.
3. Il compromesso tra efficacia della cancellazione e utilità del modello (coerenza) può essere migliorato localizzando le modifiche a specifiche caratteristiche correlate al concetto invece di applicare ampi aggiornamenti dei pesi.

Il lavoro stabilisce una nuova direzione per l'editing dei modelli, evidenziando che lo strato di embedding è un locus vitale, sebbene precedentemente poco esplorato, di archiviazione della conoscenza che deve essere affrontato per le applicazioni di sicurezza e conformità.