Riepilogo Tecnico: Editing Consapevole della Coerenza per l'Unlearning a Livello di Entità nei Modelli di Linguaggio

1. Definizione del Problema

I Large Language Models (LLM) memorizzano involontariamente informazioni sensibili, protette da copyright o dannose, ponendo rischi per la privacy e la sicurezza. Mentre l'unlearning della conoscenza mira a rimuovere conoscenze specifiche indesiderate, i metodi esistenti presentano limitazioni significative quando applicati all'unlearning a livello di entità.

Gli approcci attuali si concentrano principalmente sull'unlearning a livello di istanza, che mira alla cancellazione di specifici fatti o espressioni da un set di dimenticanza (forget set) curato. Tuttavia, l'unlearning a livello di entità richiede l'eliminazione completa di tutte le informazioni associate a una specifica entità (ad esempio, "Jackie Chan"), indipendentemente dalla formulazione o dal contesto. Le tecniche esistenti spesso falliscono in questo dominio perché:

• Overfitting sulle Forme Superficiali: Tendono a fare overfitting sulla forma superficiale specifica dei prompt di addestramento, faticando a generalizzare su diverse realizzazioni linguistiche (parafresi) della stessa entità.
• Incoerenza nell'Editing: I metodi di editing del modello basati sulla localizzazione, che modificano i parametri per specifici fatti, trattano tipicamente ogni input in modo indipendente. Quando applicati a molteplici prompt relativi alla stessa entità, queste ottimizzazioni indipendenti risultano in direzioni di editing incoerenti. Gli aggiornamenti per diversi fatti possono entrare in conflitto o cancellare solo parzialmente la conoscenza target, portando a "leakage" (perdite), dove il modello risponde ancora correttamente a query parafrasate.
• Danni Collaterali: Espandere il forget set per migliorare la copertura spesso provoca una sostanziale degradazione delle prestazioni del modello su fatti non correlati o entità strettamente correlate.

2. Metodologia: Consistency-Aware Editing (CAE)

Gli autori propongono il Consistency-Aware Editing (CAE), un framework che adatta le tecniche di editing dei modelli per un efficace unlearning a livello di entità. L'intuizione centrale è che la conoscenza a livello di entità è memorizzata nei moduli MLP (Multi-Layer Perceptron) del transformer, specificamente nei pesi di output ($W_{out}$). CAE affronta il problema dell'incoerenza ottimizzando congiuntamente gli aggiornamenti attraverso diversi prompt associati a un'entità target.

Componenti Chiave:

1. Aggregazione e Selezione dei Dati:

   • Il metodo recupera un set diversificato di fatti su un'entità target da Wikidata, convertendoli in prompt in linguaggio naturale ($T_e$).
   • Questi prompt vengono ulteriormente aumentati tramite parafrasi utilizzando un modello di generazione testuale per creare un set aumentato ($T_g$).
   • Selezione basata su SVD: Per evitare ridondanza e aggiornamenti conflittuali, i vettori chiave ($K_f$) derivati da questi prompt sono elaborati tramite Decomposizione ai Valori Singolari (SVD). Il metodo seleziona i primi-$r$ vettori chiave che catturano l'energia di proiezione più significativa, garantendo un sottoinsieme compatto e informativo per l'editing.

2. Ottimizzazione Consapevole della Coerenza (Consistency-Aware Optimization):

   • Invece di editare ogni prompt indipendentemente, CAE introduce un vincolo di coerenza.
   • Per ogni prompt $x_j$, un vettore residuo $\delta_j$ viene ottimizzato per sopprimere le associazioni fattuali dell'entità.
   • Una perdita di coerenza ($L_{Cons}$) viene aggiunta alla funzione obiettivo, la quale minimizza la varianza degli stati nascosti aggiornati ($h_j^L + \delta_j$) attraverso il set di prompt. Ciò forza tutti i residui ad allinearsi in una direzione comune, assicurando che l'aggiornamento dei parametri sia coerente attraverso tutte le parafrasi dell'entità.
   • L'obiettivo finale combina la perdita di log-likelihood negativa (per indurre incertezza, ad esempio, "Non lo so") con il regolarizzatore di coerenza.

3. Propagazione Multi-Layer:

   • I residui ottimizzati sono distribuiti attraverso i successivi strati per garantire che l'effetto di soppressione si propaghi attraverso la rete.
   • Un aggiornamento a basso rango (modifica rank-one) viene applicato alle matrici $W_{out}$ dei livelli MLP, eliminando efficacementamente la conoscenza dell'entità senza riaddestrare l'intero modello.

3. Contributi Chiave

1. Identificazione delle Limitazioni: Il paper rivela che i metodi di editing basati sulla localizzazione falliscono nell'unlearning a livello di entità a causa dell'incoerenza introdotta dall'editing indipendente di molteplici prompt associati alla stessa entità. Identifica inoltre che la conoscenza a livello di entità è memorizzata principalmente nei moduli MLP.
2. Nuovo Framework (CAE): Gli autori introducono un framework di editing consapevole della coerenza che ottimizza congiuntamente i fatti preziosi sotto un vincolo di coerenza. Ciò consente un unlearning coerente e completo di un'intera entità.
3. Selezione dei Fatti basata su SVD: Viene proposta una strategia per selezionare i fatti più preziosi per un'entità utilizzando la SVD, riducendo il numero di prompt richiesti pur massimizzando l'efficacia dell'unlearning.
4. Validazione Empirica: Il metodo è rigorosamente valutato su due benchmark impegnativi, RWKU (100 entità) e ToFU (20 entità), dimostrando prestazioni superiori rispetto agli existing baseline di unlearning ed editing.

4. Risultati Sperimentali

Gli autori hanno valutato CAE su LLaMA3-Instruct (8B) e LLaMA3.1-Instruct (8B), confrontandolo con metodi basati sul gradiente (GA, DPO, NPO), metodi basati su prompt (ICU, RepE) e metodi basati su editing (MEMIT, EMMET, AlphaEdit).

• Prestazioni di Dimenticanza (Forgetting Performance): CAE ha ottenuto i punteggi più bassi sui set di dimenticanza (indicando una rimozione efficace della conoscenza) attraverso probe di tipo Fill-in-the-Blank (FB), Question-Answer (QA) e Attacco Avversario (AA). Ad esempio, su RWKU con LLaMA3, CAE ha ottenuto un punteggio di dimenticanza "All" di 15.9, superando il miglior metodo di editing successivo (EMMET a 29.0) e i metodi basati sull'addestramento.
• Robustezza e Generalizzazione: CAE ha mantenuto alte prestazioni sui Neighbor Sets (fatti non correlati ma semanticamente vicini) e sui Utility Sets (capacità generali come MMLU, TruthfulQA). Ha ottenuto il Mean FN più alto (una metrica che bilancia la dimenticanza e la preservazione dei vicini), indicando un trade-off superiore tra l'erosione della conoscenza target e la ritenzione del contesto utile.
• Efficienza: CAE richiede significativamente meno esempi (anche solo 100, spesso meno) e meno risorse computazionali (una singola GPU da 40GB) rispetto agli approcci di full fine-tuning.
• Unlearning Sequenziale: Il metodo ha dimostrato stabilità nella rimozione di molteplici entità in sequenza, senza degradare le prestazioni di dimenticanza delle entità precedentemente rimosse.
• Studi di Ablazione:
  • Selezione del Token: L'editing del Last Subject Token (LST) si è dimostrato più efficace e stabile rispetto all'editing del Last Token (LT).
  • Peso della Coerenza: Il metodo è rimasto robusto attraverso diversi pesi per il vincolo di coerenza.
  • Fonte dei Dati: Il metodo si è generalizzato bene utilizzando dati sintetici generati da LLM invece di Wikidata.

5. Significato e Rivendicazioni

Il paper sostiene che l'Editing Consapevole della Coerenza rappresenti un avanzamento significativo nel campo dell'unlearning della conoscenza, colmando il divario tra l'editing a livello di istanza e il requisito più complesso dell'unlearning a livello di entità.

• Scalabilità: CAE offre una soluzione scalabile per rimuovere entità utilizzando solo decine di prompt accuratamente selezionati, evitando il costo computazionale del full retraining.
• Precisione: Allineando le direzioni di editing attraverso un vincolo di coerenza, CAE previene la "dimenticanza parziale" e il leakage della conoscenza comuni negli approcci di editing indipendente.
• Intuizione: Il lavoro fornisce approfondimenti su come la conoscenza a livello di entità sia rappresentata internamente negli LLM (principalmente nei MLP) e su come possa essere eliminata sistematicamente.

Gli autori concludono che CAE fornisce un trade-off più favorevole e stabile tra dimenticanza e ritenzione, rendendolo una direzione promettente per il deployment sicuro e responsabile degli LLM in cui specifiche entità devono essere completamente rimosse.