Revisiting the Past: Data Unlearning with Model State History

1. Enunciato del Problema

I Large Language Models (LLM) sono addestrati su massicci corpus web che spesso contengono dati privati, materiale protetto da copyright, disinformazione o dati di bassa qualità. Quando tali punti dati problematici devono essere rimossi per conformarsi a normative (ad esempio, il "Diritto all'Oblio") o per migliorare la qualità del modello, l'approccio standard — riaddestrare il modello da zero su un dataset che esclude questi punti — è computazionalmente proibitivo.

Gli algoritmi esistenti di Machine Unlearning tentano di approssimare questo riaddestramento modificando i pesi del modello a un costo inferiore. Tuttavia, questi metodi affrontano sfide significative:

• Sotto-dimenticanza: Il modello trattiene tracce dei dati da dimenticare.
• Degrado dell'Utilità: Il modello perde capacità sui dati che avrebbe dovuto conservare.
• Imprecisione: Il modello "dimenticato" non corrisponde funzionalmente a un "modello ideale" (uno addestrato da zero senza i dati target).
• Limitazione degli Approcci Correnti: La maggior parte dei metodi esistenti opera esclusivamente sul checkpoint finale del modello, tentando di invertire l'influenza dei dati utilizzando solo lo stato corrente, il che spesso porta a stime rumorose o distorte dell'influenza dei dati.

2. Metodologia: Aritmetica dello Stato del Modello (MSA)

Gli autori propongono MSA, un nuovo algoritmo di unlearning che sfrutta i checkpoint intermedi del modello (artefatti regolarmente archiviati dagli sviluppatori per la tolleranza ai guasti e la sperimentazione) per stimare e invertire con maggiore precisione l'influenza di specifici punti dati.

Concetto Chiave

Invece di calcolare un "vettore di dimenticanza" basato sul modello finale (che ha già interiorizzato i dati), MSA calcola il vettore basandosi su un checkpoint ($C$) che precede l'introduzione degli obiettivi di unlearning ($D_f$).

Passaggi dell'Algoritmo

1. Input: Un modello target $\theta_D$ (addestrato sui dati completi $D$), un checkpoint intermedio $\theta_0$ (addestrato sui dati $D \setminus D_f$) e l'insieme da dimenticare $D_f$.
2. Calcolo del Vettore di Dimenticanza ($\vec{\theta}_f$):
   • Si esegue il fine-tuning del checkpoint $\theta_0$ sull'insieme da dimenticare $D_f$ per ottenere un nuovo stato $\theta_1$.
   • Si calcola la differenza: $\vec{\theta}_f = \theta_1 - \theta_0$. Questo vettore rappresenta l'influenza pura di $D_f$ sui parametri del modello prima che il modello avesse altre conoscenze conflittuali.
3. Applicazione dell'Unlearning:
   • Si sottrae il vettore di dimenticanza dal modello target: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, dove $\alpha$ è un fattore di scala.
4. Vettore di Conservazione Opzionale ($\vec{\theta}_r$):
   • Se è disponibile un insieme di conservazione $D_r$, un vettore simile può essere calcolato eseguendo il fine-tuning di $\theta_0$ su $D_r$ per ottenere $\theta_2$, dove $\vec{\theta}_r = \theta_2 - \theta_0$.
   • L'aggiornamento finale diventa: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Insight Principale

Gli autori ipotizzano che i vettori derivati dal modello finale siano intrecciati con le conoscenze esistenti del modello, rendendoli stime povere dell'influenza specifica dei dati. Utilizzando un checkpoint "pulito" precedente all'osservazione dei dati, MSA isola l'effetto semantico dell'insieme da dimenticare in modo più efficace.

3. Contributi Chiave

• Nuovo Framework: Introduzione di MSA, che riutilizza i checkpoint di addestramento standard per l'unlearning dei dati post-hoc, spostando il paradigma da "solo stato finale" a "consapevole della storia degli stati".
• Nuove Metriche di Valutazione: Il paper critica le metriche standard come ROUGE-L per l'unlearning (che possono essere ingannate dalla similarità sintattica nonostante errori fattuali) e introduce metriche semantiche basate su GPT-4o:
  • Accforget: Misura se il modello evita con successo di generare la verità fondamentale per gli elementi dimenticati.
  • Accrecover: Misura se l'output del modello si allinea con il "modello ideale" (il modello che non ha mai visto i dati).
  • Accretain: Misura la preservazione della conoscenza sui dati non soggetti a dimenticanza.
• Benchmarking Completo: Valutazione su tre principali benchmark: TOFU (autori fittizi), RESTOR (ripristino di conoscenze corrotte da disinformazione) e MUSE-Books (memorizzazione di libri e privacy).
• Analisi di Robustezza: Dimostrazione che MSA rimane efficace anche quando il checkpoint utilizzato è centinaia di miliardi di token precedente all'obiettivo di unlearning, sebbene checkpoint più vicini producano risultati migliori.

4. Risultati Sperimentali

Gli autori hanno valutato MSA rispetto a baseline all'avanguardia (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) sui modelli OLMo-2-7B e Llama-3.1/3.2.

• Benchmark TOFU:
  • Le varianti di MSA (ad esempio, utilizzando checkpoint 3,6 trilioni di token precedenti) hanno ottenuto prestazioni competitive o superiori in tutte le metriche rispetto alle baseline.
  • A differenza delle baseline che spesso sacrificano l'utilità (Accretain) per ottenere la dimenticanza, o non riescono a recuperare il comportamento ideale (Accrecover), MSA ha bilanciato efficacemente tutti e tre gli obiettivi.
  • Ad esempio, sul task forget10, le varianti di MSA hanno ottenuto ~89% di Accforget e ~96% di Accrecover, mentre baseline come RMU avevano un'alta dimenticanza ma un recupero molto basso (rifiutandosi di rispondere invece di dimenticare).
• Benchmark RESTOR:
  • MSA ha superato significativamente le baseline nel ripristino di conoscenze corrotte da disinformazione.
  • Su Llama-3.1-8B, l'accuratezza del modello ideale era del 64,80%. Il modello corrotto è sceso al 44,31%. MSA ha recuperato l'accuratezza al 48,45% - 49,19%, mentre baseline come NPO e SatImp hanno recuperato solo fino a ~44-46%.
• Benchmark MUSE-Books:
  • MSA ha dimostrato prestazioni solide negli Attacchi di Inferenza dell'Appartenenza (MIN-K% e MIN-K%++), indicando che il modello dimenticato non riconosce più i libri dimenticati come parte dei suoi dati di addestramento.
  • Le varianti di MSA che utilizzano checkpoint più vicini (ad esempio, MSA3859B) hanno eguagliato o superato le prestazioni del modello ideale nelle metriche di fuga di informazioni sulla privacy.
• Distanza del Checkpoint:
  • Gli esperimenti hanno mostrato che, sebbene i checkpoint immediatamente precedenti l'insieme da dimenticare siano ottimali, i checkpoint centinaia di miliardi di token precedenti producono comunque risultati solidi, rendendo MSA pratico anche per modelli con checkpointing infrequente.

5. Significato e Conclusione

• Praticità: MSA offre una soluzione computazionalmente efficiente ($O(|D_f|)$) che utilizza artefatti (checkpoint) già presenti nelle pipeline standard di addestramento degli LLM, senza richiedere modifiche al processo di addestramento originale.
• Conformità Normativa: Fornisce una via praticabile per i fornitori di modelli per soddisfare le richieste di "Diritto all'Oblio" senza il costo del riaddestramento completo.
• Cambiamento Teorico: Il lavoro sfida l'assunzione secondo cui l'unlearning debba basarsi esclusivamente sullo stato finale del modello. Suggerisce che la storia degli stati del modello è una risorsa critica per la cancellazione precisa dei dati.
• Direzione Futura: Il paper sostiene che gli sviluppatori di modelli mantengano indici di quando i modelli incontrano informazioni specifiche durante l'addestramento, non solo per l'attribuzione, ma per abilitare tecniche di unlearning avanzate come MSA.

In sintesi, MSA rappresenta un avanzamento significativo nell'unlearning automatico sfruttando le dinamiche temporali dell'addestramento per ottenere una rimozione dei dati più precisa, che preserva l'utilità e sia funzionalmente fedele.