Sintesi Tecnica: PREUNLEARN: Audit del Danno alla Conoscenza Collaterale prima dell'Unlearning di Large Language Models

1. Definizione del Problema

L'unlearning per i Large Language Models (LLM) mira a rimuovere conoscenze specifiche, sensibili o dannose (il "forget set") preservando al contempo l'utilità generale del modello. Tuttavia, il confine tra la conoscenza da dimenticare e quella da mantenere è spesso sfumato a causa dell'entanglement di informazioni correlate e distanti all'interno dei parametri del modello.

Le attuali pratiche di valutazione si affidano spesso a metriche di utilità aggregate o a limitati test post-hoc, che non riescono a catturare la propagazione granulare del danno. Nello specifico, i benchmark esistenti spesso assumono un forget set fisso e non caratterizzano adeguatamente come gli effetti dell'unlearning si propaghino dal set target verso la conoscenza dello stesso dominio e, ulteriormente, verso la conoscenza di domini distanti. Di conseguenza, rimangono inesplorate due questioni critiche:

1. RQ.1: Come l'unlearning impatta la diffusione dal forget set $X$ verso la conoscenza dello stesso dominio e verso la conoscenza di domini distanti $Y$?
2. RQ.2: È possibile prevedere il potenziale danno collaterale sulla conoscenza $Y$ derivante dall'unlearning di $X$ prima che il processo di unlearning venga eseguito?

2. Metodologia

2.1 Framework di Impatto dell'Unlearning a Tre Livelli

Gli autori propongono un framework di valutazione centrato sui dati che organizza la degradazione della conoscenza post-unlearning in tre livelli semantici rispetto a un forget set $D_f$:

• L1 (Degradazione Intesa): Performance sul forget set $D_f$ stesso.
• L2 (Danno del Stesso Dominio): Performance su passaggi semanticamente vicini al dominio di forget.
• L3 (Danno di Dominio Distante): Performance su passaggi provenienti da altri domini semantici non correlati.

L'impatto è quantificato utilizzando il Rapporto di Perplessità (PPL): $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$, dove $M^*_\theta$ è il modello unlearned e $M_\theta$ è il modello originale. Un rapporto $>1.0$ indica una degradazione delle performance.

2.2 Setup Sperimentale

• Dataset: WikiText-103, elaborato in 10 cluster semantici ben separati. Sono stati costruiti 100 dataset di unlearning, ciascuno contenente split di forget e retain disgiunti.
• Modelli: Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct.
• Algoritmi: Sono stati valutati tre distinti metodi di unlearning:
  • Gradient Ascent (GA)
  • Negative Preference Optimization (NPO)
  • Unlearning tramite Self-Distillation su Adjusted Logits (UNDIAL)

2.3 Formulazione dell'Audit Pre-Unlearning

Il paper formula l' "audit del forget-set" come un problema di regressione supervisionata. L'obiettivo è prevedere il rapporto di danno collaterale ($\rho_{f,e}$) per una coppia composta da un candidato forget set ($D_f$) e un set di valutazione ($D_e$) prima che avvenga qualsiasi aggiornamento del modello.

• Variabile Target: $\rho_{f,e} = \frac{\log(\text{PPL}_{after, e} / \text{PPL}_{before, e})}{\log(\text{PPL}_{after, f} / \text{PPL}_{before, f})}$. Questo normalizza la degradazione sul set di valutazione rispetto alla forza di dimenticanza ottenuta.
• Feature di Input: L'auditor utilizza solo feature pre-aggiornamento ($\phi(D_f, D_e, M_\theta)$) e non ha accesso a gradienti, checkpoint o misurazioni post-unlearning. Le feature sono categorizzate in:
  1. Feature Intrinseche: Proprietà di $D_f$ e $D_e$ indipendentemente (es. lunghezza, diversità, dimensionalità).
  2. Feature di Interazione: Relazioni geometriche tra i due set (es. distanza euclidea dei centroidi, similarità del coseno, rapporti lessicali).
• Modelli: Ridge Regression, Random Forests e XGBoost sono stati addestrati per prevedere $\rho_{f,e}$.
• Valutazione: L'auditor è stato testato utilizzando la Leave-One-Domain-Out (LODO) cross-validation e un test su un dominio semantico completamente tenuto fuori per garantire la generalizzazione oltre le specifiche identità di dominio.

3. Risultati Chiave

3.1 Pattern di Impatto a Tre Livelli (RQ.1)

• Pattern di Decadimento: È stato osservato un pattern di decadimento coerente attraverso tutte le combinazioni di modelli e algoritmi: $L1 > L2 > L3$. L'impatto dell'unlearning è più forte sul forget set, più debole sulla conoscenza dello stesso dominio e più debole (ma comunque presente) sulla conoscenza di domini distanti.
• Dipendenza dall'Algoritmo: L'entità del danno varia significativamente per algoritmo. Gradient Ascent (GA) ha prodotto l'impatto più aggressivo (aumento del rapporto PPL fino a $12.85\times$), mentre NPO e UNDIAL sono rimasti nell'intervallo $1.05\text{--}1.65\times$.
• Variabilità del Forget Set: Anche con iperparametri e algoritmi fissi, diversi forget set inducono profili di impatto sostanzialmente differenti. Questa variazione suggerisce che la scelta del forget set stesso è una decisione di design critica.
• Separazione Distribuionale: Le distribuzioni di degradazione per L1, L2 e L3 sono chiaramente separate, sebbene L3 presenti una "coda destra", indicando che possono verificarsi gravi danni collaterali anche su domini distanti.

3.2 Performance dell'Audit Pre-Unlearning (RQ.2)

• Prevedibilità: Il compito di audit è fattibile. I migliori regressori hanno raggiunto correlazioni di rango di Spearman ($\rho$) fino a 0.93 (GA) e 0.90 (UNDIAL) sotto LODO cross-validation. Le performance sono rimaste informative ($\rho \geq 0.51$) anche per l'obiettivo NPO, più difficile.
• Importanza delle Feature: I segnali predittivi più forti sono le feature di interazione tra il forget set e il set di valutazione, specificamente:
  • Distanza euclidea dei centroidi (correlazione negativa con il danno).
  • Similarità del coseno dei centroidi (correlazione positiva).
  • Rapporti lessicali e di lunghezza tra i set.
  • Le proprietà intrinseche dei set da sole erano meno predittive rispetto alla loro relazione geometrica.
• Stabilità: La qualità del ranking dell'auditor è rimasta stabile attraverso diversi algoritmi di unlearning, suggerendo che il danno collaterale è in parte determinato dal preesistente accoppiamento geometrico tra i dataset.
• Sensibilità: L'auditor ha risposto correttamente ai cambiamenti nella composizione del rischio dei set di valutazione, distinguendo tra blocchi ad alto rischio e a basso rischio piuttosto che reagire al rumore casuale.

4. Significato e Claim

Il paper posiziona l'audit del forget-set come uno strumento di allerta precoce piuttosto che un sostituto della valutazione completa. I suoi principali contributi e la sua importanza sono:

1. Caratterizzazione Granulare: Stabilisce un framework a tre livelli dimostrando che il danno da unlearning non è confinato al target ma decade con la distanza semantica, persistendo anche attraverso i confini di dominio.
2. Screening Preventivo del Rischio: Dimostra che il danno collaterale può essere predetto utilizzando solo la geometria dei dati (feature di interazione) prima che venga eseguita qualsiasi ottimizzazione costosa di unlearning.
3. Triage Pratico: L'auditor consente ai professionisti di dare priorità alle sessioni di unlearning rischiose, allocare i budget dei dati di mantenimento ai domini vulnerabili o rifiutare precocemente candidati di forget-set ad alto rischio nel pipeline.
4. Insight Centrato sui Dati: Le scoperte suggeriscono che il danno collaterale non è solo funzione della meccanica dell'algoritmo di unlearning, ma è significativamente influenzato dalla relazione geometrica tra i dati da dimenticare e i dati da mantenere.

Gli autori notano con modestia alcuni limiti, tra cui il fatto che lo studio copre un sottoinsieme di algoritmi e modelli di unlearning, e che la perplessità funge da proxy per la degradazione del comportamento. Concludono che, sebbene l'auditor non sostituisca la valutazione finale, trasforma il processo da una pura misurazione post-hoc a un problema di ranking guidato dal rischio e più economico.