Riepilogo Tecnico: Campionamento Standard vs. Modulare: Best Practice per un Unlearning di LLM Affidabile

Definizione del Problema

I Large Language Models (LLM), addestrati su vasti dataset estratti dal web, spesso memorizzano informazioni sensibili, inclusi dati personali e contenuti protetti da copyright. Sebbene l'LLM Unlearning (disimparazione degli LLM) sia emerso come una tecnica per rimuovere conoscenze specifiche preservando l'utilità generale del modello, il campo manca di best practice standardizzate e basate sull'evidenza per la costruzione dei dataset e le strategie di campionamento.

Gli attuali benchmark e le metodologie soffrono di due carenze primarie:

1. Composizione del Retain Set: La maggior parte dei lavori esistenti si affida a un unico tipo di "neighbor set" (connessioni dirette o indirette con il target da dimenticare) combinato con un pool di conoscenza generale. Ciò non riflette le complesse relazioni multifaccettate presenti nei dati reali.
2. Strategie di Campionamento: Il campo si affida pesantemente a standard de facto come il campionamento 1:1 (corrispondenza di un campione da dimenticare con un campione da mantenere per ogni epoca) o il campionamento ciclico (iterazione attraverso tutti i campioni da mantenere ciclando attraverso i target da dimenticare). L'efficacia e la stabilità di queste euristiche non sono state esaminate criticamente, rischiando di oscurare i compromessi sulle prestazioni e di introdurre rischi nascosti come il forgetting catastrofico o l'instabilità.

Metodologia

Gli autori hanno condotto una valutazione sistematica per stabilire le best practice per l'LLM Unlearning, concentrandosi sull'Unlearning a livello di Entità (rimozione di tutta la conoscenza relativa a una specifica entità, ad esempio, una persona).

1. Costruzione del Dataset (Extended WPU)

Lo studio ha utilizzato il dataset Wikipedia Person Unlearning (WPU), che presenta figure meno popolari per simulare scenari di unlearning realistici. Gli autori hanno esteso questo dataset includendo:

• Direct Neighbor Set ($N_d$): Entità direttamente collegate al target da dimenticare (ad esempio, luogo di nascita, famiglia).
• Indirect Neighbor Set ($N_{ind}$): Entità che condividono relazioni semantiche o contestuali (ad esempio, stessa professione, periodo storico), generate utilizzando un modello LLaMA 3.3 70B per trovare professioni simili per le entità target.
• Similitudine Sintattica ($N_s$): Assicurare che le coppie Q&A nel retain set condividessero strutture sintattiche interrogative con i target da dimenticare per controllare l'influenza sintattica.
• Test Set ($D_t$): Un mix bilanciato di restanti vicini indiretti e campioni di conoscenza generale per valutare l'Utilità del Modello.

2. Setup Sperimentale

Gli autori hanno effettuato il fine-tuning di LLaMA 3.1 8B Instruct e valutato tre algoritmi di unlearning:

• Gradient Difference (GD) e Negative Preference Optimization (NPO) per l'unlearning non mirato.
• Direct Preference Optimization (DPO) per l'unlearning mirato.

Hanno confrontato sette impostazioni distinte combinando pratiche di dati e strategie di campionamento:

• Pratiche di Dati: Limitare il retain set solo ai Vicini Diretti (Direct Neighbors), solo ai Vicini Indiretti (Indirect Neighbors), o a un mix Bilanciato di entrambi.
• Pratiche di Campionamento:
  • 1:1 Sequenziale: Corrispondenza dei primi campioni da mantenere con i campioni da dimenticare.
  • 1:1 Casuale: Selezione casuale di un numero uguale di campioni da mantenere per epoca.
  • Ciclico: Ciclo attraverso l'intero pool di campioni da mantenere mentre si itera attraverso i target da dimenticare.
  • Modular Entity-Level Unlearning (MELU): Una strategia proposta in cui ogni target da dimenticare è accoppiato solo con campioni appartenenti alla stessa specifica entità, evitando accoppiamenti non correlati.

3. Metriche di Valutazione

Le prestazioni sono state misurate tramite:

• Forget Efficacy (FE): Calcolata come $1 - \text{Media Aritmetica}$ di ROUGE-L, Probabilità Condizionale e Similarità del Coseno sul set da dimenticare.
• Model Utility (MU-T): Media armonica delle stesse metriche sul test set.
• Diversità dei Token: Misurata tramite Distinct-N per rilevare il collasso o la degenerazione del modello.
• Conoscenza Generale: Punteggi MMLU per valutare l'integrità globale del modello.

Contributi Chiave

1. Analisi Critica delle Pratiche di Dati: Lo studio dimostra che affidarsi a un singolo neighbor set è subottimale. Un retain set diversificato (combinando vicini diretti e indiretti) è cruciale per bilanciare la Forget Efficacy e la Model Utility.
2. Inefficienza del Campionamento 1:1: Gli autori hanno scoperto che il campionamento 1:1 standard (sia sequenziale che casuale) è inefficiente, producendo scarsi risultati di dimenticanza e non riuscendo a sfruttare appieno il potenziale del retain set.
3. Proposta di MELU: Il paper introduce il Modular Entity-Level Unlearning (MELU), una strategia di campionamento strutturata in cui i target da dimenticare sono accoppiati esclusivamente con i rispettivi campioni specifici dell'entità. Questo approccio si è dimostrato più stabile ed efficace rispetto al convenzionale campionamento ciclico.

Risultati

• Composizione dei Dati:

  • Diretti vs. Indiretti: I metodi basati sul gradiente (GD) hanno mostrato una maggiore Forget Efficacy con i Vicini Diretti, ma hanno subito cali significativi nella Model Utility. Al contrario, i Vicini Indiretti hanno preservato meglio la Model Utility, ma hanno talvolta prodotto una minore Forget Efficacy per i metodi basati sul gradiente.
  • Set Bilanciati: Sebbene un set bilanciato non abbia sempre massimizzato entrambi i parametri simultaneamente, ha fornito un compromesso necessario, prevenendo l'estrema perdita di utilità osservata con i set solo Diretti.
  • Diversità dei Token: I set Indiretti e Bilanciati hanno generalmente mantenuto una maggiore diversità di token rispetto ai set Diretti, che spesso portavano alla degenerazione del modello (specialmente con GD).

• Strategie di Campionamento:

  • Campionamento 1:1: Ha costantemente fallito nel produrre una dimenticanza significativa in tutti gli algoritmi, indipendentemente dal numero di epoche.
  • Ciclico vs. MELU: Sia il Ciclico che il MELU hanno superato significativamente il campionamento 1:1.
  • Superiorità di MELU: MELU ha dimostrato una stabilità superiore. Sotto DPO, ha aumentato la Forget Efficacy del 12% rispetto al campionamento Ciclico mantenendo un'alta Model Utility. Per i target difficili (ad esempio, "Ted Kooser"), MELU ha raggiunto una Forget Efficacy > 0.50, mentre il campionamento 1:1 è fallito (< 0.10).
  • Stabilità: MELU ha fornito un segnale di apprendimento più coerente riducendo la varianza causata da coppie forget-retain non correlate, portando a punteggi MMLU e diversità dei token stabili.

Significato e Rivendicazioni

Il paper sostiene che la composizione del retain set e la scelta della strategia di campionamento sono fattori critici, sebbene spesso trascurati, nell'Unlearning degli LLM. Gli autori affermano che:

• Affidarsi a singoli neighbor set o allo standard di campionamento 1:1 introduce rischi nascosti e limiti di prestazione.
• La strategia proposta MELU, combinata con algoritmi robusti, offre una via chiara e stabile verso un unlearning efficace.
• Il lavoro fornisce una prima base di evidenze per le best practice, esortando la comunità a muoversi verso dataset di benchmark più diversificati e realistici e tecniche di campionamento strutturate piuttosto che affidarsi a semplici euristiche.

Gli autori rimangono modesti riguardo alle loro affermazioni, riconoscendo limitazioni come l'uso di un "modello sorella" per la generazione del dataset (che potrebbe limitare la generalizzabilità tra le famiglie di modelli) e la mancanza di un'analisi approfondita delle ragioni teoriche dietro la stabilità di MELU rispetto al campionamento Ciclico. Posizionano questo lavoro come un passo verso l'instaurazione di protocolli rigorosi per la futura ricerca sull'unlearning.