Sintesi Tecnica: Sull'importanza di molteplici semi di addestramento per la valutazione del Machine Unlearning

Definizione del Problema

Il machine unlearning mira a rimuovere l'influenza di specifici punti dati da un modello addestrato senza il costo proibitivo del riaddestramento completo. Sebbene l'unlearning esatto (riaddestramento da zero) sia il "gold standard", esso è spesso impraticabile. Di conseguenza, i ricercatori si affidano ad algoritmi di unlearning approssimativi (ad esempio, Random Labels, UNSIR, Bad Teacher, SSD, LFSSD). Poiché questi algoritmi sono spesso difficili da analizzare matematicamente, le loro prestazioni devono essere valutate empiricamente.

Una pratica prevalente nella letteratura consiste nel valutare questi metodi di unlearning eseguendo l'algoritmo di unlearning più volte in modo indipendente (utilizzando molteplici semi di unlearning) partendo da un singolo modello pre-addestrato (utilizzando un unico seme di addestramento). Questo articolo sostiene che tale strategia di valutazione è fallace. Nello specifico, le prestazioni dell'unlearning possono essere altamente sensibili al seme di addestramento iniziale. Fare affidamento su un singolo seme di addestramento può produrre risultati non rappresentativi, portando a conclusioni inattendibili sull'efficacia o sulla robustezza di un algoritmo. Questo problema è particolarmente acuto per i metodi di unlearning deterministici, che producono risultati identici quando partono dallo stesso modello, rendendo ridondanti in tali casi i molteplici semi di unlearning.

Metodologia

Gli autori propongono un quadro di valutazione empirica rigoroso che tiene conto della variabilità sia nella fase di addestramento che in quella di unlearning.

1. Procedura di Valutazione Generica

L'articolo formalizza una procedura di valutazione (Algoritmo 1) che prevede:

• $I$ Semi di Addestramento: Addestramento di $I$ modelli indipendenti da zero utilizzando distinti semi casuali.
• $J$ Semi di Unlearning: Per ogni modello addestrato, esecuzione dell'algoritmo di unlearning $J$ volte utilizzando distinti semi di unlearning.
• Aggregazione delle Metriche: Calcolo del valore medio delle metriche di unlearning (ad esempio, accuratezza di dimenticanza, accuratezza di ritenzione) su tutti i $I \times J$ modelli risultanti.

2. Analisi della Decomposizione della Varianza

Il contributo teorico centrale è una decomposizione della varianza della metrica di unlearning $Z$:
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
Dove:

• $\sigma^2_{\text{train}}$ è la varianza attribuibile alla scelta del seme di addestramento.
• $\sigma^2_{\text{unlearn}}$ è la varianza attribuibile alla scelta del seme di unlearning.
• $ICC$ (Coefficiente di Correlazione Intraclasse) è definito come $\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$.

L'analisi dimostra che se $\sigma^2_{\text{train}} > 0$ (ovvero, $ICC > 0$), aumentare il numero di semi di unlearning ($J$) non può stimare costantemente le prestazioni di unlearning; il numero di semi di addestramento ($I$) deve essere aumentato. L'articolo deriva strategie di allocazione ottimali per i budget computazionali per minimizzare la varianza o raggiungere una larghezza target dell'intervallo di confidenza, mostrando che dare priorità a $I$ è generalmente più efficace rispetto a dare priorità a $J$ quando la varianza di addestramento è significativa.

3. Correzioni di Implementazione

Gli autori hanno identificato e corretto un problema di implementazione nel codice di riferimento per SSD e LFSSD. L'implementazione originale utilizzava la media a livello di batch prima del quadrato, il che introduceva un bias nei punteggi di importanza dei parametri e introduceva non-determinismo tra i semi di unlearning. Gli autori hanno introdotto una versione "deterministica" (det.) che utilizza il calcolo dell'importanza a livello di campione non distorto, garantendo che questi metodi producano risultati identici per un dato seme di addestramento.

Risultati Sperimentali

Gli autori hanno condotto esperimenti estesi in tre domini: Classificazione di Immagini, Federated Online Learning-to-Rank (FOLTR) e Large Language Models (LLM).

Classificazione di Immagini (CIFAR-100, CIFAR-20)

• Analisi della Varianza: Utilizzando 75 semi di addestramento e 10 semi di unlearning, lo studio ha rilevato che per la maggior parte dei metodi (inclusi SSD, LFSSD, Bad Teacher e UNSIR), la varianza attribuibile ai semi di addestramento ($\sigma^2_{\text{train}}$) era significativamente maggiore della varianza dei semi di unlearning ($\sigma^2_{\text{unlearn}}$).
• Metodi Deterministici: Per le implementazioni corrette di SSD (det.) e LFSSD (det.), $\sigma^2_{\text{unlearn}}$ era effettivamente zero, confermando che molteplici semi di unlearning non forniscono alcuna informazione aggiuntiva se il seme di addestramento è fisso.
• Intervalli di Confidenza: I calcoli basati sull'Equazione 2 indicano che ottenere intervalli di confidenza stretti (ad esempio, larghezza $W=1$) richiede spesso centinaia o migliaia di semi di addestramento, mentre aumentare i semi di unlearning offre rendimenti decrescenti.

Federated Learning-to-Rank (FOLTR)

• Gli esperimenti sul dataset MQ2007 con 10 client hanno mostrato che la valutazione con un singolo seme di addestramento ($I=1, J=10$) produceva traiettorie non rappresentative della reale variabilità cross-seed.
• La valutazione attraverso molteplici semi di addestramento ($I=10, J=1$) ha rivelato una varianza sostanzialmente maggiore nelle prestazioni post-unlearning, confermando che il problema si estende ai compiti di ranking federato.

Large Language Models (LLM)

• Utilizzando Llama-3.2-1B-Instruct sul dataset TOFU, lo studio ha osservato una sostanziale varianza cross-seed sia nella Utilità del Modello che nella Qualità della Dimenticanza per metodi come GradAscent e Runlearning.
• I singoli semi di addestramento coprivano quasi l'intero intervallo di risultati possibili, rafforzando l'idea che le valutazioni con singolo seme siano insufficienti per caratterizzare il comportamento di unlearning degli LLM.

Contributi Chiave

1. Dimostrazione Empirica della Sensibilità al Seme di Addestramento: Il documento dimostra numericamente che le valutazioni con singolo seme di addestramento possono produrre risultati non rappresentativi nella classificazione di immagini, un reperto che si estende a FOLTR e LLM.
2. Giustificazione Teorica: Fornisce un'analisi di decomposizione della varianza che prova come l'aumento dei semi di unlearning non possa compensare la mancanza di semi di addestramento quando $\sigma^2_{\text{train}} > 0$.
3. Guida Pratica: Gli autori forniscono formule e tabelle (Tabelle 1 e 2) per guidare i ricercatori nell'allocazione delle risorse computazionali tra le ripetizioni di addestramento e di unlearning per raggiungere la desiderata confidenza statistica.
4. Correzioni di Implementazione: Il documento corregge il comportamento non deterministico nelle implementazioni di riferimento di SSD e LFSSD, distinguendo tra le versioni originali ("orig.") e quelle aggiornate deterministiche ("det.").

Significatività e Rivendicazioni

Il documento sostiene che la pratica comune di utilizzare un singolo seme di addestramento con molteplici semi di unlearning porta a valutazioni inattendibili dei metodi di machine unlearning. Gli autori affermano che:

• Affidabilità: Una valutazione accurata richiede la media su molteplici semi di addestramento, poiché la variabilità introdotta dall'inizializzazione dell'addestramento spesso domina la variabilità introdotta dal processo di unlearning.
• Generalizzabilità: Questa limitazione non è specifica della classificazione di immagini, ma è una proprietà generale del framework di valutazione, osservata nel learning federato e negli LLM.
• Fattibilità: Nonostante l'alto costo dell'addestramento, l'uso di molteplici semi di addestramento rimane fattibile anche per gli LLM (ad esempio, addestrare un modello Llama-3.2-1B richiede circa dieci minuti), rendendo pratico il rigore della valutazione proposta.

Il lavoro estende i risultati precedenti (ad esempio, Cadet et al., Triantafillou et al.) aumentando la scala dei semi di addestramento utilizzati (75 contro 10), spiegando esplicitamente perché i molteplici semi di unlearning non riescono a compensare i singoli semi di addestramento e fornendo linee guida concrete per il design sperimentale.