Go Beyond Your Means: Unlearning with Per-Sample Gradient Orthogonalization

Il paper presenta OrthoGrad, un nuovo metodo di disapprendimento automatico che proietta i gradienti dei dati da rimuovere nello spazio ortogonale ai gradienti di un piccolo insieme di dati di ritenzione, permettendo così di eliminare concetti specifici senza compromettere le prestazioni del modello anche quando l'intero dataset di addestramento non è disponibile.

L'essenziale

Immagina di aver addestrato un assistente personale molto intelligente (come un modello di intelligenza artificiale) leggendo milioni di libri, ascoltando ore di conversazioni e guardando milioni di foto. Questo assistente è diventato bravissimo a fare il suo lavoro.

Poi, succede un problema: ti rendi conto che tra tutti quei dati c'è qualcosa che non dovresti aver visto. Magari è una foto privata di un vicino, un codice sorgente protetto da copyright, o una registrazione vocale di qualcuno che vuole essere "dimenticato". La legge o l'etica ti dicono: "Devi rimuovere questa informazione dal tuo assistente, ma senza fargli perdere la capacità di fare tutto il resto!"

Questo è il problema dell'"Machine Unlearning" (dimenticare le macchine).

Il Problema: Il Bilancino Instabile

Fino a poco tempo fa, il modo per risolvere questo problema era come cercare di bilanciare un bilancino su una corda.

• Da un lato, dovevi spingere l'assistente a non ricordare più i dati cattivi (salire su una collina).
• Dall'altro, dovevi spingerlo a ricordare tutto il resto (scendere in una valle).

Il problema è che spesso non hai più a disposizione l'intero "libro" originale con cui è stato addestrato. Hai solo una piccola parte di quel libro (un "set di ritenzione") per fargli da guida. Se provi a bilanciare spingendo e tirando su una corda così sottile (con pochi dati di riferimento), l'assistente finisce per cadere: dimentica tutto, anche quello che doveva sapere, oppure non dimentica davvero quello che doveva cancellare.

La Soluzione: OrthoGrad (La Tecnica del "Passo Laterale")

Gli autori di questo paper, Aviv Shamsian e il suo team, hanno inventato un metodo chiamato OrthoGrad. Immaginalo non come un bilancino, ma come un danzatore esperto.

Ecco come funziona, passo dopo passo:

1. Analizza la "Danza" dei Dati Giusti:
   Prima di toccare i dati da cancellare, OrthoGrad guarda i pochi dati che vuole mantenere (il set di ritenzione). Non guarda la "media" di questi dati (come facevano i metodi vecchi), ma osserva ogni singolo dato come se fosse un passo di danza specifico.

   • Metafora: Immagina di voler camminare in una stanza piena di persone (i dati buoni) senza urtarle. Invece di guardare la folla come un blocco unico, OrthoGrad nota esattamente dove si trova ogni singola persona.

2. Crea uno Spazio Sicuro (Il Piano Orizzontale):
   Il metodo calcola uno "spazio" matematico (un piano) che è perfettamente perpendicolare (ortogonale) a tutti i passi di danza dei dati buoni.

   • Metafora: Se i dati buoni ti spingono verso Nord, Est e Sud, OrthoGrad ti dice: "Ok, non spingiamo verso Nord, Est o Sud. Muoviamoci solo verso l'alto o verso il basso (o lateralmente), in una direzione che non tocca assolutamente nessuno dei dati buoni".

3. Il Passo Laterale:
   Quando deve cancellare i dati cattivi, OrthoGrad non spinge l'assistente in una direzione che lo costringe a scontrarsi con i dati buoni. Invece, proietta la spinta per cancellare esattamente in quella direzione "sicura" e laterale.

   • Risultato: L'assistente dimentica i dati cattivi (perché si muove in quella direzione), ma non tocca per niente la sua conoscenza dei dati buoni, perché si è mosso in un piano che non li interseca.

Perché è Geniale?

• Funziona anche con pochi dati: I metodi precedenti avevano bisogno di un "libro" enorme per fare la media. OrthoGrad, guardando ogni singolo dato (per-sample), riesce a trovare la strada sicura anche se ha solo una manciata di pagine di riferimento.
• È preciso: Non è un "tentativo ed errore". È una mossa geometrica calcolata per non disturbare nulla.
• È veloce: Usando una tecnica chiamata LoRA (che è come mettere un "adesivo intelligente" sul modello invece di riscriverlo tutto intero), il processo è molto più leggero e veloce.

In Sintesi

Immagina di dover cancellare una macchia di inchiostro da un muro bianco, ma hai paura di rovinare il bel quadro che c'è appeso accanto.

• I vecchi metodi: Provavano a strofinare il muro con un panno bagnato, sperando che l'inchiostro venisse via senza toccare il quadro. Spesso rovinavano il quadro o non toglievano la macchia.
• OrthoGrad: Guarda il quadro, capisce esattamente la sua forma, e poi usa un panno che si muove solo in una direzione parallela al muro, ma che non tocca mai il quadro. La macchia sparisce, il quadro resta intatto, e tutto è successo in un attimo.

Questo metodo permette di rispettare la privacy e le leggi sul copyright anche quando non abbiamo accesso all'intero archivio originale dei dati, rendendo l'IA più sicura e rispettosa.

Sommario tecnico

Titolo: OrthoGrad: Unlearning con Ortogonalizzazione dei Gradienti per Campione

1. Il Problema: Machine Unlearning con Dati di Ritenzione Limitati

Il Machine Unlearning (apprendimento non appreso) mira a rimuovere l'influenza di specifici dati problematici (es. dati illegali, violazioni della privacy, o contenuti proprietari) da un modello già addestrato, senza comprometterne le prestazioni generali sui dati rimanenti.

La sfida principale affrontata in questo lavoro è il regime a bassa disponibilità di dati (low-data regime). Spesso, quando si desidera rimuovere concetti da un modello fondazionale (es. Whisper, modelli di visione), il dataset di addestramento originale non è disponibile. Gli operatori hanno accesso solo a una piccola frazione di dati di addestramento (insieme di retain) o a dataset proxy distribuiti diversamente.

• Limitazione degli approcci esistenti: La maggior parte dei metodi attuali bilancia l'ascesa del gradiente sui dati da dimenticare (unlearn set) con la discesa del gradiente sull'insieme di ritenzione (retain set). Tuttavia, questi metodi tendono a lavorare sulla media dei gradienti dell'insieme di ritenzione. Quando l'insieme di ritenzione è piccolo, la media non cattura sufficientemente la struttura dello spazio dei parametri, portando a interferenze distruttive e a un degrado delle prestazioni del modello.

2. Metodologia: OrthoGrad

Gli autori propongono OrthoGrad, un nuovo algoritmo che affronta l'interferenza tra i dati da dimenticare e quelli da mantenere attraverso una prospettiva geometrica basata sui gradienti per campione (per-sample gradients).

Concetti Chiave:

• Geometria dell'Unlearning: L'obiettivo ideale è modificare i pesi del modello per degradare le prestazioni sui dati da dimenticare, mantenendo invariate le prestazioni sui dati di ritenzione. Matematicamente, questo corrisponde a muoversi lungo una varietà (manifold) definita dai punti in cui la loss sui dati di ritenzione è costante.
• Ortogonalizzazione: Invece di contrastare direttamente i gradienti di ritenzione (come fanno i metodi basati sulla media), OrthoGrad proietta il gradiente di unlearning sullo spazio ortogonale ai gradienti di tutti i singoli campioni nell'insieme di ritenzione.
  • Se $g_u$ è il gradiente da dimenticare e $G_r = [g_{r1}, g_{r2}, ..., g_{rk}]$ è la matrice dei gradienti per campione dell'insieme di ritenzione, il metodo calcola una base ortonormale $Q$ di $G_r$ (tramite decomposizione QR).
  • Il gradiente aggiornato $g_u^\perp$ è ottenuto sottraendo la proiezione di $g_u$ sullo spazio spanned da $Q$:
    $$g_u^\perp = g_u - \sum_{i=1}^k \langle g_u, q_i \rangle q_i$$
• Aggiornamento Ibrido: L'aggiornamento finale combina il gradiente di ritenzione medio ($\bar{g}_r$) e il gradiente ortogonalizzato:
  $$g = \alpha \bar{g}_r - (1 - \alpha) g_u^\perp$$
  dove $\alpha$ è un iperparametro che bilancia il mantenimento delle conoscenze e l'oblio.
• Efficienza (LoRA): Per ridurre il costo computazionale e l'uso di memoria, OrthoGrad integra l'aggiornamento dei pesi utilizzando LoRA (Low-Rank Adaptation), limitando le modifiche a un sottospazio a basso rango, il che riduce drasticamente i FLOPs e la memoria GPU necessaria.

3. Contributi Principali

1. Nuovo Algoritmo (OrthoGrad): Un metodo specifico per scenari con pochi dati di ritenzione, che evita di affidarsi alla media dei gradienti, sfruttando invece la struttura completa dei gradienti per campione.
2. Motivazione Teorica: Fornisce una giustificazione geometrica basata sulla proiezione del gradiente sullo spazio tangente alla varietà dei parametri che preservano la loss di ritenzione.
3. Validazione Sperimentale Estesa: Dimostrazione dell'efficacia su dataset e modalità diverse (Classificazione di Immagini su ImageNet/CIFAR-10 e Riconoscimento Vocale Automatico - ASR su LibriSpeech/Whisper), superando gli stati dell'arte in scenari di dati limitati.

4. Risultati Sperimentali

Gli esperimenti confrontano OrthoGrad con metodi baselines come NegGrad+, SCRUB, GDR-GMA, DUCK, SCAR e SSD.

• Riconoscimento Vocale (ASR - Whisper):

  • In un compito di "speaker unlearning" (rimuovere la voce di un parlante specifico), OrthoGrad ha ottenuto un WER (Word Error Rate) di test significativamente inferiore rispetto ai competitor.
  • Mentre metodi come NegGrad+ e SCRUB hanno mostrato un alto WER di test (dovuto a un forte impatto negativo sulla generalizzazione), OrthoGrad ha mantenuto le prestazioni generali vicine al modello pre-addestrato, pur dimenticando efficacemente il parlante target.
  • L'ablation study ha confermato che l'uso dei gradienti per campione (invece della media) e l'uso di LoRA sono cruciali per la stabilità e le prestazioni.

• Classificazione di Immagini (ImageNet/CIFAR-10):

  • OrthoGrad ha mostrato la migliore Unlearning Impact Score (UIS) (un metrico che bilancia l'efficacia dell'oblio e il mantenimento delle prestazioni) sia nell'oblio casuale che nell'oblio per classe.
  • È risultato robusto anche quando l'insieme di ritenzione era molto piccolo (es. 1K campioni) o proveniva da una distribuzione diversa (proxy-retain setting con CINIC-10).
  • Altri metodi (es. SSD, SCAR) hanno fallito o mostrato instabilità quando i dati di ritenzione erano scarsi o quando si richiedeva l'inversione di matrici di grandi dimensioni.

• Efficienza Computazionale:

  • Nonostante il calcolo dei gradienti per campione richieda più memoria, l'uso di LoRA riduce i FLOPs di circa il 40% e il costo della decomposizione QR di un fattore ~98x rispetto all'uso di gradienti su modelli completi. OrthoGrad rimane competitivo in termini di tempo di esecuzione rispetto ad altri metodi iterativi.

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve un collo di bottiglia pratico nell'implementazione del machine unlearning nel mondo reale: la mancanza di accesso ai dati di addestramento originali.

• Applicabilità Reale: OrthoGrad permette di applicare l'unlearning a modelli fondazionali (come quelli usati per GitHub Copilot o Whisper) anche quando l'azienda non possiede il dataset completo, ma solo una piccola porzione di dati o dati proxy.
• Superiorità Geometrica: Dimostra che trattare l'insieme di ritenzione come un insieme di vincoli individuali (gradienti per campione) è superiore all'approccio statistico basato sulla media, specialmente in regimi di dati scarsi.
• Privacy e Compliance: Offre una soluzione tecnica robusta per soddisfare richieste di "diritto all'oblio" (GDPR) o per rimuovere contenuti dannosi senza dover riaddestrare il modello da zero (costoso) o degradarne le capacità generali.

In sintesi, OrthoGrad rappresenta un avanzamento fondamentale nella gestione dell'oblio dei dati, trasformando un vincolo pratico (pochi dati di ritenzione) in un'opportunità per un'apprendimento più preciso e geometricamente informato.