🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

Il documento introduce LoTUS, un metodo di machine unlearning nuovo ed efficiente che elimina l'influenza dei campioni di addestramento dai modelli pre-addestrati livellando le probabilità di predizione verso un limite informativo, superando così i baseline allo stato dell'arte sia su dataset standard che su larga scala senza richiedere il riaddestramento.

Autori originali: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno studente molto intelligente che ha imparato a memoria un libro di testo enorme. Questo studente è così bravo che può recitare fatti specifici su ogni singola pagina. Ma ora, immagina una situazione in cui alcune pagine di quel libro sono state scritte da qualcuno che vuole rimanere anonimo, o forse quelle pagine contengono informazioni sensibili che devono essere eliminate.

Vuoi che lo studente "dimentichi" completamente quelle pagine specifiche, come se non le avesse mai viste, senza dover rimandare lo studente a scuola per rileggere l'intero libro da capo. Questo è il problema dell'Unlearning (disimparamento) delle macchine.

Il documento presenta un nuovo metodo chiamato LoTUS (Logits Tempering Unlearning Strategy) per risolvere questo problema. Ecco come funziona, usando analogie semplici:

Il Problema: Lo Studente "Troppo Sicuro di Sé"

I modelli di deep learning (come lo studente) spesso "memorizzano" dettagli specifici dei dati su cui sono stati addestrati. Se mostri loro l'immagine di un gatto con una cicatrice unica, non imparano solo "gatto"; imparano "gatto con quella specifica cicatrice".

A causa di questa memorizzazione, il modello diventa troppo sicuro di sé (over-confident). Dice: "Sono sicuro al 99,9% che questo sia proprio quel gatto specifico!". Questo è pericoloso perché rivela che il modello ha già visto quella specifica immagine prima. Gli hacker possono usare questa eccessiva sicurezza per capire se la foto di una persona specifica era presente nei dati di addestramento (un attacco alla privacy).

La Soluzione: LoTUS (La Strategia di "Raffreddamento")

Invece di riaddestrare l'intero modello (che è come far rileggere l'intera biblioteca allo studente), LoTUS "raffredda" delicatamente la fiducia del modello sulle immagini specifiche che deve dimenticare.

Pensa all'output del modello come a un raggio laser caldo e affilato. LoTUS trasforma quel laser in un riflettore morbido e diffuso.

Levigatura delle Probabilità: Il metodo prende le predizioni del modello per le immagini da "dimenticare" e le rende meno certe. Distribuisce la fiducia in modo che il modello non sia più così sicuro di quei dettagli specifici.
L'Obiettivo del "Gold Standard": L'obiettivo è far sì che il modello agisca su quelle immagini da "dimenticare" esattamente come avrebbe agito se non le avesse mai viste. Se non avesse mai visto il "gatto con la cicatrice", sarebbe meno sicuro di esso. LoTUS costringe il modello a essere meno sicuro, imitando quello stato di "non aver mai visto".
La Manopola della Temperatura: Il metodo utilizza un'impostazione di "temperatura" (come un termostato).
- Se il modello è ancora troppo sicuro (troppo caldo), il sistema alza la temperatura per rendere le predizioni più casuali e incerte.
- Se il modello diventa troppo confuso (troppo freddo), il sistema abbassa la temperatura per affilare nuovamente il focus.
- Regola costantemente questa manopola finché il comportamento del modello su quelle immagini da "dimenticare" non corrisponde al comportamento di un modello che non le ha mai viste.

Il Nuovo Strumento: Il "Voto Senza Ristudio"

Di solito, per dimostrare che hai fatto dimenticare qualcosa a uno studente, devi rimandarlo a scuola, riinsegnargli tutto senza le pagine cattive, e confrontare le due versioni. Questo è costoso e lento.

Gli autori hanno inventato un nuovo modo per controllare il lavoro chiamato RF-JSD (Retrain-Free Jensen-Shannon Divergence).

L'Analogia: Invece di riinsegnare allo studente e confrontare le due versioni, guardi semplicemente le risposte attuali dello studente e le confronti con una "scatola misteriosa" di nuove domande mai viste.
Se le risposte dello studente alle domande da "dimenticare" sembrano simili alle sue risposte alle "nuove" domande (dove non ha memoria), allora sai che ha dimenticato con successo.
Questo permette di controllare le violazioni della privacy senza dover riaddestrare il modello, il che è fondamentale per dataset enormi come ImageNet, dove il riaddestramento è impossibile.

Cosa Hanno Scoperto

I ricercatori hanno testato LoTUS su vari modelli (come i Vision Transformer e ResNet) e dataset (da quelli piccoli come CIFAR a quelli massicci come ImageNet).

Migliore degli altri: LoTUS è stato più veloce ed efficace di tutti i metodi che hanno confrontato.
Funziona sui grandi dati: Lo hanno utilizzato con successo su ImageNet (oltre 1 milione di immagini), uno scenario in cui il riaddestramento è praticamente impossibile.
Evita l'Effetto Streisand: A volte, quando cerchi di nascondere qualcosa, lo fai risaltare di più. LoTUS evita questo; non si limita a far sbagliare il modello in modo evidente (il che sarebbe ovvio); rende il modello genuinamente incerto, che è lo stato naturale del non sapere.

In Sintesi

LoTUS è un astuto "cancella-tutto" per l'IA. Non cancella l'intero libro; si limita a sfocare delicatamente le pagine specifiche che devono essere dimenticate, assicurando che l'IA non sia troppo sicura di esse, il tutto risparmiando una quantità enorme di tempo e potenza di calcolo. Hanno anche costruito un nuovo righello (RF-JSD) per misurare quanto bene abbia funzionato la cancellazione senza dover ricostruire l'intera macchina.

Sintesi Tecnica: LoTUS – Large-Scale Machine Unlearning with a Taste of Uncertainty

1. Definizione del Problema

Il Machine Unlearning (MU) mira a rimuovere l'influenza di specifici campioni di addestramento (il "forget set") da un modello pre-addestrato senza dover riaddestrare il modello da zero. Ciò è fondamentale per la protezione della privacy, la conformità al copyright e la mitigazione dei bias. Tuttavia, i metodi esistenti affrontano tre sfide primarie:

Efficienza: Il riaddestramento da zero (il "gold standard") è computazionalmente proibitivo, specialmente per dataset su larga scala come ImageNet1k.
Accessibilità dei Dati: In scenari reali, l'accesso completo ai dati di addestramento originali è spesso limitato da politiche di privacy o limitazioni di archiviazione, rendendo impossibile il riaddestramento.
Efficacia vs. Ritenzione: I metodi devono eliminare efficacemente l'influenza dei campioni da dimenticare pur preservando l'utilità del modello sui dati rimanenti. Gli approcci esistenti spesso faticano a bilanciare questi obiettivi contrastanti o non riescono ad approssimare accuratamente le prestazioni del gold standard.

Le tecniche di unlearning attuali rientrano generalmente nell'unlearning esatto (statisticamente indistinguibile dal riaddestramento, ma spesso impraticabile) o nell'unlearning approssimato (che utilizza varie metriche per misurare la prossimità al gold standard). Esiste una lacuna significativa nei metodi che possano operare in modo efficiente su modelli su larga scala sotto vincoli di dati realistici, fornendo al contempo metriche di valutazione robuste che non richiedano un modello gold standard riaddestrato.

2. Metodologia: LoTUS

Gli autori propongono LoTUS (Logits Tempering Unlearning Strategy), un nuovo approccio che opera direttamente nello spazio di output del modello utilizzando un framework informativo-teoretico.

Concetto Core: Entropia e Incertezza

LoTUS affronta la tendenza delle Reti Neurali Profonde (DNN) a memorizzare caratteristiche specifiche del campione, portando a predizioni eccessivamente sicure sui dati di addestramento. Questa eccessiva sicurezza è una vulnerabilità sfruttata dagli attacchi di inferenza dell'appartenenza (Membership Inference Attacks, MIA). LoTUS mira a regolarizzare (smooth) le probabilità di predizione dei campioni da dimenticare per aumentare la loro entropia, rendendo la risposta del modello a questi campioni simile alla sua risposta a dati mai visti.

Framework Teorico

Il metodo si basa sulla separazione tra informazione globale (caratteristiche condivise tra una classe, ad esempio la forma generale di un gatto) e informazione specifica del sottoinsieme (caratteristiche uniche di campioni specifici, ad esempio motivi unici del pelo).

Obiettivo: Eliminare l'informazione specifica del sottoinsieme ( $I(f_{orig}(X_f); X_f | X)$ ) preservando l'informazione globale ( $I(f_{orig}(X_f); X)$ ).
Approssimazione: Poiché stimare l'informazione mutua direttamente è computazionalmente intensivo, LoTUS approssima l'obiettivo di unlearning equiparando l'accuratezza del modello "unlearned" sul set da dimenticare ( $D_f$ ) all'accuratezza del modello originale pre-addestrato su un set non visto ( $D_u$ ):
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
Qui, $D_u$ può essere un set di validazione o dati sintetici. Ciò garantisce che il modello unlearned non conservi la fiducia "memorizzata" che aveva su $D_f$ .

Implementazione: Temperatura Dinamica e Rumore Gumbel

LoTUS impiega un framework di conoscenza distillata (knowledge distillation) in cui un modello studente ( $f_{un}$ ) impara da un modello insegnante ( $f_{orig}$ ).

Perturbazione Gumbel-Softmax: I logit dell'insegnante vengono perturbati tramite rumore Gumbel ( $g \sim \text{Gumbel}(0,1)$ ) e un parametro di temperatura ( $\tau$ ) tramite la funzione Gumbel-Softmax. Questo introduce stocasticità e consente un campionamento differenziabile.
Regolazione della Temperatura Dinamica: La temperatura $\tau_d$ $τ_{d}$ viene regolata dinamicamente in ogni epoca in base al divario di accuratezza tra lo studente sul set da dimenticare e l'insegnante sull'unseen set:
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- Se lo studente è troppo accurato su $D_f$ (indicando memorizzazione), $\tau_d > 1$ , regolarizzando le probabilità per aumentare l'entropia.
- Se lo studente è troppo impreciso (over-unlearning), $\tau_d < 1$ , rendendo più nette (sharpening) le probabilità per ripristinare l'utilità.
Funzione di Perdita (Loss Function): La funzione di perdita combina un termine di "dimenticamento" (utilizzando l'output perturbato dell'insegnante con $\tau_d$ dinamico) e un termine di "ritenzione" (utilizzando l'output dell'insegnante con $\tau \to 0$ per rendere più nette le predizioni e preservare l'utilità sul set da mantenere).

3. Contributi Chiave

Algoritmo LoTUS: Il primo metodo di unlearning che opera direttamente nello spazio di output utilizzando un limite informativo-teoretico. Esso controlla l'incertezza tramite un parametro di temperatura dinamica, evitando una massimizzazione indiscriminata dell'entropia.
Metrica RF-JSD: L'introduzione della Retrain-Free Jensen-Shannon Divergence (RF-JSD). Questa metrica valuta l'efficacia dell'unlearning confrontando l'output del modello unlearned sul set da dimenticare con l'output del modello originale su un set non visto. Elimina la necessità di un modello gold standard riaddestrato, rendendolo adatto a scenari reali su larga scala. RF-JSD mostra una forte correlazione di Pearson ( $0.92 \pm 0.04$ ) con il punteggio JSD stabilito.
Setup Sperimentale su Larga Scala: Un nuovo framework di valutazione che utilizza il dataset ImageNet1k (1.2M campioni) con accesso limitato ai dati, simulando le condizioni in cui il riaddestramento è impraticabile.

4. Risultati Sperimentali

Gli autori hanno valutato LoTUS su architetture Vision Transformer (ViT) e ResNet18 attraverso cinque dataset: CIFAR-10, CIFAR-100, MUFAC, TinyImageNet e ImageNet1k.

Efficacia: LoTUS ha superato costantemente otto baseline allo stato dell'arte (inclusi Finetuning, NegGrad+, SalUn e SCRUB) in termini di metrica Avg Gap (bilanciamento tra dimenticamento e ritenzione) e JSD (misurazione della somiglianza distributiva rispetto al gold standard e resilienza all'effetto Streisand).
Efficienza: LoTUS ha dimostrato una superiore efficienza computazionale, richiedendo spesso meno tempo rispetto alle baseline. Ciò è attribuito alla sua capacità di utilizzare solo una piccola percentuale di campioni da mantenere (30%) e alla sua complessità lineare nei calcoli ausiliari.
Performance su Larga Scala: Su ImageNet1k, dove il riaddestramento era impossibile, LoTUS ha ottenuto il punteggio RF-JSD più basso (1.11 vs 1.22 per il modello originale, e superiore per le baseline), indicando un efficace unlearning. Ha inoltre preservato unicamente l'accuratezza di ritenzione (Retain Accuracy) riducendo significativamente l'accuratezza del Membership Inference Attack (MIA).
Robustezza: Il metodo è rimasto efficace anche quando l'unseen set consisteva in dati sintetici generati dall'IA (CIFAKE), validando il rilassamento dell'assunzione di somiglianza distributiva.

5. Significato e Rivendicazioni

Il paper sostiene che LoTUS rappresenti un avanzamento significativo nell'unlearning di macchine poiché:

Colma il Divario: Fornisce un metodo che è al contempo efficace ed efficiente per modelli su larga scala dove il riaddestramento è impraticabile.
Applicabilità nel Mondo Reale: L'introduzione della metrica RF-JSD consente una valutazione rigorosa in scenari in cui il modello gold standard non è disponibile, un vincolo comune nelle industrie sensibili alla privacy.
Rigore Teorico: Va oltre gli approcci euristici ancorando il processo di unlearning alla teoria dell'informazione, mirando specificamente alla rimozione dell'informazione specifica del sottoinsieme pur preservando l'utilità globale.
Superiorità: Dimostra che LoTUS supera i metodi esistenti allo stato dell'arte nel bilanciare il compromesso tra il dimenticare dati specifici e il mantenere le prestazioni del modello, mitigando al contempo l'effetto Streisand (dove l'unlearning rende involontariamente i dati più identificabili).

Gli autori osservano che, sebbene il framework sia estendibile all'unlearning di classi, la loro validazione sperimentale primaria si concentra sull'unlearning per istanza. Il lavoro è presentato come un passo verso un machine learning scalabile e privacy-preserving in ambienti vincolati.