Riepilogo Tecnico: DurableUn: Attacchi di Recupero Indotti dalla Quantizzazione nell'Oblio delle Macchine

1. Enunciato del Problema

L'oblio delle macchine (machine unlearning) mira a rimuovere dati di addestramento specifici dai modelli per conformarsi a normative sulla privacy come il GDPR. Tuttavia, i protocolli di valutazione attuali soffrono di una critica "lacuna di deployment". Le valutazioni standard assumono che la precisione utilizzata durante l'audit dell'oblio (tipicamente bfloat16 o BF16) corrisponda alla precisione utilizzata in produzione. In realtà, i Modelli Linguistici di Grande Dimensione (LLM) sono frequentemente distribuiti a bassa precisione in bit (INT4 o INT8) per ridurre l'ingombro di memoria e migliorare la velocità di inferenza.

Gli autori identificano che questa discrepanza di precisione crea una vulnerabilità sistematica: un modello può "dimenticare" con successo i dati a BF16 (superando un audit sulla privacy con un'accuratezza di oblio, FA, vicina allo zero, FA $\approx$ 0), ma quando viene quantizzato a INT4 per il deployment, le informazioni dimenticate riappaiono sistematicamente negli output del modello. Gli autori definiscono questo fenomeno Attacco di Recupero da Quantizzazione (QRA). Non si tratta meramente di una nuova variante di attacco, ma di un fallimento fondamentale di validità nei protocolli di valutazione attuali, dove i modelli certificati come conformi violano provatamente la privacy sotto trasformazioni di deployment standard.

2. Metodologia e Setup

Regime Sperimentale

Lo studio si concentra sul paradigma di deployment NF4+LoRA, in cui un modello viene caricato in precisione NormalFloat4 (NF4) e gli adattatori Low-Rank Adaptation (LoRA) vengono addestrati in BF16. Questa è una configurazione comune per il fine-tuning e il deployment efficienti.

• Modelli: LLaMA-3-8B-Instruct (principale) e Mistral-7B-Instruct (per la generalizzazione).
• Dataset: TOFU (autori fittizi), MUSE-News (notizie reali) e WikiBio-WPU (figure storiche).
• Baseline: Sono stati valutati sette metodi di oblio consolidati: Gradient Ascent (GA), Negative Preference Optimization (NPO), SCRUB, SalUn, Representation Manipulation Unlearning (RMU), AlphaEdit e GradDiff.
• Simulazione della Quantizzazione: Gli autori simulano la quantizzazione INT4 e INT8 sui pesi degli adattatori LoRA utilizzando uno schema di quantizzazione simmetrica per riga. Validano questo simulatore contro la vera Post-Training Quantization (PTQ) bitsandbytes su modelli fusi.

La Soluzione Proposta: DURABLEUN-SAF

Per affrontare la vulnerabilità, gli autori propongono DURABLEUN-SAF (Sharpness-Aware Forgetting).

• Insight Principale: La standard Gradient Ascent (GA) crea un paesaggio di perdita "acuto" per l'obiettivo di oblio. Sebbene il modello dimentichi a piena precisione, il paesaggio di perdita è ripido, il che significa che piccole perturbazioni (come il rumore della quantizzazione INT4) spingono facilmente il modello di nuovo in uno stato di "ricordo".
• Meccanismo: DURABLEUN-SAF introduce un obiettivo consapevole della quantizzazione che utilizza un Straight-Through Estimator (STE) per calcolare i gradienti attraverso l'operazione di arrotondamento INT4. La funzione obiettivo combina tre termini:
  1. Perdita di oblio standard ($L_f$).
  2. Perdita di oblio consapevole della quantizzazione ($L_f(Q_{STE}(\theta))$), che forza il modello a dimenticare anche sotto perturbazione INT4 simulata.
  3. Perdita di mantenimento ($L_r$) per preservare l'utilità.
• Strategia di Addestramento: Il metodo impiega un programma di warm-up per il termine consapevole della quantizzazione e aggiorna dinamicamente l'equilibrio di mantenimento ($\lambda$) in base al peso di quantizzazione ($\alpha$).

3. Risultati e Scoperte Chiave

Il Trilemma FA–RA–Q-INT4

Lo studio identifica un vincolo strutturale denominato Trilemma FA–RA–Q-INT4: Nessuna configurazione valutata raggiunge simultaneamente:

1. Oblio Forte (FA $\le$ 0.05).
2. Alta Utilità (Accuratezza di Mantenimento, RA $\ge$ 0.50).
3. Robustezza alla Quantizzazione (Q-INT4 $\le$ 0.05).

Attraverso una scansione Pareto densa, gli autori osservano una transizione di fase netta. All'aumentare della pressione di quantizzazione ($\alpha$) per raggiungere la robustezza (Q-INT4 < 0.05), l'accuratezza di mantenimento (RA) crolla bruscamente (ad esempio, da ~0.52 a ~0.045) e non può essere recuperata con ulteriore sintonizzazione. Ciò suggerisce che il trilemma è una conseguenza dello spazio dei pesi condiviso nel regime NF4+LoRA, e non un artefatto degli iperparametri.

Attacco di Recupero da Quantizzazione (QRA)

• INT8 è Benigno: In tutte le 7 baseline, la quantizzazione INT8 ha portato a Q-INT4 = 0.000, indicando che la precisione a 8 bit è troppo precisa da causare recupero.
• INT4 è Catastrofico: La quantizzazione INT4 ha ripristinato sistematicamente i contenuti dimenticati. Per i metodi che hanno raggiunto un buon oblio a BF16 (FA < 0.05), il recupero è stato severo:
  • GradDiff: FA 0.008 $\to$ Q-INT4 0.151 (recupero 18.9$\times$).
  • GA: FA 0.028 $\to$ Q-INT4 0.262 (recupero 9.4$\times$).
  • SalUn: FA 0.011 $\to$ Q-INT4 0.051 (recupero 4.6$\times$).
• Difficoltà del Dataset: La gravità dell'attacco scala con la difficoltà del dataset. Sul più difficile dataset MUSE-News, i metodi standard hanno fallito nel dimenticare completamente, mentre sul più semplice dataset WPU, alcune baseline hanno superato il certificato senza DURABLEUN-SAF.

Performance di DURABLEUN-SAF

DURABLEUN-SAF è l'unico metodo a raggiungere un certificato empirico di durabilità stabile.

• Definizione del Certificato: Un modello è $(\epsilon, P)$-durevole se la sua accuratezza di oblio rimane $\le \epsilon$ attraverso tutte le precisioni nell'insieme $P$ (BF16, INT8, INT4).
• Risultati: DURABLEUN-SAF ($\alpha=3$) ha raggiunto un tasso di certificato di 3/3 su tre semi casuali con un Q-INT4 di $0.043 \pm 0.002$.
• Confronto: Al contrario, SalUn (anche con i propri iperparametri pubblicati) ha raggiunto un tasso di certificato di solo 1/3 con una varianza più alta.
• Trade-off: Sebbene DURABLEUN-SAF raggiunga il certificato, subisce lo stesso crollo di RA osservato nel trilemma (RA $\approx$ 0.045), confermando che il metodo naviga con successo il compromesso ma non può attualmente superare il limite strutturale di mantenere un'alta utilità garantendo al contempo la robustezza INT4.

4. Significato e Affermazioni

Il paper afferma di apportare i seguenti contributi:

1. Identificazione di una Lacuna di Deployment: Dimostra che le attuali valutazioni di oblio sono fondamentalmente difettose perché ignorano la pratica standard del deployment INT4, portando a falsi positivi nella conformità alla privacy.
2. Il Trilemma: Stabilisce il trilemma FA–RA–Q-INT4 come vincolo strutturale nel regime NF4+LoRA, caratterizzato da una transizione di fase netta piuttosto che da un compromesso graduale.
3. Primo Certificato di Durabilità: Introduce il primo certificato empirico formale di durabilità per l'oblio delle macchine sotto quantizzazione, validato su più semi e dataset.
4. Una Soluzione Fattibile: Propone DURABLEUN-SAF, il primo metodo a raggiungere coerentemente questo certificato, dimostrando che l'oblio consapevole della quantizzazione è possibile, anche se attualmente comporta il costo di una ridotta accuratezza di mantenimento.
5. Appello all'Azione: Gli autori sostengono che Q-INT4 (accuratezza di oblio sotto quantizzazione INT4) debba essere adottato come metrica di valutazione standard insieme a FA e RA. Sostengono che qualsiasi metodo di oblio che rivendica conformità al GDPR deve dimostrare robustezza a INT4, poiché la quantizzazione è un'operazione "a una riga" per gli utenti a valle che non richiede dati di addestramento per recuperare le informazioni dimenticate.

Il paper conclude che, sebbene DURABLEUN-SAF fornisca una strada verso la certificazione, il crollo dell'accuratezza di mantenimento rimane un problema aperto, suggerendo che il lavoro futuro deve affrontare l'incompatibilità geometrica tra una forte robustezza alla quantizzazione e un'alta utilità negli spazi dei pesi condivisi.