Riepilogo Tecnico: Affrontare la Dimenticanza Falsa attraverso la Quantificazione dell'Incertezza

Enunciato del Problema

L'oblio automatico (machine unlearning) mira a rimuovere l'influenza di specifici punti dati da un modello addestrato, una capacità sempre più richiesta da normative come il GDPR. Sebbene l'Accuratezza dell'Oblio (UA) sia la metrica standard per valutare le prestazioni, misurando la frequenza con cui un modello classifica erroneamente i dati da "dimenticare", gli autori identificano un difetto critico: la dimenticanza falsa.

Il documento sostiene che la UA sia insufficiente perché si basa esclusivamente su previsioni puntuali. Un modello può classificare erroneamente un punto dati da dimenticare (ottenendo un punteggio UA elevato) pur mantenendo un'alta fiducia nell'etichetta di verità fondamentale all'interno delle sue stime di incertezza. Nello specifico, l'etichetta di verità fondamentale può rimanere inclusa nell'insieme di previsione conformale del modello, il che significa che l'informazione non è stata realmente cancellata dal confine decisionale del modello. Questo fenomeno è visualizzato tramite Grad-CAM, che mostra come, anche quando un modello classifica erroneamente un'immagine, i suoi meccanismi di attenzione si concentrino spesso ancora sulle caratteristiche chiave dell'oggetto se l'etichetta vera rimane nell'insieme di previsione.

Metodologia

1. La Metrica del Rapporto Conformale (CR)

Per affrontare i limiti della UA, gli autori propongono una nuova metrica di valutazione chiamata Rapporto Conformale (CR), ispirata alla Previsione Conformale Split (SCP). A differenza della UA, che verifica solo la singola classe prevista, la CR valuta l'intero insieme di previsione.

La metrica è definita come:
$$CR = \frac{\text{Copertura}}{\text{Dimensione dell'Insieme}}$$

• Copertura: La proporzione di punti dati da dimenticare in cui l'etichetta di verità fondamentale rientra nell'insieme di previsione conformale. Un'alta copertura sui dati da dimenticare indica "dimenticanza falsa".
• Dimensione dell'Insieme: Il numero medio di etichette nell'insieme di previsione.
• Interpretazione: Un valore CR più basso sui dati da dimenticare ($D_f$) indica un oblio più forte (l'etichetta vera è esclusa con successo dall'insieme). Al contrario, un CR più alto sui dati di test ($D_{test}$) indica che l'utilità del modello è preservata.

Gli autori validano il fatto che le metriche esistenti spesso non riescano a rilevare casi in cui l'etichetta vera rimane nell'insieme di previsione, mentre la CR cattura questo aspetto richiedendo che la verità fondamentale venga spinta oltre la soglia del punteggio di non conformità.

2. Il Framework di Oblio Conformale (CPU)

Sulla base delle intuizioni derivate dalla CR, gli autori propongono CPU, un framework generale per potenziare i metodi di oblio basati sull'addestramento. L'idea centrale è modificare la funzione di perdita per forzare esplicitamente l'etichetta di verità fondamentale dei dati da dimenticare fuori dall'insieme di previsione conformale.

Il framework adatta la funzione di perdita per attacco avversario di Carlini & Wagner (C&W). Invece di massimizzare semplicemente la differenza tra la classe vera e la classe concorrente principale, la perdita CPU spinge il punteggio di non conformità dell'etichetta vera ($S(x, y_t)$) oltre la soglia conformale ($\hat{q}$).

La funzione di perdita proposta è:
$$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$$

Dove:

• $\hat{q}$ è la soglia derivata da un insieme di calibrazione.
• $S(x, y_t) = 1 - p_t(x)$ è il punteggio di non conformità (probabilità inversa).
• $\Delta$ è un parametro di margine (impostato a 0,01 negli esperimenti).

Questa perdita incoraggia il modello ad aumentare il punteggio di non conformità dell'etichetta vera fino a quando non supera $\hat{q}$, escludendo efficacemente l'etichetta vera dall'insieme di previsione. L'obiettivo finale combina la perdita originale con questo nuovo termine:
$$L_{total} = L_{original} + \lambda \cdot L_{cpu}$$

Contributi Chiave

1. Identificazione della Dimenticanza Falsa: Il documento dimostra che una porzione significativa di dati identificati come "dimenticati" dalla UA (classificati erroneamente) può ancora essere recuperata perché l'etichetta di verità fondamentale rimane all'interno dell'insieme di previsione conformale.
2. Nuova Metrica (CR): Introduzione del Rapporto Conformale, che fornisce una valutazione più affidabile della qualità dell'oblio valutando l'intero insieme di previsione invece di solo la previsione principale.
3. Framework CPU: Un framework di oblio generale e indipendente dal modello che integra i concetti di previsione conformale nella funzione di perdita di addestramento (tramite la perdita C&W adattata) per garantire che l'etichetta di verità fondamentale sia esclusa dall'insieme di previsione.
4. Valutazione Completa: Esperimenti estesi su più dataset (CIFAR-10, Tiny ImageNet, Oxford-Pets) e architetture (ResNet-18, ViT, Swin-T) che validano come CPU migliori la qualità dell'oblio senza degradare significativamente l'utilità del modello sui dati mantenuti o di test.

Risultati Sperimentali

• Superiorità della Metrica: Negli esperimenti con 12 diversi baseline di oblio, la classificazione dei metodi è cambiata significativamente quando valutata con CR rispetto alla UA. I metodi che hanno ottenuto buoni risultati sotto la UA (ad esempio, Etichettatura Casuale) hanno mostrato di soffrire di dimenticanza falsa sotto la CR, mentre altri (ad esempio, Salun) hanno mostrato migliori capacità di oblio reale.
• Prestazioni del Framework: L'applicazione del framework CPU ai metodi esistenti (RT, FT, RL) ha ridotto significativamente la CR sui dati da dimenticare (indicando un oblio migliore) mantenendo stabile l'Accuratezza di Mantenimento (RA) e l'Accuratezza di Test (TA).
  • Ad esempio, su CIFAR-10 con ResNet-18, l'applicazione di CPU al metodo Finetune (FT) ha ridotto il divario UA rispetto al baseline Re-train (RT) dal 4,8% allo 0,7%, riducendo contemporaneamente la CR sui dati da dimenticare.
• Evidenza Visiva: Le visualizzazioni Grad-CAM hanno confermato che quando l'etichetta vera è esclusa dall'insieme di previsione (come ottenuto da CPU), le regioni di attivazione del modello si spostano lontano dalle caratteristiche chiave dell'oggetto, a differenza dell'oblio standard in cui le caratteristiche rimangono evidenziate nonostante la classificazione errata.
• Efficienza: L'aggiunta della perdita CPU ha introdotto un sovraccarico computazionale trascurabile, con i tempi di addestramento che sono aumentati di meno di 1 minuto su vari dataset.

Significato e Affermazioni

Il documento afferma di fornire una base più rigorosa per l'oblio automatico spostando il paradigma di valutazione dalla semplice accuratezza alla quantificazione dell'incertezza. Gli autori sottolineano che fare affidamento esclusivamente sulla UA crea un falso senso di privacy e sicurezza. Garantendo che l'etichetta di verità fondamentale non sia solo classificata erroneamente ma attivamente esclusa dall'insieme di previsione, la metrica CR proposta e il framework CPU offrono una garanzia più affidabile che i dati siano stati realmente dimenticati. Il lavoro evidenzia che i metodi di oblio esistenti spesso non riescono ad affrontare la fiducia delle previsioni, e l'approccio proposto colma questa lacuna utilizzando i principi della previsione conformale e degli attacchi avversari.