Riepilogo Tecnico: Inferenza Statistica di Appartenenza (SMI) per l'Audit Affidabile di Modelli Dimenticati

1. Enunciato del Problema

L'Oblio Machine (MU) è un meccanismo critico per l'attuazione del "diritto all'oblio", consentendo la rimozione di specifici dati di addestramento da un modello senza riaddestrarlo da zero. Una sfida centrale in questo campo è l'audit: verificare in modo affidabile se un modello ha effettivamente dimenticato i dati specificati.

Gli standard attuali di audit si basano prevalentemente su Attacchi di Inferenza di Appartenenza (MIA). L'assunzione prevalente è che, se un MIA non riesce a identificare un campione come appartenente, il modello lo ha dimenticato con successo. Gli autori sostengono che questa assunzione sia fondamentalmente errata per due motivi principali:

1. Bias di Allineamento: I campioni dimenticati ($F_u$) occupano uno spazio delle caratteristiche distinto sia dai campioni membri originali ($F_m$) sia dai campioni non membri genuini ($F_n$). Mentre $F_m$ contribuisce con gradienti positivi, $F_n$ non contribuisce con gradienti, e $F_u$ induce gradienti negativi. Le MIA convenzionali assumono che $F_u$ sia allineato con $F_n$; tuttavia, l'inferenza fallita è spesso il risultato di questo disallineamento piuttosto che di un vero oblio, portando a un "oblio illusorio".
2. Sovraccarico Computazionale: I metodi di audit MIA all'avanguardia (ad es. LiRA, RMIA) richiedono l'addestramento di numerosi "modelli ombra" per stabilire le linee di base, sostenendo costi computazionali proibitivi paragonabili al riaddestramento del modello target stesso.

2. Metodologia: Inferenza Statistica di Appartenenza (SMI)

Per affrontare il bias di allineamento e l'inefficienza computazionale, gli autori propongono l'Inferenza Statistica di Appartenenza (SMI), un framework di audit privo di addestramento.

Fondamento Teorico

Il documento riformula il problema dell'audit utilizzando la teoria del Trasporto Ottimale. Invece di considerare l'oblio come un compito di classificazione binaria (membro vs non membro), l'SMI modella la distribuzione delle caratteristiche dimenticate $F_u$ come una miscela convessa della distribuzione dei membri $F_m$ e della distribuzione dei non membri $F_n$:
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
Qui, $\rho$ rappresenta la proporzione di miscela (o tasso di oblio). L'obiettivo dell'audit si sposta dall'addestrare un classificatore alla stima di $\rho$. Gli autori dimostrano, tramite la teoria PAC-Bayes (utilizzando la divergenza $\chi^2$), che l'audit basato su MIA soffre di un termine di errore di allineamento inevitabile, controllato dallo spostamento di distribuzione tra i dati di addestramento dell'attaccante e i dati effettivamente dimenticati.

Varianti Algoritmiche

L'SMI stima $\rho$ confrontando i momenti statistici delle distribuzioni senza addestrare alcun modello ausiliario:

1. SMI (Momenti di Ordine Inferiore):

   • Assume che il modello di miscela valga per i primi due momenti (media $\mu$ e covarianza $\Sigma$).
   • Deriva una soluzione in forma chiusa minimizzando la discrepanza della norma di Frobenius tra la covarianza empirica dei dati dimenticati e la covarianza prevista dal modello di miscela.
   • Risolve un'equazione cubica monovariata per trovare il $\rho$ ottimale.

2. SMI-M (Discrepanza della Media Massima):

   • Affronta l'instabilità della stima della covarianza negli spazi ad alta dimensionalità e nelle distribuzioni non gaussiane.
   • Incorpora le distribuzioni delle caratteristiche in uno Spazio di Hilbert a Kernel Riproducente (RKHS) utilizzando gli embedding della media del kernel.
   • Formula la stima come un problema di programmazione quadratica convessa per minimizzare l'MMD tra la distribuzione dimenticata e la combinazione convessa delle distribuzioni dei membri e dei non membri.

Quantificazione dell'Incertezza

A differenza dei metodi MIA che si affidano a modelli ombra per gli intervalli di confidenza, l'SMI utilizza il bootstrap sull'insieme delle caratteristiche di audit. Campionando nuovamente i dati dimenticati e rieseguendo la stima di $\rho$, l'SMI fornisce intervalli di riferimento (ad es. dal 5° al 95° percentile) per quantificare l'affidabilità del risultato dell'audit.

3. Contributi Chiave

• Insight Teorico: Il documento dimostra che l'inferenza di appartenenza fallita non implica un vero oblio a causa di un intrinseco "bias di allineamento" tra i campioni dimenticati e i non membri. Stabilisce che l'audit dovrebbe misurare le proporzioni di miscela distribuzionale piuttosto che il successo della classificazione binaria.
• Framework Privo di Addestramento: L'SMI elimina la necessità di modelli ombra e dell'addestramento di classificatori MIA, riducendo significativamente il sovraccarico computazionale.
• Metriche di Affidabilità: Il framework fornisce intervalli di riferimento basati sul bootstrap, offrendo un modo principiato per valutare la confidenza delle decisioni di audit.
• Superiorità Empirica: Esperimenti estesi dimostrano che l'SMI (in particolare SMI-M) supera costantemente le linee di base esistenti basate su MIA (inclusi LiRA, RMIA, IAM e RULI) in termini di accuratezza di stima su vari dataset (CIFAR-10/100, CINIC-10) e architetture di modelli (ResNet, ViT).

4. Risultati Sperimentali

Gli autori hanno valutato l'SMI contro sette linee di base basate su MIA in impostazioni white-box:

• Accuratezza: SMI-M ha raggiunto la massima accuratezza di stima ($\rho^*$) su tutti i dataset, superando spesso il 90% di accuratezza negli scenari di oblio completo (obiettivi di riaddestramento), mentre i metodi MIA hanno mostrato una variazione significativa e un'accuratezza inferiore.
• Efficienza: Le varianti SMI hanno richiesto un solo passaggio di inferenza (più il bootstrap) e nessun addestramento di modelli ombra. Al contrario, le linee di base MIA hanno richiesto l'addestramento di 8–64 modelli ombra, risultando in costi computazionali di ordini di grandezza superiori rispetto all'SMI.
• Robustezza: SMI-M è rimasto stabile sotto variazioni nelle scelte del kernel e nelle larghezze di banda. Il metodo ha dimostrato prestazioni affidabili con soli 20 campioni per classe, sebbene le prestazioni siano migliorate con insiemi di audit più grandi.
• Scenari Pratici: Quando applicato a metodi di oblio approssimato (FineTune, Fisher, Scrub), l'SMI ha differenziato con successo tra vari livelli di oblio, identificando Scrub come il metodo approssimato più efficace tra quelli testati.

5. Significato e Affermazioni

Il documento posiziona l'SMI come un'alternativa principata ed efficiente all'audit basato su MIA. Il suo significato risiede in:

1. Correzione di un Difetto Fondamentale: Sfida la dipendenza della comunità dalle MIA per la verifica dell'oblio, dimostrando che l'euristica "attacco fallito = dimenticato" è strutturalmente infondata.
2. Scalabilità: Rimuovendo la dipendenza dai modelli ombra, l'SMI rende l'audit affidabile fattibile per modelli su larga scala, dove l'addestramento di modelli ombra è computazionalmente proibitivo.
3. Garanzie Teoriche: Il metodo è fondato su limiti PAC-Bayes e sulla teoria del trasporto ottimale, fornendo una base matematica rigorosa per l'audit delle prestazioni di oblio.

Gli autori concludono che l'SMI stabilisce un nuovo standard per l'audit di modelli dimenticati, offrendo sia garanzie teoriche che prestazioni empiriche solide, senza il carico computazionale degli approcci precedenti.