Riepilogo Tecnico: Audit della Privacy con Zero (0) Esecuzioni di Addestramento

1. Enunciato del Problema

L'audit della privacy è essenziale per stabilire empiricamente i limiti inferiori sui parametri di privacy differenziale (DP) degli algoritmi di apprendimento, integrando le garanzie teoriche. Tuttavia, i metodi di audit esistenti (ad es. Multi-Run e One-Run) fanno affidamento su un accesso interventista alla pipeline di addestramento. Richiedono infatti o il riaddestramento dei modelli più volte con inserimenti casuali di dati o l'esecuzione dell'algoritmo una sola volta con indicatori di appartenenza casualizzati.

Questo requisito interventista rende l'audit non fattibile per i modelli fondazionali su larga scala già distribuiti (ad es. Large Language Models) a causa di:

• Divieti Computazionali: Il riaddestramento o la riesecuzione delle pipeline di addestramento consuma migliaia di giorni GPU.
• Barriere Logistiche: L'accesso alle pipeline interne dei dati e la capacità di randomizzare l'inclusione dei dati sono spesso indisponibili nelle distribuzioni black-box.
• Il Divario di Responsabilità: I sistemi che presentano i maggiori rischi per la privacy sono i più isolati da valutazioni indipendenti, costringendo a fare affidamento sulla fiducia piuttosto che sulla verifica.

Inoltre, un tentativo ingenuo di audit senza intervento (utilizzando dataset statici di membri e non-membri noti) fallisce perché introduce spostamenti di distribuzione confondenti. Se i dataset di membri e non-membri seguono distribuzioni sottostanti diverse ($P_1 \neq P_0$), un attacco di inferenza dell'appartenenza (MIA) può avere successo sfruttando queste differenze distributive piuttosto che una perdita algoritmica, portando a falsi positivi e limiti di privacy invalidi.

2. Metodologia: Audit Zero-Run

Gli autori propongono l'Audit Zero-Run, un framework post-hoc che tratta l'audit della privacy come un problema di inferenza osservazionale, analogo all'inferenza causale. Il framework opera senza modificare l'algoritmo o la pipeline dei dati, basandosi esclusivamente sull'output del modello e su due dataset fissi:

1. $D_1$ (Membri): Un sottoinsieme dei dati di addestramento (o dati pre-addestramento noti).
2. $D_0$ (Non-membri): Un dataset noto per essere escluso dall'addestramento (ad es. dati post-addestramento o campioni sintetici).

Il framework procede in quattro passaggi:

1. Osservazione: L'auditor osserva l'output del modello $\theta = A(D_{train})$ e i dati osservazionali $\{X_i\} = D_1 \cup D_0$.
2. Inferenza dell'Appartenenza: Un MIA standard genera ipotesi grezze $T_i \in \{-1, 0, 1\}$ per ogni $X_i$.
3. Stima della Propensione: L'auditor stima un punteggio di propensione $\hat{\pi}(X_i) \approx P(S_i=1 | X_i)$, che rappresenta la probabilità che un punto dati sia un membro basandosi esclusivamente sulle sue caratteristiche. Questo isola la probabilità di selezione strutturale dal segnale algoritmico.
4. Correzione: Il framework applica correzioni per districare lo spostamento di distribuzione dalla perdita algoritmica utilizzando due approcci complementari.

Approcci di Correzione

Il documento formalizza due metodi per correggere l'effetto confondente dello spostamento di distribuzione:

• Correzione Globale (Composizione Adattiva):

  • Modella la perdita osservata come la composizione adattiva di due meccanismi: un meccanismo di spostamento di distribuzione ($M_{DS}$) e l'algoritmo auditato ($A$).
  • Tratta la perdita totale come $f_{Tot} = f \otimes f_{DS}$, dove $\otimes$ è il prodotto tensoriale delle funzioni di compromesso.
  • Risultato: Produce limiti globali conservativi. Assume uno spostamento di distribuzione nel caso peggiore su tutti i punti dati, il che può portare a una perdita di potenza statistica se lo spostamento è eterogeneo.

• Correzione Condizionale (Audit Punto per Punto):

  • Condiziona sugli esempi osservati $X_i$. Riconosce che il contributo dello spostamento di distribuzione all'inferenza è locale, definito dal log-odds $\epsilon_{DS}(x_i) = |\log \pi(x_i) - \log(1-\pi(x_i))|$.
  • Meccanismo di Alterazione: Per prevenire un'eccessiva sicurezza derivante dallo spostamento di distribuzione, il framework "altera" le ipotesi del MIA. Per un esempio con un punteggio di propensione altamente sbilanciato (ad es. $\pi(x) \approx 1$), un'ipotesi corretta è meno indicativa di una perdita algoritmica. Il framework mantiene tali ipotesi con una probabilità inferiore $b_i$, randomizzando efficacemente l'astensione.
  • Risultato: Genera limiti più nitidi e dipendenti dall'istanza, che sono robusti agli spostamenti di distribuzione senza le severe penalità dell'approccio globale nel caso peggiore.

Quantificazione dell'Incertezza

Poiché i punteggi di propensione devono essere stimati dai dati, il framework incorpora il bootstrapping per quantificare l'incertezza. Ricampionando il dataset di stima della propensione, il metodo produce limiti inferiori empirici che tengono conto dell'errore di stima, garantendo che l'audit finale rimanga valido con alta probabilità.

3. Contributi Chiave

1. Formalizzazione dell'Audit Zero-Run: Il documento definisce un regime di audit post-hoc in cui l'appartenenza non è randomizzata. Dimostra che gli audit ingenui su tali dati sovrastimano la perdita e collegano esplicitamente questo scenario all'inferenza causale osservazionale, richiedendo un'ipotesi di "sovrapposizione" (positività) tra le distribuzioni di membri e non-membri.
2. Framework di Correzione della Perdita:
   • Una Prospettiva di Composizione che deconvolve lo spostamento di distribuzione dalla perdita algoritmica tramite composizione adattiva.
   • Una Prospettiva Condizionale che aggiusta le ipotesi di appartenenza punto per punto in base ai punteggi di propensione, producendo correzioni robuste e dipendenti dallo spostamento.
3. Quantificazione dell'Incertezza: Integrazione del bootstrapping per fornire limiti inferiori statisticamente validi che tengono conto degli errori nella stima dei punteggi di propensione.
4. Scalabilità: Dimostrazione che gli audit della privacy possono essere eseguiti su modelli su larga scala già distribuiti, dove il riaddestramento è computazionalmente o logisticamente impossibile.

4. Risultati Sperimentali

Gli autori valutano l'audit Zero-Run su dati sintetici e benchmark reali (iWildCam):

• Dati Sintetici: Con l'aumentare dell'entità dello spostamento di distribuzione, gli audit One-Run standard (che ignorano lo spostamento) producono limiti invalidi. Le correzioni globali perdono rapidamente potenza statistica a causa delle penalità nel caso peggiore. Al contrario, la correzione condizionale consapevole della propensione mantiene limiti empirici informativi e relativamente piatti attraverso i livelli di spostamento.
• Dati Reali (iWildCam): In presenza di gravi spostamenti di distribuzione naturali (geografici/ambientali), i metodi globali e non consapevoli della propensione producono limiti non positivi (inutili). La correzione condizionale consapevole della propensione estrae con successo un limite inferiore valido per la privacy ($\hat{\mu} = 0.645$) per dati fuori distribuzione (OOD), corrispondendo strettamente al limite raggiunto da una divisione IID ideale ($\hat{\mu} = 0.652$).
• Costo: L'approccio Zero-Run comporta una penalità di circa $\approx 1$ unità nella metrica $\mu$-GDP rispetto all'audit One-Run ideale, attribuita al costo della stima del punteggio di propensione e della quantificazione dell'incertezza.

5. Significato e Affermazioni

Il documento afferma che l'audit della privacy post-hoc è possibile ma deve essere trattato come un problema di inferenza osservazionale. Il significato chiave risiede in:

• Colmare il Divario di Responsabilità: Fornire a regolatori e ricercatori strumenti per verificare le garanzie di privacy per i modelli fondazionali senza richiedere l'accesso all'infrastruttura di addestramento.
• Analogia Causale: Applicazione riuscita dei principi dell'inferenza causale (punteggi di propensione, aggiustamento per confondimento) al dominio dell'audit della privacy.
• Praticità: Abilitare la valutazione della privacy in scenari in cui le garanzie teoriche sono opache e la riesecuzione sperimentale è non fattibile.

Gli autori rimangono modesti, riconoscendo i limiti:

• Stima della Propensione: Il framework si basa su una stima accurata dei punteggi di propensione, che è impegnativa in contesti ad alta dimensionalità e con campioni finiti.
• Limitazioni Ereditate: L'audit Zero-Run eredita le inefficienze dei campioni finiti dei metodi One-Run e dipende dalla forza di base del MIA sottostante.
• Falsificabilità: Sebbene l'audit sia valido, i limiti stessi dei punteggi di propensione non possono essere formalmente certificati; sono falsificabili computazionalmente attraverso test avversari ma si basano sulla validazione empirica.

In conclusione, il documento stabilisce che lo spostamento di distribuzione è una fonte distinta di informazioni sull'appartenenza che deve essere quantificata e corretta. Utilizzando i punteggi di propensione, l'audit Zero-Run converte questi fattori confondenti in limiti inferiori empirici validi sulla perdita di privacy algoritmica.