Riepilogo Tecnico: Certificato nella Teoria, Rotto nella Pratica

Definizione del Problema

Il documento affronta una vulnerabilità critica nei protocolli di Certificazione di Modelli Criptografici (CMC) utilizzati per l'auditing del machine learning preservante la privacy. Sebbene gli attuali framework CMC utilizzino prove a conoscenza zero (ZKP) e impegni criptografici (commitments) per verificare le proprietà del modello (ad esempio, accuratezza, equità, privacy differenziale) senza rivelare l'interno del modello o i dati di addestramento, essi soffrono di un fondamentale gap di assunzione.

Le attuali definizioni di sicurezza certificano che un modello soddisfi una proprietà $f$ su un dataset di audit fisso $S_{audit}$. Tuttavia, esse non riescono a garantire che questa proprietà si generalizzi alla distribuzione sottostante $D$ dalla quale $S_{audit}$ è stato estratto. Gli autori sostengono che se il fornitore del modello (prover) conosce il dataset di audit prima di impegnarsi (commitment) sul proprio modello, può intraprendere attacchi di falsificazione dei dati (data forging attacks). Progettando accuratamente i dati di addestramento, un fornitore malizioso può produrre un modello che supera l'audit criptografico (esibendo un comportamento "benigno" su $S_{audit}$) pur esibendo un comportamento "patologico" su nuovi campioni della stessa distribuzione $D$. Ciò crea un falso senso di sicurezza, permettendo il dispiegamento di modelli che non soddisfano le garanzie previste nei veri scenari reali.

Metodologia

1. Modello di Minaccia e Gioco di Attacco

Gli autori formalizzano un modello di minaccia che coinvolge un fornitore di modelli malizioso (prover) e un auditor onesto ma curioso (verifier). Introducono un gioco di Addestramento Adattivo con Dati di Audit Conosciuti (Definizione 3) per dimostrare la vulnerabilità:

• Setup: L'avversario riceve un dataset di audit $S_{audit} \sim D^\ell$.
• Obiettivo: L'avversario produce un'ipotesi $h$ e un set di dati di addestramento $S_{train}$ tali che:
  1. Il modello superi l'audit: $f(h, S_{train}, S_{audit}) = 1$.
  2. Il modello fallisca la vera proprietà di sicurezza sulla distribuzione: $F(h, S_{train}) = 0$.
  3. Il modello soddisfi un predicato di utilità $L$ (ad esempio, massimizzare i dinieghi delle richieste per un fornitore di assicurazioni).

2. Attacchi di Falsificazione dei Dati

Il documento presenta tre concrete strategie di falsificazione dei dati che aggirano le difese criptografiche standard (ZKP e commitment) senza alterare il processo di addestramento in sé, bensì manipolando i dati di input:

• Attacco all'Accuratezza: Utilizzando l'Algoritmo 1, l'attaccante costruisce un set di addestramento $S'_{train}$ contenente i punti di audit con etichette corrette, aumentati da vicini $\epsilon$-perturbati etichettati con la classe opposta. Addestrando su questi dati (ad esempio, usando alberi decisionali fino all'omogeneità delle foglie), il modello raggiunge un'accuratezza perfetta su $S_{audit}$, ma predice l'etichetta opposta per qualsiasi punto al di fuori del vicinato $\epsilon$ dei dati di audit, risultando in un'accuratezza quasi nulla sul resto della distribuzione.
• Attacco all'Equità (Fairness): Utilizzando l'Algoritmo 2, l'attaccante manipola gli attributi sensibili e le etichette. Sul set di audit, le etichette sono randomizzate per garantire la parità demografica (apparire equo). Sul resto della distribuzione, il modello impara a predire in base agli attributi sensibili, risultando in una massima iniquità.
• Attacco alla Privacy Differenziale (DP): Utilizzando l'Algoritmo 3, l'attaccante duplica specifici punti dati nel set di addestramento. Poiché la sensibilità della DP dipende dal cambiamento nell'output quando un singolo record viene modificato, la duplicazione dei record rompe le assunzioni di sensibilità, permettendo all'attaccante di addestrare un modello con garanzie di privacy significativamente peggiori di quelle dichiarate, pur superando una prova ZKP di "corretto procedimento di addestramento DP".

3. Evasione Statistica

Gli autori dimostrano che questi dataset falsificati sono indistinguibili dai dataset onesti sotto i test statistici standard. Aggiungendo un numero sufficiente di copie dei dati di audit al set di addestramento, l'attaccante assicura che i dati di addestramento e i dati di audit superino il t-test di Welch e il test di Levene (che controllano l'uguaglianza di media e varianza) con alta probabilità, rendendo inefficace la rilevazione statistica.

4. Template per un CMC Sicuro

Per mitigare questi attacchi, il documento propone un template di protocollo Commit-Sample-Prove ($\Pi_{csp}$):

1. Commit: Il fornitore del modello riceve prima l'impegno (commitment) per il proprio modello $h$ (e opzionalmente per i dati di addestramento) utilizzando uno schema di impegno criptografico.
2. Sample: Solo dopo che l'impegno è stato ricevuto, l'auditor campiona il dataset di audit $S_{audit}$ dalla distribuzione $D$.
3. Prove: Il fornitore e l'auditor eseguono una ZKP per verificare che il modello impegnato soddisfi il predicato empirico $f$ sul nuovo $S_{audit}$ appena campionato.

Questo ordine assicura che $S_{audit}$ sia indipendente dal modello $h$ e dai dati di addestramento, impedendo al fornitore di adattare i dati all'audit set. Gli autori forniscono definizioni formali per la $\tilde{F}$-relaxed knowledge soundness, garantendo che se un modello supera l'audit, esso soddisfi la proprietà desiderata $F$ sulla distribuzione (fino a un piccolo errore quantificabile derivato dalle disuguaglianze di concentrazione).

Contributi Chiave

1. Identificazione delle Vulnerabilità Dipendenti dai Dati: Il documento identifica che gli attuali schemi CMC sono vulnerabili alla falsificazione dei dati quando il dataset di audit è noto al fornitore prima dell'impegno del modello. Questo gap permette la certificazione di modelli che sono "rotti nella pratica" nonostante superino gli audit teorici.
2. Dimostrazione Empirica degli Attacchi: Attraverso esperimenti su sei dataset di riferimento (es. Adult, COMPAS, German Credit) utilizzando Decision Trees, XGBoost e Reti Neurali, gli autori mostrano che:
   • I modelli possono raggiungere un'accuratezza >99% sui dati di audit scendendo a <30% su nuovi campioni.
   • I modelli possono apparire perfettamente equi sui dati di audit pur mostrando una disparità quasi massima in fase di deployment.
   • Questi attacchi evadono la rilevazione tramite i test statistici standard (t-test di Welch).
3. Case Study Sistematico: Gli autori hanno analizzato nove lavori recenti in ambito sicurezza e machine learning (inclusi zkCNN, Confidential-DPproof e OATH). Hanno riscontrato che sei di questi lavori sono almeno parzialmente vulnerabili perché utilizzano dataset pubblici per l'auditing o non impongono l'impegno (commitment) prima della rivelazione del dataset.
4. Framework di Sicurezza Formale: Il documento introduce definizioni di sicurezza rigorose adattate alla CMC, distinguendo tra garanzie specifiche del dataset e garanzie distribuzionali. Fornisce un template di protocollo generico ($\Pi_{csp}$) e ne prova la sicurezza sotto standard assunzioni criptografiche, assicurando che le proprietà certificate si generalizzino alla distribuzione sottostante.

Risultati

• Vulnerabilità: Nel gioco di attacco, gli avversari hanno superato con successo audit che richiedevano il 99% di accuratezza, ottenendo però solo circa il 30% di accuratezza sui dati di test. Allo stesso modo, i modelli hanno superato audit di equità con gap di disparità quasi nulli, ma hanno mostrato una disparità quasi massima sui dati di test.
• Indetectabilità: I dataset di addestramento falsificati hanno superato i t-test di Welch e i test di Levene contro il dataset di audit con livelli di significatività $\alpha=0.05$, dimostrando che i controlli statistici non possono distinguere in modo affidabile i dati di addestramento malevoli da quelli onesti in questo contesto.
• Ripristino della Sicurezza: Il template $\Pi_{csp}$ proposto si è dimostrato compatibile con le attuali costruzioni ZKP (ad esempio, per decision trees e CNN). Applicando l'ordine "commit-then-sample", la sicurezza di questi protocolli viene ripristinata, impedendo gli attacchi di falsificazione dei dati.

Significato e Rivendicazioni

Il documento sostiene che i suoi risultati fungano da evidenza cautelativa piuttosto che da dichiarazione che i lavori criptografici precedenti siano tecnicamente rotti. L'assunto centrale è che le garanzie di sicurezza fornite dagli attuali framework CMC non si allineano con i requisiti pratici dell'auditing, i quali richiedono che le proprietà certificate valgano su nuovi dati provenienti dalla stessa distribuzione, e non solo su un set di audit specifico.

Gli autori sottolineano che:

• Le soluzioni di audit sicure che utilizzano dataset pubblici noti o che riutilizzano dataset di test (dove il fornitore apprende i dati) difficilmente forniranno garanzie robuste.
• L'importanza del campionamento continuo di dati freschi o di meccanismi criptografici che nascondano i dati di audit fino al commitment del modello è fondamentale per un'infrastruttura di auditing efficace.
• I futi design per l'auditing del machine learning criptograficamente sicuro devono affrontare esplicitamente il divario tra la certificazione specifica del dataset e la generalizzazione distribuzionale, richiedendo una stretta comunicazione tra le comunità di crittografia, sicurezza e machine learning.

Il lavoro non pretende di risolvere tutte le sfide della privacy-preserving auditing (ad esempio, la certificazione efficiente della DP rimane difficile a causa della necessità di generazione di dati di addestramento affidabili), ma fornisce un framework fondamentale e un template di protocollo specifico per mitigare le vulnerabilità di falsificazione dei dati identificate.