Riepilogo Tecnico: ScoreShield

Problema

Un numero crescente di applicazioni, inclusa la verifica biometrica e la generazione aumentata dalla ritrasmissione (RAG), si basa su punteggi di similarità del coseno calcolati tra embedding vettoriali. Questi sistemi rilasciano spesso punteggi di similarità (sia come vettori per l'abbinamento query-collezione che come matrici di Gram per analisi pairwise) tramite API. Tuttavia, tale rilascio può esporre informazioni sui singoli record, consentendo attacchi di inferenza dell'appartenenza (membership inference attacks) e attacchi di hill-climbing guidati dal punteggio.

Sebbene la privacy differenziale (DP) offra un quadro rigoroso per mitigare tali rischi, l'applicazione ingenua dei meccanismi DP standard — specificamente l'aggiunta di rumore Gaussiano indipendente e identicamente distribuito (i.i.d.) alle voci dei vettori o agli elementi della matrice — si rivela inadeguata. Questo approccio tratta i vettori di punteggio del coseno e le matrici di Gram come array euclidei non vincolati. Di conseguenza, gli output perturbati violano spesso i vincoli geometrici inerenti alle similarità del coseno:

1. Vettori: I punteggi devono rientrare nell'intervallo $[-1, 1]$.
2. Matrici di Gram: La matrice deve essere simmetrica, semidefinita positiva (PSD), con voci diagonali unitarie (poiché gli embedding hanno norma unitaria) e voci fuori diagonale comprese nell'intervallo $[-1, 1]$.

La perturbazione Gaussiana ingenua fallisce nel preservare tali vincoli, portando a un eccessivo disturbo (bassa utilità) a un dato budget di privacy. Inoltre, lo scaling dell'errore dei meccanismi ingenui è scarso; per il rilascio di una matrice di Gram completa sotto sostituzione a livello di record, l'errore quadratico medio della norma di Frobenius scala come $\Theta(n^3)$, degradando rapidamente all'aumentare della dimensione della galleria $n$.

Metodologia: ScoreShield

Gli autori propongono ScoreShield, un meccanismo "perturb-then-project" (perturba e poi proietta) progettato per rilasciare punteggi di similarità sotto privacy differenziale centrale $(\varepsilon, \delta)$ garantendo rigorosamente la fattibilità geometrica. Il framework opera in due regimi:

1. Rilascio del vettore Query-to-Collection (Regime i)

In questo regime, un curatore rilascia un vettore di punteggio privatizzato $s = Eq$ che rappresenta la similarità tra un embedding di query pubblico $q$ e una galleria di $n$ embedding memorizzati.

• Meccanismo: Il curatore calcola il vettore di punteggio pulito, aggiunge rumore Gaussiano calibrato sulla sensibilità $\ell_2$-globale ($\Delta_{query} = 2$) e poi proietta il vettore rumoroso sull'insieme di fattibilità $C_{query} = [-1, 1]^n$.
• Proiezione: La proiezione è un semplice'operazione di clipping per coordinata: $\text{proj}_{C_{query}}(s')_i = \max(-1, \min(1, s'_i))$.
• Privacy: Poiché la proiezione è un passaggio di post-elaborazione deterministico indipendente dai dati privati, la garanzia di $(\varepsilon, \delta)$-DP del meccanismo Gaussiano è preservata.

2. Rilascio della matrice di Gram pairwise completa (Regime ii)

In questo regime, un curatore rilascia una matrice di Gram del coseno pairwise privatizzata $S = EE^\top$ per analisi non interattive (ad esempio, clustering, audit di bias).

• Meccanismo: Il curatore aggiunge rumore Gaussiano alla matrice di Gram, calibrato sulla sensibilità di Frobenius globale. Sotto adiacenza a livello di record, questa sensibilità è $\Delta_{full} = 2\sqrt{2(n-1)} = \Theta(\sqrt{n})$.
• Proiezione: La matrice rumorosa viene proiettata sull'insieme di fattibilità del coseno-Gram $C_{coll}$, definito come l'insieme di matrici simmetriche, PSD con diagonale unitaria e voci fuori diagonale nell'intervallo $[-1, 1]$.
• Algoritmo: Poiché la proiezione esatta su questo insieme (l'ellitopo) è computazionalmente costosa (richiede un Programma Semidefinito - SDP), gli autori impiegano un algoritmo Fast Averaged Alternating Projection (AAP). Questo itera tra la proiezione sul cono PSD (tramite clipping degli autovalori) e la proiezione sulla scatola della diagonale unitaria (tramite clipping delle voci). Gli autori dimostrano la convergenza R-lineare alla fattibilità sotto regolarità lineare limitata.

Contributi Chiave

1. Miglioramento Quantitativo rispetto alla DP Gaussiana Ingenua:

   • Per il rilascio della matrice di Gram sotto adiacenza a livello di record, il meccanismo Gaussiano ingenuo produce un errore quadratico medio della norma di Frobenius di $\Theta(n^3)$. ScoreShield, utilizzando la geometria dell'insieme di fattibilità, migliora questo limite a $O(n^2)$ per parametri di privacy fissi.
   • Sotto adiacenza nello spazio di output (matrice di Gram), il miglioramento è da $\Theta(n^2)$ a $O(n^{3/2})$.
   • Per il rilascio del vettore, ScoreShield preserva lo scaling del caso peggiore $\Theta(n)$ del meccanismo ingenuo, ma offre guadagni in termini di fattori costanti riducendo l'errore sulle coordinate saturate tramite proiezione.

2. Garanzie di Utilità per Metriche a Livello Decisionale (Regime i):

   • Il documento fornisce garanzie teoriche per i compiti di verifica, caratterizzando la probabilità di inversioni decisionali (accetta/rifiuta) dovute al rumore.
   • Dimostra l'esistenza e l'unicità di una ricalibrazione della soglia che ripristina qualsiasi punto operativo ottenibile (Falso Positivo, Vero Positivo) realizzabile dai punteggi privatizzati.
   • Stabilisce una stabilità uniforme per ROC/AUC, mostrando che sotto CDF di punteggio Lipschitziane, la deviazione è al massimo $O(\sigma)$, che è strettamente primo ordine.

3. Proiezione Scalabile con Garanzie di Convergenza:

   • Gli autori introducono un risolutore AAP scalabile per imporre i vincoli del coseno su grandi matrici di Gram.
   • Forniscono prove teoriche della convergenza R-lineare di questo risolutore verso l'insieme di fattibilità, garantendo l'applicabilità pratica per rilasci su larga scala dove la proiezione SDP esatta è intrattabile.

4. Valutazione Completa:

   • Regime (i): Valutato su Face Recognition (utilizzando LFW, IJB-B/C e altri benchmark) e DP-RAG (utilizzando il benchmark FRAMES). I risultati dimostrano che ScoreShield mantiene l'utilità a livello decisionale (accuratezza di verifica, TAR) significativamente meglio del rumore Gaussiano ingenuo, particolarmente in punti operativi stringenti.
   • Regime (ii): Valutato su somiglianza di immagini (CIFAR-10/100, Oxford-IIIT Pets), somiglianza testuale semantica (STS-B) e sistemi di raccomandazione (MovieLens-100K). Le matrici di Gram proiettate superano costantemente le matrici rumorose non proiettate in compiti successivi come il clustering (NMI), il recupero (Recall@1) e il filtraggio collaborativo (RMSE).

Significato e Rivendicazioni

Il documento sostiene di fornire la prima analisi sistematica della privacy differenziale centrale $(\varepsilon, \delta)$ dei rilasci di punteggi di match nei sistemi di riconoscimento facciale deep che collega la ricalibrazione della soglia alle garanzie a livello decisionale. Affronta una lacuna critica nella letteratura dove i lavori precedenti si concentravano o sulla DP locale (perturbazione degli input) o su metodi crittografici, lasciando in gran parte inesplorati i rilasci di punteggi di similarità sotto il modello centrale.

Gli autori posizionano ScoreShield come un wrapper di post-elaborazione generale e indipendente dalla modalità. Imponendo i vincoli strutturali della similarità del coseno (PSD, diagonale unitaria, voci limitate) attraverso la proiezione, il meccanismo ottiene un rapporto privacy-utilità superiore rispetto all'aggiunta di rumore non vincolato. I risultati suggeriscono che la privatizzazione consapevole dei vincoli è un primitivo necessario affinché i sistemi basati sulla similarità rimangano funzionali pur fornendo protezioni rigorose della privacy contro attacchi di inferenza dell'appartenenza e di hill-climbing guidati dal punteggio.

Il lavoro ha un ambito modesto, concentrandosi su rilasci one-shot, non interattivi sotto adiacenza di sostituzione a livello di record. Nota esplicitamente di non affrontare le query adattive ripetute (che richiedono l'accounting di composizione) o la derivazione di distribuzioni di rumore ottimali per l'istanza, lasciando questi come direzioni per il lavoro futuro.