Sintesi Tecnica: LDPKiT

Problematica

In settori regolamentati come la sanità e la finanza, le organizzazioni spesso ospitano modelli di machine learning (ML) tramite API remote per fornire servizi (ad esempio, previsione del rischio di malattie, rilevamento delle frodi) senza condividere i dati di addestramento proprietari o i pesi del modello. Sebbene l'accesso black-box protegga la proprietà intellettuale e i dati di addestramento del fornitore del modello, esso costringe l'utente del modello a trasmettere input di inferenza potenzialmente sensibili al server remoto. Gli esistenti metodi di inferenza che preservano la privacy, come la crittografia omomorfica o gli ambienti di esecuzione affidabili (TEE), soffrono di gravi sovraccarichi computazionali o richiedono hardware specializzato non ampiamente disponibile.

Al contrario, consentire agli utenti di scaricare i pesi del modello per l'inferenza locale espone il modello ad attacchi white-box. La sfida centrale affrontata da questo lavoro è consentire agli utenti di distillare un modello locale da un modello black-box remoto utilizzando i propri dati privati e sensibili, limitando rigorosamente la perdita di privacy degli input di query. Una sfida secondaria è che gli utenti in questi domini possiedono spesso solo piccole quantità di dati privati, che, se combinati con il rumore necessario per la privacy, si traducono in una scarsa utilità (accuratezza) per il modello distillato.

Metodologia

Gli autori propongono LDPKiT (Local Differentially-Private and Utility-Preserving Inference via Knowledge Transfer), un framework che combina la Differential Privacy Locale (LDP) con una nuova tecnica di aumento dei dati per recuperare l'utilità persa a causa del rumore della privacy.

1. Configurazione del Sistema

Lo scenario coinvolge un fornitore di modelli che ospita un modello remoto ($M_R$) e un utente con un dataset sensibile, non etichettato e di piccole dimensioni ($D_{priv}$). L'obiettivo dell'utente è addestrare un modello locale ($M_L$) che possa etichettare accuratamente $D_{priv}$ senza rivelare i dati grezzi a $M_R$.

2. Meccanismo di Privacy

Per proteggere $D_{priv}$, l'utente applica del rumore $\epsilon$-LDP a ciascun campione prima di interrogare $M_R$. Il documento utilizza il Meccanismo di Laplace per soddisfare la $\epsilon$-LDP. Fondamentalmente, il framework si basa sulla Proprietà di Post-Processing della LDP, la quale afferma che qualsiasi funzione deterministica o randomizzata applicata a un output $\epsilon$-LDP rimane $\epsilon$-LDP. Ciò consente all'utente di aumentare i dati rumorosi senza indebolire la garanzia di privacy.

3. Strategie di Aumento dei Dati

Poiché $D_{priv}$ è tipicamente piccolo, l'interrogazione diretta produce una bassa utilità. LDPKiT aumenta il dataset rumoroso iniziale ($D_{protected}$) in un dataset di inferenza più grande ($D_{infer}$) utilizzando due strategie:

• LDPKiT-Rand: Aggiunge un secondo livello di rumore di Laplace indipendente ai campioni protetti. Questo genera varianti perturbate ma può allontanare ulteriormente i dati dalla distribuzione reale.
• LDPKiT-Sup (Superimposizione): Questa è la nuova contribuzione. Genera nuovi campioni calcolando la media di coppie di campioni protetti da $D_{protected}$. Nello specifico, per indici distinti $i$ e $j$, un campione aumentato è calcolato come $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$.
  • Razionale: Gli autori ipotizzano che la superimposizione di campioni rumorosi aiuti a preservare meglio la struttura della classe target e i confini decisionali rispetto all'iniezione di rumore casuale.
  • Privacy: Poiché la media è un'operazione di post-processing su output $\epsilon$-LDP, il risultante $D_{infer}$ mantiene la garanzia $\epsilon$-LDP a livello di record. Anche se un fornitore tentasse di recuperare algebricamente i record protetti dai valori medi di coppia, recupererebbe solo i record protetti rumorosi, non i dati privati originali, preservando così la garanzia $\epsilon$-LDP.

4. Flusso di Lavoro

1. Fase I: L'utente applica il rumore $\epsilon$-LDP a $D_{priv}$ per creare $D_{protected}$.
2. Fase II: L'utente effettua il post-processing di $D_{protected}$ (tramite Rand o Sup) per generare $D_{infer}$.
3. Fase III: L'utente interroga $M_R$ con $D_{infer}$ per ottenere le etichette.
4. Fase IV: L'utente addestra $M_L$ su $D_{infer}$ etichettato e utilizza $M_L$ per l'inferenza locale su $D_{priv}$.

Contributi Chiave

1. Framework per la Distillazione che Preserva la Privacy: LDPKiT consente agli utenti di distillare la conoscenza da modelli black-box remoti utilizzando i propri dati privati, limitando la perdita di privacy tramite LDP.
2. Tecnica di Superimposizione: L'introduzione di LDPKiT-Sup, che utilizza la media a coppie di campioni rumorosi per generare dati aumentati. Questa tecnica sfrutta la proprietà di post-processing della LDP per migliorare l'utilità senza compromettere la privacy.
3. Validazione Empirica: Gli autori dimostrano che LDPKiT, in particolare la variante di superimposizione, recupera significativamente l'utilità persa a causa del rumore LDP rispetto al metodo di base (SIDP) e all'aumento del rumore casuale.
4. Analisi dello Spazio Latente: Il documento fornisce un'analisi delle rappresentazioni dello spazio latente, mostrando che i campioni superimposti rimangono più vicini ai cluster delle classi target rispetto ai campioni perturbati casualmente, spiegando i guadagni di accuratezza.

Risultati Sperimentali

Il framework è stato valutato su tre dataset di classificazione di immagini: Fashion-MNIST, SVHN e PathMNIST (imaging medico), utilizzando ResNet-152 come insegnante remoto e ResNet-18 o MobileNetV2 come studente locale.

• Recupero dell'Utilità: LDPKiT-Sup supera costantemente sia il baseline (SIDP) che LDPKiT-Rand.
  • Su SVHN con $\epsilon = 1.25$, LDPKiT-Sup raggiunge quasi la stessa accuratezza di inferenza di un valore a $\epsilon = 2.0$, offrendo garanzie di privacy più forti con una riduzione dell'accuratezza inferiore al 2% rispetto all'impostazione con $\epsilon$ più elevato.
  • Su Fashion-MNIST ($\epsilon = 2.0$), LDPKiT-Sup ha migliorato l'accuratezza di ResNet-18 all'81.78%, rispetto al 28.69% di SIDP e al 68.52% di LDPKiT-Rand.
  • Su PathMNIST ($\epsilon = 10.0$), LDPKiT-Sup ha raggiunto l'82.11%, superando significativamente SIDP (28.74%) e LDPKiT-Rand (43.90%).
• Impatto della Dimensione del Dataset: Il sistema è relativamente insensibile alla dimensione del dataset privato ($|D_{priv}|$). Gli utenti possono ottenere un'utilità simile con meno campioni privati (es. 125 campioni) purché il set di query aumentato ($|D_{infer}|$) sia sufficientemente grande (es. 250k–500k query).
• Robustezza della Privacy: Gli attacchi di ricostruzione dei dati utilizzando DDPM sull'augmented data hanno fallito nel recuperare le immagini originali con alta fedeltà. Le immagini ricostruite mostravano un SSIM inferiore e un MSE superiore rispetto agli originali, e i classificatori ottenevano un'accuratezza vicina al caso casuale su di esse.
• Efficienza dei Costi: Gli autori stimano che per grandi set di query (es. 2.2M di query), il costo dell'API sia di circa $1.15 (basato su un ipotetico prezzo del 2026), rendendolo più efficiente della crittografia omomorfica per l'elaborazione batch.

Significato e Rivendicazioni

Il documento sostiene che LDPKiT offre un design pratico e che preserva la privacy per interagire con servizi di ML remoti in domini sensibili. La sua importanza risiede in:

• Bilanciamento tra Privacy e Utilità: Dimostra che un efficace trasferimento di conoscenza è possibile anche sotto vincoli di privacy stringenti (basso $\epsilon$) sfruttando l'aumento dei dati che rispetta le garanzie LDP.
• Accessibilità: A differenza di TEE o della crittografia omomorfica, LDPKiT non richiede hardware specializzato e opera entro i normali vincoli delle API, rendendolo più accessibile per l'adozione.
• Privacy-by-Design: Il framework si allinea ai principi di uso responsabile dei dati, garantendo che i dati grezzi dell'utente non lascino mai il controllo dell'utente e che la perdita di privacy sia matematicamente limitata.

Gli autori notano modestamente alcune limitazioni, tra cui l'attuale restrizione alle modalità di immagine (dove la superimposizione è basata sui pixel) e la mancanza di un limite inferiore universale per la dimensione del dataset privato, suggerendo queste come direzioni per lavori futuri. Riconoscono inoltre che, sebbene la LDP a livello di record sia garantita, le correlazioni tra i record potrebbero teoricamente indebolire la privacy semantica, sebbene le pratiche di de-duplicazione nell'industria possano mitigare questo aspetto.