Riassunto Tecnico: Privacy Leakage via Output Label Space and Differentially Private Continual Learning

1. Il Problema: Il "Side-Channel" dello Spazio delle Etichette

Il problema centrale identificato dagli autori è che, anche quando l'addestramento di un modello di Machine Learning è protetto da Differential Privacy (DP), il sistema complessivo può presentare vulnerabilità. Nello specifico, gli autori identificano un canale laterale di privacy (privacy side-channel) nello spazio delle etichette di output (output label space) di un classificatore.

Nel contesto dell'Apprendimento Continuativo (Continual Learning - CL), i modelli imparano nuovi task in sequenza, il che implica l'aggiunta costante di nuove etichette. Se il modello rilascia esplicitamente l'elenco delle etichette che può classificare, un attaccante può dedurre la presenza di nuovi dati sensibili semplicemente osservando l'espansione dello spazio delle etichette. Ad esempio, se un classificatore passa da un set di etichette $\{A, B\}$ a un set $\{A, B, C\}$, l'attaccante può inferire con certezza che il nuovo dataset conteneva campioni della classe $C$, violando le garanzie di DP.

2. Metodologia e Contributi Chiave

Il paper introduce una formalizzazione rigorosa della DP applicata al CL e propone soluzioni per eliminare questo side-channel.

A. Formalizzazione della Task-wise DP

Gli autori introducono il concetto di Task-wise Adjacency (adiacenza per task). Invece di considerare la vicinanza tra interi dataset globali, definiscono la privacy in termini di sequenze di dataset dove solo un task alla volta può differire. Questo permette di garantire che la privacy non si degradi all'aumentare del numero di task (composizione parallela).

B. Metodi per proteggere lo spazio delle etichette

Per evitare la fuga di informazioni, gli autori propongono due alternative al rilascio diretto delle etichette:

1. $S_{learned}$ (Rilascio DP delle etichette): Si utilizza un meccanismo di DP separato (ispirato al private partition selection problem) per decidere quali etichette rilasciare. Questo comporta un compromesso (trade-off): parte del budget di privacy ($\epsilon$) viene speso per proteggere le etichette, lasciandone meno per l'addestramento dei pesi del modello.
2. $S_{prior}$ (Spazio delle etichette basato su conoscenza a priori): Si utilizza un ampio set di etichette pubbliche e predefinite che non dipendono dai dati sensibili. Le etichette dei dati sensibili che non corrispondono a quelle pubbliche vengono mappate o scartate. Questo metodo è intrinsecamente DP poiché lo spazio delle etichette è indipendente dai dati.

C. Nuovi Metodi di DP-CL con Modelli Pre-addestrati

Gli autori adattano due tecniche di CL che sfruttano modelli pre-addestrati (per migliorare l'utilità sotto vincoli di DP):

• Cosine Similarity Classifier: Un classificatore basato su prototipi che accumula somme di feature (prototipi) sotto DP, utilizzando la similarità del coseno per la classificazione.
• PEFT Ensemble (Parameter-Efficient Fine-Tuning): Un insieme di modelli leggeri (utilizzando adattatori come FiLM) addestrati tramite DP-SGD su ogni task, permettendo di mantenere la conoscenza senza memorizzare i dati originali.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark complessi come Split-CIFAR-100 e Split-ImageNet-R, confrontando i metodi proposti con baseline esistenti (come il metodo di Desai et al., 2021).

• Efficacia della protezione: I metodi proposti eliminano il side-channel dell'etichetta, garantendo una protezione formale che i lavori precedenti ignoravano.
• Performance (Utilità):
  • Il metodo PEFT Ensemble supera costantemente il Cosine Classifier in termini di accuratezza, specialmente in scenari con spostamento di dominio (domain shift).
  • Tuttavia, in condizioni di privacy molto stringente ($\epsilon=1$) e in scenari di "blurry tasks" (dove le classi sono distribuite su più task), il Cosine Classifier dimostra una maggiore robustezza e utilità.
  • L'uso di etichette pubbliche ($S_{prior}$) si è dimostrato molto efficace e meno costoso in termini di budget di privacy rispetto al rilascio DP delle etichette ($S_{learned}$).

4. Significato e Conclusioni

La significatività di questo lavoro risiede nell'aver colmato una lacuna critica nella letteratura sulla privacy: l'idea che la protezione dei pesi del modello non sia sufficiente se l'architettura stessa (lo spazio delle etichette) rivela informazioni sui dati.

In sintesi, il paper dimostra che:

1. Il rilascio delle etichette in un sistema di apprendimento continuo è un vettore di attacco per la privacy.
2. È possibile mitigare questo rischio utilizzando conoscenza a priori o meccanismi DP per la selezione delle classi.
3. L'integrazione di modelli pre-addestrati e tecniche di fine-tuning efficiente (PEFT) è una strategia vincente per mantenere un'alta accuratezza pur rispettando rigorosi vincoli di privacy differenziale nel tempo.