Sintesi Tecnica: VMask – Protezione della Privacy delle Etichette Regolabile per il Vertical Federated Learning tramite Layer Masking

1. Definizione del Problema

Il Vertical Federated Learning (VFL) consente a più parti di addestrare collaborativamente un modello di machine learning mantenendo privati i propri set di dati locali. In una tipica configurazione VFL, una parte attiva detiene le etichette (labels), mentre le parti passive detengono sottoinsiemi di caratteristiche (features). Sebbene il VFL sia generalmente considerato protettivo per la privacy poiché vengono scambiati solo embedding di caratteristiche intermedie e gradienti, studi recenti hanno dimostrato la sua vulnerabilità agli attacchi di inferenza delle etichette.

Tra le varie superfici di attacco, l'attacco di Model Completion (MC) è identificato come la minaccia più potente e grave. In questo scenario, una parte passiva semi-onesta (honest-but-curious), che segue rigorosamente il protocollo di addestramento, può perfezionare un modello inferiore (bottom model) addestrato localmente con una testa di inferenza aggiunta per predire accuratamente le etichette private della parte attiva. Ciò è possibile perché il modello inferiore impara a generare embedding di caratteristiche che sono fortemente correlati alle etichette private.

I meccanismi di difesa esistenti contro gli attacchi MC affrontano tre sfide critiche:

1. Compromesso Subottimale: I metodi spesso sacrificano una parte significativa dell'utilità del modello per ottenere la privacy, o viceversa.
2. Overhead Impraticabile: Le soluzioni basate sulla crittografia (ad esempio, Crittografia Omomorfica, Secure Multi-Party Computation) offrono una privacy rigorosa ma comportano costi computazionali proibitivi, rendendole inadatte alla distribuzione su larga scala.
3. Mancanza di Regolabilità: Gli attuali metodi non consentono al difensore di regolare in modo flessibile il livello di privacy delle etichette in base a specifici vincoli di risorse o requisiti di accuratezza.

2. Metodologia: Il Framework VMask

Gli autori propongono VMask, un nuovo framework che difende dagli attacchi MC attraverso il layer masking (mascheramento dei livelli) preservando l'utilità del modello e offrendo una privacy regolabile.

Intuizione Fondamentale

L'intuizione fondamentale è che la forte correlazione tra i dati di input e i relativi embedding di caratteristiche consente agli attaccanti di inferire le etichette. VMask interrompe questa correlazione randomizzando specifici parametri di livello all'interno del modello inferiore dell'attaccante. Mascherando questi livelli, la capacità del modello di generare embedding di caratteristiche rappresentativi viene degradata, riducendo così l'accuratezza dell'inferenza dell'attaccante.

Componenti Chiave

VMask integra due moduli e due procedure in un sistema VFL standard:

1. Secret Sharing (SS) per il Layer Masking:

   • Invece di eliminare semplicemente i livelli, VMask utilizza lo Secret Sharing Additivo per mascherare i parametri dei livelli lineari.
   • La parte attiva e le parti passive condividono i parametri in modo che la parte passiva (attaccante) detenga una quota (share) casuale, mentre la parte attiva detenga la quota complementare (più rumore casuale per prevenire la ricostruzione).
   • Ciò preserva l'integrità delle computazioni lineari (operazioni di Addizione e Moltiplicazione) durante l'addestramento, garantendo che l'accuratezza del compito principale rimanga elevata.

2. Strategia di Selezione dei Livelli Critici:

   • Mascherare ingenuamente tutti i livelli è computazionalmente costoso. VMask impiega una strategia per selezionare solo i livelli critici da mascherare.
   • Criterio: I livelli sono selezionati in base alle loro norme del gradiente accumulato sulla cronologia dell'addestramento. I livelli con gradienti più grandi sono considerati più critici per l'inferenza delle etichette.
   • Osservazione: I risultati empirici mostrano che mascherare livelli critici non adiacenti è più efficace nel ridurre l'accuratezza dell'attacco rispetto al mascheramento di livelli consecutivi.

3. Shadow Model per la Stima:

   • Poiché la parte attiva non può accedere direttamente ai veri gradienti dell'attaccante, mantiene un modello ombra (architettura identica al modello inferiore della parte passiva) addestrato sincronicamente su un piccolo dataset ausiliario.
   • La parte attiva utilizza questo modello ombra per simulare localmente l'attacco MC e stimare l'entità della fuga delle etichette.

4. Budget di Privacy Regolabile:

   • Il framework supporta un budget di privacy $\epsilon$ regolabile. La parte attiva simula l'attacco sul modello ombra; se l'accuratezza dell'attacco stimata supera il budget, il sistema seleziona greedymente ulteriori livelli critici da mascherare finché la fuga non rientra nel limite definito.

Flusso di Lavoro (Workflow)

1. Inizializzazione: Le parti passive e la parte attiva inizializzano i modelli. Il primo livello è mascherato per impostazione predefinita.
2. Layer Masking: In base alla strategia di selezione, specifici livelli vengono mascherati utilizzando lo SS.
3. Aggiornamento Sicuro del Modello: Il modello VFL si addestra. I livelli mascherati sono calcolati tramite secret sharing (forward/backward sicuri), mentre i livelli non mascherati utilizzano la computazione standard in chiaro.
4. Aggiornamento del Modello Ombra: La parte attiva addestra il modello ombra sul dataset ausiliario.
5. Selezione dei Livelli: La parte attiva simula un attacco MC sul modello ombra. Se la fuga è > budget, altri livelli vengono aggiunti alla lista di mascheramento per l'epoca successiva.
6. Iterazione: Questo processo si ripete fino alla convergenza del modello VFL globale.

3. Contributi Chiave

• Framework Innovativo: L'introduzione di VMask, il primo framework che utilizza lo secret sharing per il layer masking per difendersi dagli attacchi MC mantenendo un'alta utilità del modello.
• Privacy Regolabile: Il design di un meccanismo di budget di privacy regolabile, che consente ai difensori di controllare in modo flessibile il compromesso tra privacy e utilità in base ai requisiti effettivi, una caratteristica assente nei lavori precedenti.
• Strategia di Selezione Efficiente: Una strategia di selezione dei livelli basata sulle norme del gradiente accumulato che mira a livelli critici e non adiacenti, riducendo significativamente l'overhead dell'applicazione dello secret sharing all'intero modello.
• Valutazione Esaustiva: Esperimenti estesi su 5 architetture di modelli (MLP3, LeNet5, VGG13, ResNet18, DistilBERT) e 13 dataset (tabulari, immagini, testo), confrontando VMask con 12 metodi di difesa esistenti.

4. Risultati Sperimentali

La valutazione dimostra che VMask raggiunge il miglior compromesso privacy-utilità tra tutti i metodi confrontati:

• Protezione della Privacy: VMask frustra con successo gli attacchi MC, riducendo l'accuratezza dell'inferenza delle etichette a un livello di indovinare casualmente (comparabile al modello di un attaccante randomizzato). In tutti i casi testati, l'accuratezza dell'attacco è stata ridotta a livelli quasi casuali (ad esempio, ~10-20% a seconda del dataset, rispetto al 40-90% per i modelli non protetti).
• Utilità del Modello: Il framework preserva le prestazioni del modello con una degradazione minima.
  • Nei modelli basati su Transformer (DistilBERT), il calo medio dell'accuratezza del modello VFL è stato solo dello 0,09%.
  • In tutti i modelli, il calo medio di accuratezza è stato al massimo dello 0,34%.
• Efficienza:
  • VMask è fino a 60.846 volte più veloce dei metodi basati sulla crittografia (ad esempio, Crittografia Omomorfica).
  • Rispetto al VFL standard, l'overhead di runtime è marginale. Per modelli grandi come DistilBERT (67M parametri), il runtime di VMask è solo 1,8 volte quello del VFL standard, un valore che gli autori ritengono generalmente accettabile.
• Regolabilità: Il framework controlla costantemente la fuga delle etichette entro il budget di privacy definito attraverso diversi livelli di privacy.

5. Significato e Rivendicazioni

Il documento afferma che VMask risponde alla necessità urgente di una difesa pratica contro l'attacco di Model Completion nel VFL. Il suo significato risiede in:

1. Rompere il Compromesso: Raggiunge simultaneamente un'alta utilità del modello e una forte privacy, superando i limiti dei precedenti metodi basati su ML che spesso sacrificano l'uno per l'altro.
2. Distribuzione Pratica: Evitando pesanti operazioni crittografiche, offre una soluzione computazionalmente fattibile per scenari reali, a differenza degli esistenti approcci crittografici.
3. Flessibilità: È il primo a offrire un budget di privacy regolabile, permettendo ai difensori di prendere decisioni informate basate sui propri vincoli di risorse e requisiti di privacy senza dover riprogettare o riaddestrare il sistema.

Gli autori concludono che VMask fornisce una soluzione robusta, efficiente e flessibile per proteggere la privacy delle etichette nel Vertical Federated Learning, rendendolo un candidato ideale per la distribuzione in domini sensibili come la finanza e la sanità, dove la fuga delle etichette è una preoccupazione critica.