Traceable Black-box Watermarks for Federated Learning

Riassunto Tecnico: TraMark

1. Il Problema: Protezione della Proprietà Intellettuale in FL

Nel Federated Learning (FL), i client collaborano per addestrare un modello globale senza condividere i propri dati privati. Tuttavia, questo sistema presenta un rischio critico: la fuga del modello (model leakage). Un client malevolo potrebbe duplicare e distribuire illegalmente il modello globale per profitto personale.

Le tecniche di watermarking esistenti presentano due limiti principali:

• Watermarking White-Box (es. basato su parametri): Richiedono l'accesso ai pesi del modello per la verifica, il che è impossibile se il modello sospetto è accessibile solo tramite API (scenario Black-Box).
• Watermarking Black-Box non tracciabile (es. WAFFLE): Permettono la verifica tramite input/output, ma non consentono di identificare quale specifico client ha causato la fuga.
• Watermarking Black-Box tracciabile esistenti (es. FedTracker): Spesso richiedono l'accesso white-box o modificano il protocollo di addestramento locale, rendendoli vulnerabili a manipolazioni da parte dei client.

Il problema formale identificato dagli autori è l'iniezione di watermark che siano contemporaneamente tracciabili (identificano il colpevole), black-box (verificabili tramite query) e resistenti alla collisione (i watermark di diversi client non devono sovrapporsi durante l'aggregazione).

2. Metodologia: TraMark

Gli autori propongono TraMark, un metodo basato sul lato server che non richiede modifiche al protocollo di addestramento dei client. La strategia si basa su tre pilastri:

A. Partizionamento dello Spazio dei Parametri:
Invece di applicare il watermark a tutto il modello, TraMark divide lo spazio dei parametri in due regioni distinte tramite maschere binarie:

1. Main Task Region ($M_m$): Contiene i parametri più importanti per il compito principale (identificati tramite un periodo di warmup e basandosi sulla magnitudo dei pesi).
2. Watermarking Region ($M_w$): Contiene i parametri meno significativi, destinati a ospitare il watermark.

B. Aggregazione Mascherata (Masked Aggregation):
Per evitare che i watermark dei diversi client si fondano (collisione) durante la fase di aggregazione tipica di FedAvg, il server utilizza un'aggregazione differenziata:

• I parametri della Main Task Region vengono aggregati normalmente per mantenere l'intelligenza collettiva.
• I parametri della Watermarking Region vengono mantenuti personalizzati per ogni client, preservando l'identità univoca del watermark.

C. Iniezione del Watermark Personalizzato:
Il server genera per ogni client un dataset di watermark ($D_w^i$) unico, composto da campioni out-of-distribution (OOD) con output predefiniti. Il watermark viene iniettato addestrando il modello solo nella Watermarking Region, garantendo che l'apprendimento del watermark non interferisca con le prestazioni del compito principale.

3. Contributi Chiave

• Formalizzazione Matematica: È il primo lavoro a definire formalmente il problema del watermarking black-box tracciabile in contesti FL.
• Architettura Server-Side: Il metodo è completamente gestito dal server, rendendolo invisibile e resistente ai client che tentano di ignorare o manipolare il processo di watermarking.
• Prevenzione delle Collisioni: Attraverso l'aggregazione mascherata e l'uso di dataset di watermark distinti, TraMark garantisce che ogni modello sia univocamente identificabile.
• Efficienza e Scalabilità: Il metodo ha un overhead computazionale trascurabile e scala linearmente con il numero di client.

4. Risultati Sperimentali

Il metodo è stato testato su dataset come FMNIST, CIFAR-10, CIFAR-100 e Tiny-ImageNet utilizzando diverse architetture (CNN, AlexNet, VGG-16, ViT).

• Efficacia della Tracciabilità: TraMark ha raggiunto un Verification Rate (VR) medio del 99,58%, dimostrando una capacità quasi perfetta di identificare il leaker.
• Prestazioni del Modello: La perdita di accuratezza sul compito principale (Main Task Accuracy - MA) è stata minima, con un calo medio di soli 0,54% rispetto a FedAvg.
• Robustezza agli Attacchi: Il watermark si è dimostrato resistente ad attacchi di pruning (potatura dei parametri) e fine-tuning (ri-addestramento locale), poiché i parametri del watermark sono strettamente accoppiati a quelli del modello.
• Confronto con i Baseline: Rispetto a FedTracker (white-box), TraMark è più pratico; rispetto a WAFFLE (non tracciabile), TraMark offre la capacità cruciale di identificare il colpevole.

5. Significato e Implicazioni

TraMark rappresenta un passo fondamentale per la sicurezza del Federated Learning in scenari industriali (es. sanità o finanza), dove la protezione della proprietà intellettuale è vitale. Fornisce un meccanismo di accountability (responsabilità) che permette ai proprietari dei modelli di perseguire legalmente i responsabili delle fughe di dati, senza compromettere la privacy dei dati dei client o l'utilità del modello globale.