ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning

Titolo

ProtoGuard-SL: Difesa contro Backdoor basata sulla Coerenza dei Prototipi per l'Apprendimento Split Verticale

1. Il Problema

L'Apprendimento Split Verticale (Vertical Split Learning - SL) è un paradigma collaborativo in cui diverse parti (clienti) possiedono feature complementari degli stessi campioni, ma non possono condividere i dati grezzi per motivi di privacy. Invece, i clienti addestrano modelli locali ("bottom models") per generare embedding intermedi che vengono inviati a un server centrale, il quale addestra un modello superiore ("top model") utilizzando le etichette.

Tuttavia, questo approccio è vulnerabile ad attacchi backdoor basati sull'avvelenamento degli embedding.

• Vulnerabilità: Gli avversari, compromettendo i clienti, possono iniettare trigger nascosti negli embedding intermedi. Questi trigger manipolano il modello server per produrre previsioni specifiche dell'attaccante quando sono presenti condizioni di attivazione, pur rimanendo difficili da rilevare.
• Limiti delle difese esistenti: Gli attacchi moderni (come VILLAIN, BadVFL, SplitNN) sono altamente stealthy. Gli embedding avvelenati hanno distribuzioni che si sovrappongono fortemente a quelle dei campioni benigni nello spazio originale, rendendo inefficaci le difese basate su criteri geometrici semplici o sull'anomalia dei dati. Le difese attuali (es. VFLIP, pruning, privacy differenziale) offrono una robustezza limitata contro attacchi adattivi o compromettono significativamente l'accuratezza del modello.

2. Metodologia: ProtoGuard-SL

Il paper propone ProtoGuard-SL, una difesa lato server che sfrutta la coerenza rappresentazionale condizionata alla classe nello spazio degli embedding. L'idea centrale è che, mentre gli attacchi backdoor possono ingannare i rilevatori di anomalie convenzionali, gli embedding avvelenati inevitabilmente disturbano la coerenza semantica stabile condivisa dai campioni benigni della stessa classe.

La metodologia si articola in due fasi principali:

A. Rappresentazione basata sulla Coerenza dei Prototipi

Invece di analizzare gli embedding nello spazio originale, il server li trasforma in uno spazio relazionale basato sui prototipi di classe:

1. Costruzione del Prototipo di Classe: Utilizzando le etichette (disponibili al server in SL), il server calcola un prototipo robusto per ogni classe $c$. Il prototipo $p_c$ è definito come la mediana (coordinate-wise) degli embedding appartenenti a quella classe. L'uso della mediana garantisce robustezza contro una piccola frazione di campioni avvelenati.
2. Trasformazione in Vettore di Coerenza: Ogni embedding $E_k$ viene mappato in un vettore di coerenza $v_k$ che rappresenta la sua similarità (cosine similarity) con tutti i prototipi di classe:
   $$v_k = [\cos(E_k, p_1), \cos(E_k, p_2), \dots, \cos(E_k, p_{|C|})]$$
   Questa trasformazione sposta gli embedding in uno spazio dove i campioni benigni mostrano pattern stabili e coerenti con la loro classe, mentre quelli avvelenati mostrano profili di similarità anomali.
3. Punteggio di Deviazione: Per ogni classe, viene calcolato un pattern di riferimento $\mu_c$ (mediana dei vettori di coerenza della classe). La deviazione di un embedding $E_k$ è misurata dalla distanza euclidea tra il suo vettore di coerenza e il pattern di riferimento della sua classe:
   $$s_k = \|v_k - \mu_{y_k}\|_2$$
   Un punteggio $s_k$ elevato indica che l'embedding si discosta significativamente dal comportamento tipico della sua classe.

B. Filtraggio Conformale Condizionato alla Classe

Per identificare e rimuovere gli embedding avvelenati senza assumere distribuzioni parametriche specifiche:

• Viene utilizzata una strategia di filtraggio conformale.
• Per ogni classe, viene calcolato un p-value conformale basato sul rango della deviazione $s_k$ rispetto agli altri campioni della stessa classe:
  $$p_k = \frac{|\{s \in S_c : s \ge s_k\}| + 1}{|S_c| + 1}$$
• Se $p_k > \alpha$ (dove $\alpha$ è un livello di significatività predefinito), l'embedding è classificato come benigno; altrimenti, viene scartato come potenzialmente avvelenato. Questo approccio è robusto a squilibri di classe e variazioni di scala.

3. Contributi Chiave

1. Identificazione di una Proprietà Fondamentale: Gli autori dimostrano che la coerenza rappresentazionale condizionata alla classe è una proprietà intrinseca degli embedding benigni in SL, e che gli attacchi backdoor la violano sistematicamente.
2. Nuova Rappresentazione Relazionale: Progettano una trasformazione basata sui prototipi che mappa gli embedding in uno spazio relazionale, aumentando drasticamente la separabilità tra campioni benigni e avvelenati rispetto allo spazio originale.
3. Meccanismo di Filtraggio Robusto: Sviluppano un filtro di distribuzione libera e condizionato alla classe che mitiga efficacemente gli attacchi preservando l'accuratezza del modello e senza richiedere assunzioni sulla distribuzione dei dati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset (CIFAR-10, SVHN, Bank Marketing) sotto tre diversi scenari di attacco (VILLAIN, SplitNN, BadVFL).

• Performance: ProtoGuard-SL ha raggiunto prestazioni State-of-the-Art (SOTA).
  • Tasso di Successo dell'Attacco (ASR): Ridotto drasticamente a livelli molto bassi (tra 0.03 e 0.08), rispetto ai valori elevati (spesso >0.9) senza difesa o con altre difese.
  • Accuratezza Principale (MA): Mantenuta alta o addirittura migliorata rispetto alla baseline senza difesa, superando le difese esistenti (come VFLIP, DP, MP) che spesso sacrificano l'accuratezza per la sicurezza.
• Robustezza:
  • Ablation Study: La rimozione di qualsiasi componente (rappresentazione di coerenza, relazione su tutte le classi, o filtraggio condizionato) ha portato a un degrado significativo delle prestazioni, confermando la necessità di tutti i moduli.
  • Scalabilità: La difesa mantiene alte prestazioni all'aumentare del numero di clienti (da 2 a 8), a differenza delle baseline che peggiorano con più partecipanti.
  • Architetture: Funziona efficacemente su diverse architetture di modelli locali (es. ResNet-18, VGG-19).
• Parametri: L'analisi di sensibilità ha mostrato che un valore di $\alpha = 0.5$ offre il miglior compromesso tra sicurezza e utilità.

5. Significato e Impatto

ProtoGuard-SL rappresenta un avanzamento significativo nella sicurezza dell'Apprendimento Federato Verticale e dello Split Learning.

• Superamento dei limiti attuali: Risolve il problema della sovrapposizione distributiva tra campioni benigni e avvelenati, che ha finora limitato l'efficacia delle difese.
• Privacy e Sicurezza: La difesa opera lato server senza richiedere l'accesso ai dati grezzi dei clienti, preservando la privacy mentre garantisce la sicurezza del modello globale.
• Applicabilità Pratica: Essendo basato su principi geometrici robusti (mediana, similarità) e non su assunzioni distributive complesse, è adatto per scenari reali con dati eterogenei e distribuzioni non parametriche.

In sintesi, il lavoro dimostra che sfruttare la coerenza semantica intrinseca dei dati è una strategia efficace per neutralizzare attacchi backdoor sofisticati in ambienti di apprendimento collaborativo distribuito.