FedVIB–AGP: Defending Against Distributed Backdoor Attacks in Federated Learning via Variational Information Bottleneck and Activation-Gap Pruning

Immaginate un enorme progetto artistico collaborativo dove migliaia di artisti (chiamati "clienti") dipingono insieme un unico, gigantesco murale (il "modello globale"). Non possono condividere i loro pennelli o i loro schizzi reali perché vogliono mantenere segreti i propri segreti, quindi inviano al server solo una brevissima nota dicendo: "Penso che il cielo dovrebbe essere più blu". Il server mescola tutte queste note per aggiornare il murale. Questo è il Federated Learning.

Ma c'è un problema subdolo. Un gruppo di sabotatori vuole ingannare il murale. Non vogliono rovinare l'intero quadro; vogliono solo assicurarsi che, se qualcuno dipinge un piccolo, specifico schema (come un puntino rosso), l'albero si trasformi improvvisamente in un mostro gigante che urla. Questo è un Backdoor Attack.

La parte complicata è il Distributed Backdoor Attack (DBA). Invece di un singolo cattivo artista che dipinge l'intero schema del "puntino rosso", i sabotatori dividono lo schema in piccoli pezzi invisibili. L'artista A dipinge un minuscolo granello rosso su una foglia. L'artista B dipifica un minuscolo granello rosso su un ramo. L'artista C dipinge un granello sul tronco. Individualmente, questi granelli sembrano errori innocui. Ma quando il server mescola tutte le note, i "granelli rossi" si combinano per formare il trigger completo del "grido". Il murale sembra normale finché non cerchi quel particolare schema, allora boom—urla.

I Vecchi Modi vs. La Nuova Idea

I precedenti tentativi di fermare questo erano come una guardia di sicurezza che controllava le note inviate dagli artisti. Cercavano di individuare le note cattive o indovinare quali artisti stessero mentendo. Ma poiché le note cattive erano così sottili e frammentate, la guardia spesso le perdeva di vista.

Gli autori di questo articolo, Hanlei Zhou e il suo team, dicono: "Smettiamola di indovinare chi sta mentendo e iniziamo a riparare il murale stesso". Propongono un kit di riparazione in due fasi chiamato FedVIB–AGP.

Fase 1: La "Dieta della Memoria" (Variational Information Bottleneck)

Per prima cosa, cambiano il modo in cui gli artisti realizzano i loro schizzi locali. Introducono una regola chiamata Variational Information Bottleneck (VIB).

Pensate a VIB come a un editor severo che dice agli artisti: "Puoi tenere solo i dettagli essenziali necessari per dipingere un albero normale. Se provi a memorizzare dettagli strani ed extra (come il segreto granello rosso), verrai penalizzato". Questo costringe gli artisti a comprimere la loro memoria, scartando le informazioni "ridondanti". L'obiettivo è assicurarsi che, anche se un cattivo artista tenta di infilare un granello rosso, l'artista lo dimentichi perché non è "essenziale" per dipingere un albero normale.

Tuttavia, l'articolo è attento a dire che questo non è uno scudo magico. È solo una dieta. Rende più difficile ricordare il veleno, ma non garantisce che il veleno sia sparito.

Fase 2: Il "Detective dei Trigger" (Activation-Gap Pruning)

Dopo che il server ha mescolato tutte le note, il murale potrebbe avere ancora alcuni percorsi nascosti di "urla". È qui che entra in gioco la seconda parte, Activation-Gap Pruning (AGP).

Fondamentalmente, questo passaggio richiede due strumenti specifici: il server deve possedere un batch di riferimento pulito (un insieme di foto normali e non avvelenate di alberi) E uno strumento per il trigger che possa ricreare perfettamente il trigger assemblato (il pattern completo formato da tutti i pezzi divisi) per testare il murale.

Con questi strumenti, il server fa un piccolo esperimento:

1. Mostra al murale un albero normale dal batch di riferimento pulito.
2. Mostra al murale lo stesso albero del batch, ma con l'aggiunta del pattern completo del granello rosso assemblato.
3. Osserva i "neuroni" interni (i piccoli lavoratori dentro la macchina da pittura) del murale.

Se un lavoratore di solito ignora un albero normale ma improvvisamente impazzisce e urla quando viene aggiunto il pattern completo, quel lavoratore è sospetto. Il server misura questo "gap" tra la reazione normale e la reazione scatenata dal trigger. Se il gap è enorme, il server dice: "Questo lavoratore è troppo sensibile al veleno!" e potatura (maschera) quel lavoratore. In sostanza, mette un cartello "Non Usare" su quel particolare percorso.

Dopo aver tagliato via i lavoratori cattivi, il server concede al murale una sessione rapida di "fine-tuning" sul batch di riferimento pulito per assicurarsi che possa ancora dipingere un bellissimo paesaggio senza quei lavoratori.

I Risultati: Ha Funzionato?

Gli autori hanno testato questo su quattro diversi tipi di "compiti di pittura" (dataset): CIFAR-10 (oggetti colorati), Fashion-MNIST (abbigliamento), MNIST (numeri scritti a mano) e SVIN (numeri civici).

Ecco cosa è successo nelle loro simulazioni:

• L'Attacco: Senza alcuna difesa, i cattivi artisti potevano far urlare il modello su comando il 95,67% delle volte su CIFAR-10, il 90,82% su Fashion-MNIST, il 98,46% su MNIST e l'86,43% su SVHN. Il murale era completamente dirottato.
• La Difesa: Con FedVIB–AGP, il tasso di successo dell'attacco è sceso drasticamente:
  • CIFAR-10: Sceso al 2,16%.
  • Fashion-MNIST: Sceso al 2,56%.
  • MNIST: Sceso allo 0,81%.
  • SVHN: Sceso allo 0,60%.

Fondamentalmente, il murale non ha perso la capacità di dipingere alberi normali. L'accuratezza "pulita" (quanto bene dipinge le immagini normali) è rimasta alta: 73,27% per CIFAR-10, 75,93% per Fashion-MNIST, 92,45% per MNIST e 90,38% per SVHN.

Confrontato con altre difese di alto livello (come CRFL, che era il migliore dei vecchi metodi), FedVIB–AGP è stato ancora migliore. Ha ridotto il tasso di successo dell'attacco fino al 10,29% in più rispetto a CRFL e ha effettivamente migliorato l'accuratezza pulita fino all'11,16%.

Cosa Questo Articolo Esclude (e Cosa No)

È importante sapere cosa questo articolo non afferma.

• Non è una soluzione magica per trigger sconosciuti. L'articolo afferma esplicitamente che questo metodo richiede che il server possieda sia un batch di riferimento pulito che il pattern del trigger assemblato per eseguire il test del detective. Il server deve sapere esattamente come appare il "granello rosso" per confrontare la reazione del murale. Se i sabotatori cambiano il pattern in qualcosa che il server non conosce, questa specifica kit di riparazione non può eseguire il passaggio del "Detective dei Trigger" e potrebbe non funzionare.
• Non è una garanzia contro tutti i futuri attacchi. I risultati si basano su simulazioni specifiche con dataset e setup di attacco specifici. Gli autori avvertono che gli attacchi nel mondo reale potrebbero essere più intelligenti o diversi.
• Non è solo "VIB" o solo "Pruning". L'articolo mostra che fare solo la "Dieta della Memoria" (VIB) o solo la "Potatura" (AGP) non è sufficiente da solo. È necessario che entrambi lavorino insieme per ottenere i migliori risultati. Ad esempio, su CIFAR-10, usando solo la potatura, l'attacco è sceso al 16,10%, ma aggiungendo la dieta della memoria è sceso fino al 2,16%.

In Sintesi

L'articolo suggerisce che combinando una "dieta della memoria" durante l'addestramento con un "detective dei trigger" dopo che il modello è stato costruito, possiamo ripulire efficacementamente un murale avvelenato senza rovinare la pittura.

In queste simulazioni specifiche, il metodo ha funzionato incredibilmente bene, trasformando un attacco quasi al 100% di successo in un tasso di successo vicino allo zero, mantenendo al contempo il modello abbastanza intelligente da svolgere il suo lavoro. Ma gli autori sono onesti: questo funziona meglio quando sappiamo che aspetto ha il veleno. Se il velena cambia forma, potremmo aver bisogno di un nuovo tipo di detective.