ProtoGuard-SL: Prototype Consistency Based Backdoor Defense for Vertical Split Learning

Probleemstelling

Verticale Split Learning (SL) is een samenwerkingsparadigma waarbij verschillende partijen (klanten) complementaire kenmerken van dezelfde steekproeven bezitten, maar geen ruwe data delen. De server bezit de labels en traint een bovenmodel op basis van embeddings die door de klanten worden gegenereerd. Hoewel dit privacy biedt, introduceert de interface tussen klanten en server een nieuw aanvalsoppervlak.

Adversariale actoren kunnen kwaadaardige klanten compromitteren om backdoor-aanvallen uit te voeren op het niveau van de embedding. In tegenstelling tot data-vergiftiging, manipuleren deze aanvallen de tussenliggende representaties (embeddings) om het servermodel te laten reageren op specifieke triggers. Bestaande verdedigingsmechanismen zijn vaak onvoldoende omdat:

1. Vergiftigde embeddings in de oorspronkelijke ruimte sterk overlappen met schone embeddings (ze zijn "stealthy").
2. Bestaande methoden (zoals differentiele privacy of neuron-pruning) vaak leiden tot een aanzienlijk verlies aan modelnuttigheid (accuracy) of niet bestand zijn tegen adaptieve aanvallen.

Methodologie: ProtoGuard-SL

ProtoGuard-SL is een server-side verdedigingsmechanisme dat de consistentie van representaties per klasse in de embedding-ruimte exploiteert. De kernhypothese is dat schone embeddings binnen dezelfde klasse een stabiele semantische consistentie vertonen, terwijl vergiftigde embeddings deze structuur onvermijdelijk verstoren.

De methode bestaat uit een tweestapsframework:

1. Opbouw van Robuuste Prototypen en Consistentie-Representatie

• Prototypen: De server gebruikt de beschikbare labels om voor elke klasse een robuust prototype te construeren. Dit prototype wordt berekend als het coördinaatgewijze mediaan van de embeddings van die klasse. Het gebruik van de mediaan (in plaats van het gemiddelde) maakt het systeem robuust tegen een kleine fractie vergiftigde embeddings.
• Transformatie: In plaats van embeddings direct te analyseren, worden ze getransformeerd naar een relatieve consistentie-ruimte. Voor elke embedding wordt een vector gemaakt die de cosinus-achtigheid (cosine similarity) bevat met alle klasse-prototypen.
  • Schone embeddings vertonen stabiele patronen in deze ruimte.
  • Vergiftigde embeddings vertonen anomalieën in hun similariteitsprofiel omdat de trigger de semantische consistentie verstoort.

2. Class-Conditionele, Distributie-vrije Conformal Filtering

• Afwijkingsscore: Voor elke embedding wordt een "nonconformity score" berekend als de afstand tussen de consistentie-vector van de embedding en het mediaan-profiel van de bijbehorende klasse.
• Conformal Filtering: Om te bepalen of een embedding verdacht is, wordt een conformal p-waarde berekend binnen elke klasse. Deze methode is distributie-vrij (maakt geen aannames over de verdeling van de scores) en baseert zich op de rangorde van de afwijkingsscores binnen dezelfde klasse.
• Filteren: Embeddings met een p-waarde onder een bepaalde significantieniveau ($\alpha$) worden geïdentificeerd als vergiftigd en verwijderd voordat ze worden gebruikt voor het trainen van het bovenmodel.

Belangrijkste Bijdragen

1. Identificatie van een fundamentele eigenschap: De auteurs tonen aan dat "class-conditional representation consistency" een fundamentele eigenschap is van schone embeddings in SL en dat backdoor-aanvallen deze structuur verstoren, zelfs als ze geometrisch moeilijk te onderscheiden zijn.
2. Prototype-gebaseerde consistentie: Ze introduceren een nieuwe representatie die embeddings afbeeldt op een relationele ruimte (relatief aan alle klassen), wat de scheidbaarheid tussen schone en vergiftigde steekproeven aanzienlijk verbetert.
3. Robuust filtermechanisme: Ze ontwerpen een class-conditional, distributie-vrije filter die backdoor-aanvallen effectief mitigeert zonder de prestaties van het model op schone data te schaden.
4. State-of-the-art prestaties: De methode is getest op diverse datasets en aanvallen en overtreft bestaande verdedigingen aanzienlijk.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op drie datasets: CIFAR-10, SVHN en Bank Marketing, onder drie verschillende aanvalsscenario's (VILLAIN, SplitNN en BadVFL).

• Vergelijking met bestaande methoden: ProtoGuard-SL presteert superieur ten opzichte van baselines zoals Differentiële Privacy (DP), Model Pruning (MP), Adversarial Neuron Pruning (ANP) en VFLIP.
  • Bestaande methoden verminderen de Attack Success Rate (ASR) vaak ten koste van de Main Accuracy (MA).
  • ProtoGuard-SL haalt een ASR van 0,03 tot 0,08 (bijna 0) terwijl de MA hoog blijft (vaak zelfs hoger dan de baseline zonder verdediging).
• Ablatie-studies: Het verwijderen van de consistentie-representatie of de class-conditionele filtering leidt tot een drastische stijging van de ASR, wat aantoont dat beide componenten cruciaal zijn.
• Schalbaarheid: De methode blijft robuust bij een toenemend aantal klanten (van 2 tot 8), terwijl andere methoden in prestatie achteruitgaan door de heterogeniteit van de embeddings.
• Architectonische onafhankelijkheid: De methode werkt effectief met verschillende onderliggende netwerken (bijv. ResNet-18, VGG-19).

Betekenis en Conclusie

ProtoGuard-SL biedt een belangrijke doorbraak in de beveiliging van Verticale Split Learning. Het paper demonstreert dat het uitbuiten van semantische consistentie binnen klassen een krachtig mechanisme is om stealthy backdoor-aanvallen te detecteren die in de traditionele ruimte onzichtbaar zijn.

De belangrijkste implicaties zijn:

• Het biedt een betrouwbare verdediging tegen adaptieve aanvallen zonder de privacy van de klanten te schenden (het werkt puur op de serverzijde met embeddings en labels).
• Het lost het klassieke compromis op tussen veiligheid en nut (security-utility trade-off), wat vaak een probleem is bij bestaande verdedigingen.
• Het biedt een schaalbare oplossing voor real-world scenario's met meerdere data-eigenaren die samenwerken zonder ruwe data te delen.

Kortom, ProtoGuard-SL stelt een nieuwe standaard voor de robustheid van split learning-systemen tegen geavanceerde backdoor-bedreigingen.