Technische Samenvatting: TOFD – Target-Oriented Feature Decoupling tegen Poisoning Attacks in Split Federated Learning

1. Probleemstelling

Split Federated Learning (SFL) combineert de privacyvoordelen van Federated Learning (FL) met de computationele efficiëntie van Split Learning (SL) door modellen te partitioneren tussen cliënten en servers. Terwijl cliënten intermediaire representaties ("smashed data") naar de server verzenden voor verdere verwerking, introduceert deze architectuur unieke kwetsbaarheden. In tegen tegen de standaard FL, waarbij verdedigingsmechanismen vaak gericht zijn op modelupdates, is SFL vatbaar voor poisoning attacks die gericht zijn op specifieke stadia in de pijplijn, waaronder lokale feature-representaties, labels, smashed data en client-zijde gewichten.

Bestaande verdedigingsmechanismen, die grotendeels zijn aangepast van conventionele FL, maken geen gebruik van de specifieke kenmerken van de SFL-architectuur. Ze negeren vaak de cruciale rol van smashed data als het primaire kanaal voor poisoning-signalen. Bijgevolg worstelen huidige methoden met drie belangrijke uitdagingen:

1. Hoge Overhead: De frequente transmissie van smashed data vereist lichtgewicht detectiemechanismen om prohibitieve communicatiekosten te vermijden.
2. Non-IID Verwarring: In dynamische systemen is het moeilijk om onderscheid te maken tussen benigne non-IID datadistributies en kwaadaardige adversariële manipulatie, wat leidt tot hoge fout-positieve ratio's.
3. Residuele Effecten: Zelfs als vergiftigde data wordt gefilterd, kunnen kwaadaardige client-zijde modellen nog steeds het globale model contamineren via aggregatie, wat residuele adversariële effecten achterlaat.

2. Methodologie: TOFD Framework

De auteurs stellen Target-Oriented Feature Decoupling (TOFD) voor, een verenigd framework dat proactieve detectie integreert met robuuste optimalisatie. TOFD werkt via een driestaps pijplijn:

Fase 1: Target Inference (Class-Wise Attack Target Inference)

Deze fase beoogt potentiële aanvalstargets te identificeren met een lage overhead door de scope te beperken tot verdachte klassen.

• Constructie van de Initiële Safe Zone: Het systeem modelleert de class-wise feature-distributie van de smashed data met behulp van een empirische Gaussische benadering. Het berekent de 2-Wasserstein afstand tussen de lokale distributie van een cliënt en de historische globale distributie. Een gemodificeerde Z-score identificeert een initiële set van "verdachte cliënten" die buiten een safe zone vallen.
• Distributional Consistency Verification: Om kwaadaardig gedrag te onderscheiden van benigne non-IID variaties, introduceert het framework een Distributional Consistency Score (DCS). Deze meet de distributionele verschuiving veroorzaakt door een verdachte cliënt.
• Margin Perturbation (MP): Er wordt een drempelwaarde vastgesteld op basis van de maximaal toelaatbare afwijking binnen de benigne distributie (MP). Cliënten wiens DCS binnen de MP valt, worden behouden als benigne; zij die de MP overschrijden, worden geïdentificeerd als kwaadaardig en worden geïnferred als doelwit van specifieke klassen.

Fase 2: Sample Purification (Class-Calibrated Sample Purification)

In plaats van volledige cliënten te verwijderen (wat de datadiversiteit vermindert), voert TOFD fijnmazige filtering uit op de geïdentificeerde target klassen.

• Adaptieve Drempelwaarde: Voor samples binnen een target klasse wordt de afwijking van de globale distributie gekwantificeerd. Een klasse-gekalibreerde drempelwaarde ($\tau_k$) wordt dynamisch berekend met behulp van de interkwartielafstand (IQR) en de MP-waarden. Deze drempelwaarde past zich aan de specifieke dispersiekarakteristieken van elke klasse aan.
• Filtering: Samples die de drempelwaarde overschrijden worden geclassificeerd als kwaadaardig ($Z^-$), terwijl de samples eronder worden behouden als benigne ($Z^+$). Dit zorgt ervoor dat alleen gevalideerde benigne representaties de globale distributie en het server-zijde model updaten.

Fase 3: Decoupling Optimization (Malicious Feature Decoupling)

Om de residuele adversariële invloed van kwaadaardige client-zijde modellen aan te pakken die na filtering kunnen aanhouden, integreert TOFD een decoupling objectief in de server-zijde optimalisatie.

• Adversarial Guidance Model: Een guidance model ($R$), dat dezelfde architectuur deelt als het server-zijde model, wordt fijn afgestemd op de gedetecteerde kwaadaardige smashed data ($Z^-$) om aanval-geïnduceerde patronen te vangen.
• Joint Loss Function: Het server-zijde model wordt geoptimaliseerd met behulp van een gezamenlijke loss functie bestaande uit:
  1. Cross-Entropy Loss ($L_{CE}$): Getraind op de gevalideerde benigne data ($Z^+$) om taakprestaties te behouden.
  2. Decoupling Loss ($L_{MFD}$): Maximaliseert de Kullback–Leibler (KL) divergentie tussen het server-zijde model en het adversariële guidance model op de kwaadaardige data ($Z^-$). Dit dwingt de server om af te wijken van de aanvalspatronen terwijl de integriteit van benigne features behouden blijft.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Verenigd Framework: TOFD wordt gepresenteerd als een framework dat systematisch fijnmazige detectie integreert met SFL-optimalisatie, wat effectieve mitigatie mogelijk maakt van een breed scala aan poisoning attacks (data, weight, smashed, label, en multi-vector).
2. Ontwarringsmecanisme: Door gebruik te maken van class-wise inference en Margin Perturbation, ontwarren de methode kwaadaardig gedrag van benigne non-IID variaties zonder de datadiversiteit op te offeren.
3. Residuele Onderdrukking: Een op adversarial guidance gebaseerde decoupling strategie is ontwikkeld om de invloed van residuele aanvallen te onderdrukken die na de detectiefase blijven bestaan.
4. Theoretische Garanties: De auteurs bieden een formele theoretische analyse die de computationele complexiteit karakteriseert en convergentiegaranties vaststelt voor het TOFD-framework.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd over vijf datasets (HAM10k, MNIST, F-MNIST, CIFAR10, CIFAR100) en diverse modelarchitecturen (DenseNet121, ResNet18, ResNet50).

• Prestaties: TOFD presteerde consistent beter dan state-of-the-art verdedigingen in diverse aanvalsscenario's, inclusief extreme datatheterogeniteit.
• Metrieken: Het framework demonstreerde superieure robuustheid (het behouden van een hoge nauwkeurigheid onder aanval) terwijl het een lage computationele overhead met zich meebracht, wat het geschikt maakt voor praktische implementatie.
• Efficiëntie: De methode bereikte een hoge Malicious Sample Detection Rate (MSDR) terwijl de prestaties van benigne cliënten behouden bleven.

5. Betekenis en Claims

Het artikel beweert dat TOFD een kritiek gat in de SFL-beveiliging dicht door verder te gaan dan de eenvoudige adaptatie van FL-verdedigingen. De betekenis ligt in:

• Exploitatie van het Split Paradigma: Het maakt uniek gebruik van de smashed data interface als een strategisch controlepunt voor vroegtijdige interventie, een kenmerk dat specifiek is voor SFL en dat eerdere werken over het hoofd zagen.
• Balans tussen Robuustheid en Nut: Door klasse-gekalibreerde filtering te gebruiken in plaats van cliënt-niveau uitsluiting, behoudt het de datadiversiteit en modelprestaties in non-IID settings.
• Systemische Mitigatie: De integratie van decoupling optimalisatie zorgt ervoor dat zelfs als sommige kwaadaardige signalen de detectie omzeilen, hun invloed op het uiteindelijke globale model wordt onderdrukt.

De auteurs concluderen dat TOFD een theoretisch onderbouwde, efficiënte en robuuste oplossing biedt voor het beveiligen van Split Federated Learning tegen complexe poisoning dreigingen.