🤖 AI

Coward: Collision-based OOD Watermarking for Practical Proactive Federated Backdoor Detection

Het artikel introduceert Coward, een nieuwe proactieve federale backdoor-detectiemethode die gebruikmaakt van multi-backdoor botsingseffecten om een zorgvuldig ontworpen watermerk in te brengen, waardoor de beperkingen van bestaande technieken die worden veroorzaakt door niet-i.i.d.-data-distributies en out-of-distribution-bias effectief worden overwonnen.

Oorspronkelijke auteurs: Wenjie Li, Siying Gu, Yiming Li, Shuxin Li, Zhili Chen, Tianwei Zhang, Shu-Tao Xia

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenjie Li, Siying Gu, Yiming Li, Shuxin Li, Zhili Chen, Tianwei Zhang, Shu-Tao Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep buren voor die samen proberen één grote gemeenschapskaart te maken zonder elkaar ooit hun privéfoto's te laten zien. Dit is Federated Learning (FL). Iedereen houdt zijn foto's op zijn eigen telefoon, stuurt alleen de "lessen" die hij heeft geleerd naar een centrale server, en de server combineert ze om een betere kaart voor iedereen te maken.

Het probleem? Een paar "slechte buren" (malicious clients) proberen misschien een geheim trucje te sluipen. Ze willen dat de kaart voor iedereen perfect werkt, maar als je er een foto van een kat met een klein, onzichtbaar stickerje op toont, moet de kaart plotseling schreeuwen: "Dat is een hond!" Dit heet een Backdoor-aanval.

De oude manieren om de slechte buren te vangen

Het artikel legt uit dat eerdere methoden om deze slechte buren te vangen twee grote gebreken hadden:

De "Uitbijter"-methode (Passief): Deze methode ging ervan uit dat slechte buren raar zouden lijken in vergelijking met de goede. Het was alsof een deurwaarder op zoek was naar iemand met een clownsn neus in een menigte mensen in pakken.
- Het gebrek: In het echte leven hebben buren heel verschillende foto's (sommigen hebben alleen katten, anderen alleen honden). Dit natuurlijke verschil maakte dat ook de goede buren "raar" leken, waardoor de deurwaarder per ongeluk onschuldige mensen wegwierp.
De "Val"-methode (Proactief - bijv. BackdoorIndicator): Deze methode probeerde slimmer te zijn. De server plantte een "val" in de kaart met vreemde, willekeurige afbeeldingen (Out-of-Distribution of OOD-gegevens). Het idee was: "Als een buur deze vreemde val onthoudt, is hij waarschijnlijk slecht."
- Het gebrek: Deep learning-modellen zijn op vreemde wijze zelfverzekerd over dingen die ze niet begrijpen. Zelfs goede buren zouden per ongeluk het juiste antwoord voor de vreemde val raden, puur door geluk, denkend: "Oh, dit lijkt op een hond!" Dit veroorzaakte dat de server onschuldige buren ten onrechte beschuldigde.

De nieuwe oplossing: "Coward"

De auteurs introduceren een nieuwe methode genaamd Coward. De naam is een beetje een grapje: het is een "lafaard" omdat het vertrouwt op het feit dat de slechteriken te agressief zijn en over hun eigen voeten struikelen.

Hier is hoe het werkt, met een eenvoudige analogie:

1. De opzet: Het planten van een "Watermerk"

In plaats van een willekeurige val te planten, plant de server een zeer specifiek Watermerk op de kaart.

Stel je voor dat de server een hoop willekeurige, vreemde foto's neemt (zoals een kat met een blauw filter).
Het leert de kaart: "Als je een Kat met Blauw Filter ziet, moet je '8' zeggen."
Cruciaal leert de server de kaart ook: "Als je een Kat met Blauw Filter en een Rode Sticker ziet, moet je '1' zeggen."

2. De botsing (Het "Aha!"-moment)

Het artikel ontdekte een grappig fenomeen genaamd het Multi-Backdoor Collision Effect.

Als een slechte buur probeert zijn eigen geheim trucje (Backdoor) te installeren dat zegt "Kat met Blauw Filter = 0", vecht dit tegen het trucje van de server dat zegt "Kat met Blauw Filter = 1".
Omdat het trucje van de slechte buur vecht tegen het trucje van de server, wordt het trucje van de slechte buur gewist of verzwakt. Het is alsof twee mensen proberen een zware deur in tegenovergestelde richtingen te duwen; de deur beweegt niet, of één persoon wordt weggeduwd.
De goede buren, die geen geheim trucje proberen te installeren, leren gewoon zachtjes de regel van de server. Ze onthouden de regel "Kat met Blauw Filter = 1" perfect.

3. De detectie: Wie heeft de regel vergeten?

Nadat de buren de kaart hebben bijgewerkt, controleert de server ze:

Goede buur: "Hé, wat zegt een Kat met Blauw Filter en een Rode Sticker?"
- Antwoord: "Het zegt 1!" (Ze hebben de regel van de server bewaard). -> Veilig.
Slechte buur: "Hé, wat zegt een Kat met Blauw Filter en een Rode Sticker?"
- Antwoord: "Het zegt 0!" (Ze probeerden de regel te overschrijven, maar door dat te doen, hebben ze de regel van de server zo erg verstoord dat het signaal zwak of weg is). -> Gevangen.

Waarom is "Coward" beter?

Het artikel beweert dat deze methode de twee grote problemen oplost:

Het negeert de "Raarheid" van buren: Omdat het controleert of ze een specifieke regel hebben bewaard in plaats van te zoeken naar "rare" updates, raakt het niet in de war door buren met verschillende soorten foto's.
Het verslaat het "Zelfvertrouwen"-probleem: De oude "Val"-methode faalde omdat modellen te zelfverzekerd waren in het raden van willekeurige dingen. "Coward" werkt anders:
- Als een model te zelfverzekerd is over een willekeurige vreemde foto (een teken van het oude probleem), helpt dat "Coward" juist in dit geval.
- De slechte buur moet de specifieke regel van de server vernietigen om zijn eigen te verbergen. Deze "botsing" is zo sterk dat zelfs als het model zelfverzekerd is over willekeurige dingen, het niet kan verbergen dat het de specifieke regel van de server heeft verbroken.

De resultaten

De auteurs testten dit op standaard beelddatasets (zoals CIFAR-10 en EMNIST). Ze ontdekten dat:

Coward bijna alle slechte buren vangt (hoge True Positive Rate).
Coward zelden goede buren wegwerpt (zeer lage False Positive Rate), zelfs als de buren zeer verschillende data hebben.
Zelfs als de slechte buren proberen zich aan te passen en het trucje van de server te raden, vernietigen ze uiteindelijk hun eigen aanval in het proces.

Kortom, Coward is een slimme manier om te zeggen: "Ik ga je een specifieke regel leren. Als je probeert deze te breken om je geheim te verbergen, zul je zo falen dat ik weet dat jij de slechte vent bent. Als je een goede buur bent, leer je gewoon de regel en blijf je veilig."

Technische Samenvatting: Coward – OOD-watermerking op basis van botsing voor praktische proactieve federale backdoor-detectie

1. Probleemstelling

Federated Learning (FL) maakt privacybehoudende collaboratieve training mogelijk, maar introduceert aanzienlijke kwetsbaarheden voor backdoor-aanvallen, waarbij kwaadaardige clients triggers injecteren om het globale model te manipuleren. Bestaande verdedigingsmechanismen staan voor twee kritieke praktische beperkingen:

Beperkingen van passieve detectie (Non-IID-divergentie): Traditionele passieve methoden identificeren kwaadaardige clients door uitschieters in modelparameters of gradiënten te detecteren. Deze methoden zijn echter zeer vatbaar voor de inherente niet-onafhankelijke en niet-identiek verdeelde (non-i.i.d.) data-distributies en de willekeurige client-participatie in FL. Deze factoren zorgen ervoor dat onschuldige lokale modellen een hoge variantie vertonen, wat vaak leidt tot het nabootsen van de statistische handtekeningen van kwaadaardige updates. Dit resulteert in hoge rates van vals-positieven of gemiste detecties.
Beperkingen van proactieve detectie (OOD-predictiebias): Recentere proactieve methoden, zoals BackdoorIndicator, proberen in te grijpen in de training door Out-of-Distribution (OOD) patronen in te brengen. Ze vertrouwen op het "coëxistentie-effect", waarbij kwaadaardige modellen deze patronen beter behouden dan onschuldige modellen. Deze methoden worden echter ondermijnd door de inherente OOD-predictiebias van Deep Neural Networks (DNN's). DNN's hebben de neiging om OOD-steekproeven met hoge zekerheid in willekeurige klassen te classificeren. Deze bias zorgt ervoor dat onschuldige clients onverwacht hoge retentie van OOD-patronen vertonen, wat leidt tot frequente verkeerde beoordelingen (vals-positieven) die huidige proactieve methoden onbetrouwbaar maken.

2. Methodologie: Coward

De auteurs stellen Coward (Collision-based OOD WAtermarking for Robust federated backdoor Detection) voor, een proactief detectiekader dat is geïnspireerd door de ontdekking van een multi-backdoor-botsingseffect.

2.1 Kerninzicht: Het botsingseffect

Terwijl bestaand werk observeerde dat backdoors die op hetzelfde label mikken, kunnen coëxisteren, ontdekten de auteurs dat achtereenvolgens aangebrachte backdoors die op verschillende labels mikken, elkaar significant belemmeren en onderdrukken. Dit "botsingseffect" vormt de basis van het nieuwe detectieparadigma.

2.2 Het detectieparadigma: Omgekeerde logica

Coward keert de logica van bestaande proactieve methoden om:

Bestaand (Coëxistentie): Hoge retentie van een ingebracht patroon = Kwaadaardig.
Coward (Botsing): Hoge retentie van een ingebracht watermerk = Onschuldig. Lage retentie (uitwissing) = Kwaadaardig.

In dit omgekeerde paradigma worden de voorspellingen met hoge zekerheid veroorzaakt door OOD-bias bij onschuldige clients (die eerder vals-positieven veroorzaakten) nuttig, omdat ze de behouding van het watermerk aangeven.

2.3 Technische implementatie

De methode werkt in drie fasen:

Watermerkinjectie (Server-zijde):
- De server construeert een gereguleerde dubbele mapping op OOD-data (bijvoorbeeld EMNIST voor een CIFAR-10-taak).
- Gereguleerde basismapping ( $\pi_1$ ): Een vaste, één-op-één mapping van OOD-labels naar taaklabels wordt vastgesteld om de OOD-ruimte te stabiliseren en ambiguïteit te verminderen. Dit staat in contrast met de willekeurige mappings die in BackdoorIndicator worden gebruikt.
- Doelgerichte watermerkmapping ( $\pi_2$ ): Een specifiek subset van OOD-steekproeven krijgt een triggerpatroon toegewezen en wordt gemapt naar een vaste doelklasse ( $y_m$ ).
- Het globale model wordt fijngefineerd op deze OOD-data met een regularisatieterm om de oorspronkelijke taakprestaties te behouden terwijl het watermerk wordt ingebed.
Watermerkinteractie (Client-zijde):
- Clients voeren lokale training uit op hun privé-data.
- Onschuldige clients: Optimaliseren alleen voor de taakverlies. Ze kunnen het OOD-watermerk licht vergeten door non-i.i.d.-data, maar behouden over het algemeen de trigger-naar-doel-mapping.
- Kwaadaardige clients: Optimaliseren voor zowel de taak als hun specifieke backdoordoel. Omdat hun backdoor op een andere klasse mikken dan het watermerk, treedt het botsingseffect op: de kwaadaardige backdoor onderdrukt of wist het door de server ingebrachte watermerk actief tijdens de lokale training.
Watermerkdetectie (Server-zijde):
- De server evalueert de lokale modellen met behulp van het gewatermerkte OOD-dataset.
- Het meet de nauwkeurigheid van de specifieke trigger-naar-doel-mapping.
- Beslissingsregel: Clients met watermerknauwkeurigheid onder een drempelwaarde $\beta$ worden gemarkeerd als kwaadaardig (wat aangeeft dat het watermerk is onderdrukt door een botsing). Clients met hoge nauwkeurigheid worden als onschuldig beschouwd.

3. Belangrijkste bijdragen

Identificatie van beperkingen: Het artikel analyseert en demonstreert rigoureus hoe non-i.i.d.-data-heterogeniteit passieve detectie ondermijnt en hoe OOD-predictiebias bestaande proactieve detectiemethoden fundamenteel beperkt.
Ontdekking van multi-backdoor-botsing: De auteurs identificeren en karakteriseren het fenomeen waarbij verschillende backdoors die op verschillende labels mikken, elkaar belemmeren en eerder aangebrachte effecten onderdrukken.
Coward-kader: Een nieuwe proactieve detectiemethode die dit botsingseffect benut om een omgekeerd detectieparadigma te creëren. Dit ontwerp neutraliseert OOD-bias op natuurlijke wijze, aangezien voorspellingen met hoge zekerheid van onschuldige clients (een bron van fouten in eerdere werken) nu correct onschuldig gedrag signaleren.
Robuustheid: De methode introduceert een verstoringarme traininginterventie die inherent de sterkte van OOD-bias beperkt, wat leidt tot een aanzienlijke vermindering van verkeerde beoordelingen in vergelijking met state-of-the-art baselines.

4. Experimentele resultaten

Uitgebreide experimenten werden uitgevoerd op benchmarkdatasets (CIFAR-10, CIFAR-100, EMNIST) onder verschillende instellingen:

Non-IID-resilientie: Coward behaalde consistent True Positive Rates (TPR) boven de 95% en False Positive Rates (FPR) onder de 10,5% over verschillende gradaties van data-heterogeniteit ( $\alpha = 0,3$ tot $0,9$). In tegenstelling hiermee zagen passieve methoden (zoals MultiKrum, Flame) hun TPR's significant dalen (vaak onder de 10%) onder ernstige heterogeniteit.
Geavanceerde aanvallen: De methode behield hoge prestaties tegen sluwe aanvallen (zoals Neurotoxin, Chameleon) en verschillende trigger-types (zichtbaar, onzichtbaar, semantisch), terwijl passieve methoden aanzienlijke degradatie leden.
Scenario's met meerdere aanvallers: Coward bleef effectief zelfs wanneer tot 70% van de clients kwaadaardig was, een scenario waarbij op uitschieters gebaseerde passieve methoden volledig faalden.
Mitigatie van OOD-bias: In vergelijking met BackdoorIndicator verminderde Coward het niveau van OOD-bias en de resulterende rate van vals-positieven aanzienlijk, zelfs bij gebruik van diverse of synthetische OOD-datasets.
Adaptieve aanvallen: De methode toonde veerkracht tegen adaptieve aanvallers die probeerden het watermerkdoel te raden. Dergelijke pogingen veroorzaakten vaak een "lokale botsingscontradictie", wat de eigen backdoor van de aanval verzwakte en het omzeilen van de detectie faalde.

5. Betekenis en claims

Het artikel stelt dat Coward een belangrijke stap voorwaarts is naar praktische, proactieve backdoor-detectie in Federated Learning. Door de detectiebasis te verschuiven van "patroonbehoud" (wat kwetsbaar is voor OOD-bias) naar "patroonbotsing", doet de methode het volgende:

Lost de OOD-bias-uitdaging op: Het transformeert de inherente voorspelling met hoge zekerheid van DNN's op OOD-data van een nadeel in een betrouwbaar signaal voor onschuldig gedrag.
Overwint non-IID-gevoeligheid: Het ontkoppelt detectie van uitschieters in de parameter-ruimte, waardoor het robuust wordt tegen de data-heterogeniteit die passieve methoden teistert.
Biedt een nieuw paradigma: Het vestigt een nieuwe richting voor FL-beveiliging die gebruikmaakt van de interferentie tussen meerdere backdoors in plaats van te vertrouwen op hun coëxistentie.

De auteurs concluderen dat Coward de OOD-bias-uitdaging effectief verlicht, state-of-the-art prestaties bereikt en tegelijkertijd de integriteit van de primaire functionaliteit van het globale model behoudt.