Technische Samenvatting: HARVEY – Het leren van de backdoor om de backdoor te verwijderen

Probleemdefinitie

Het artikel behandelt de uitdaging van neurale backdoors die worden geïntroduceerd via datavergiftiging (data poisoning). In dit dreigingsmodel injecteert een aanvaller een klein deel vergiftigde monsters in een trainingsdataset zonder toegang te hebben tot het trainingsproces. Deze monsters bevatten een specifiek triggerpatroon dat ervoor zorgt dat het model een vooraf gedefinieerde doelklasse voorspelt wanneer de trigger aanwezig is, terwijl de nauwkeurigheid op onschuldige (benign) inputs hoog blijft.

Bestaande verdedigingen hebben vaak moeite in de trainingstijd-setting, waarbij geen schone referentiedataset beschikbaar is. Eerdere benaderingen proberen doorgaans onschuldige monsters te identificeren en te verwijderen of de backdoor te onderdrukken met behulp van vaste drempelwaarden of iteratief leren van een onschuldig referentiemodel. De auteurs observeren echter dat deze methoden voor een fundamentele moeilijkheid staan: het onderscheiden van onschuldige monsters van vergiftigde monsters is lastig, omdat de loss-distributies van "moeilijk te leren" onschuldige monsters vaak overlappen met die van vergiftigde monsters.

Methodologie: HARVEY

De auteurs stellen HARVEY voor, een nieuwe verdediging tijdens de training die het standaardparadigma omdraait. In plaats van te proberen een referentiemodel voor onschuldige monsters te leren, leert HARVEY iteratief een sterk backdoored referentiemodel om te dienen als een oracle voor vergiftigde monsters. Het kerninzicht is dat het leren van de backdoor (een specifiek, gemakkelijk te leren patroon) aanzienlijk gemakkelker is dan het leren van de algemene natuurlijke taak, wat een nauwkeuriger identificatie van vergiftigde data mogelijk maakt.

HARVEY werkt in vier afzonderlijke stadia:

1. Initialisatie: Een model wordt naïef getraind op de vergiftigde dataset ($\tilde{D}$). Met behulp van de Reverse Cross-Entropy (RCE) loss-component van de Symmetric Cross-Entropy (SCE) loss, wordt de dataset gesplitst in twee deelverzamelingen: een initiële vergiftigde deelverzameling ($D^{(0)}_{bad}$) die de 50% van de monsters bevat met de laagste RCE loss, en een onschuldige deelverzameling ($D^{(0)}_{bng}$).
2. Leren van de Backdoor: Een referentiemodel ($\theta_{ref}$) wordt iteratief over $n$ rondes getraind om steeds meer gespecialiseerd te raken in de backdoor-functionaliteit.
   • Leren: Het model wordt gefinetuned op de huidige vergiftigde deelverzameling ($S^{(i)}$ met behulp van een aangepaste loss die het leren van de backdoor stimuleert.
   • Onleren: Het model wordt getraind om de onschuldige monsters te onleren (uit de onschuldige set van de vorige iteratie) door de Cross-Entropy (CE) loss te maximaliseren voor correct voorspelde onschuldige monsters.
   • Splitsen: Het bijgewerkte referentiemodel wordt gebruikt om de gehele dataset opnieuw te splitsen op basis van de RCE loss. Omdat het model nu zeer gevoelig is voor de backdoor, creëert de RCE loss een duidelijke scheiding tussen vergiftigde en onschuldige monsters. De 50% van de monsters met de laagste RCE loss vormt de nieuwe vergiftigde deelverzameling voor de volgende iteratie.
3. Meta-Splitsing: Na $n$ rondes is het uiteindelijke referentiemodel ($\theta^{(n)}_{ref}$) zo bevooroordeeld naar de backdoor dat het onschuldige monsters van de doelklasse als vergiftigd kan classificeren. Om dit op te lossen, gebruiken de auteurs het eerste referentiemodel ($\theta^{(1)}_{ref}$), dat nog steeds een begrip van onschuldige functionaliteit behoudt, om een "meta-split" uit te voeren op de uiteindelijke vergiftigde deelverzameling. Dit isoleert de resterende onschuldige monsters (specifiek die van de doelklasse) die onterecht met de backdoor zijn gegroepeerd.
4. Definitieve Training: De geïsoleerde onschuldige deelverzamelingen (uit Fase 2 en Fase 3) worden gecombineerd om een schone dataset ($D_{bng}$) te vormen. Een definitief model wordt getraind op deze dataset met standaard supervised learning (CE loss) om een backdoor-vrij model te produceren.

Belangrijkste Bijdragen

Het artikel benadrukt drie primaire bijdragen:

• RCE-gebaseerde Dataset Splitting: De auteurs analyseren de Symmetric Cross-Entropy (SCE) loss en demonstreren dat de Reverse Cross-Entropy (RCE) component alleen superieur is voor het scheiden van vergiftigde en onschuldige monsters. In tegenstelling tot de volledige SCE loss, biedt RCE een vaste outputrange en een duidelijke scheidingstrempel, wat een stabiele en effectieve dataset-splitting mogelijk maakt zonder vaste ratio's.
• Paradigmaverschuiving in Referentiemodellen: Het werk introduceert een verschuiving van het gebruik van referentiemodellen om onschuldige monsters te identificeren naar het gebruik ervan om vergiftigde monsters te identificeren. Door gebruik te maken van de observatie dat vergiftigde monsters gemakkelijker te leren zijn dan onschuldige monsters, construeert HARVEY een "backdoor oracle" die een hogere recall bereikt in het identificeren van vergiftigde data dan eerdere methoden in het identificeren van onschuldige data.
• Beslissende Verbetering in Verdediging: De methode wordt geëvalueerd tegen meerdere aanvalstypes, datasets en architecturen. Het onderdrukt backdoors consistent tot bijna nul in bijna alle scenario's, terwijl de natuurlijke nauwkeurigheid behouden blijft, waarmee het superieur is aan state-of-the-art verdedigingen die vaak lijden onder aanzienlijke degradatie van de natuurlijke nauwkeurigheid of falen tegen stealthy aanvallen.

Experimentele Resultaten

De auteurs hebben HARVEY geëvalueerd op CIFAR-10, Tiny-ImageNet en GTSRB met architecturen zoals ResNet18, WRN16-1 en ResNet34. Ze hebben getest tegen zes aanvalstypes: BadNets, Trojan, Blend, Clean-Label (CLB), IAB en WaNet.

• Attack Success Rate (ASR): HARVEY reduceerde de ASR tot onder de 2% in de slechtste scenario's over alle datasets en aanvallen heen. In veel gevallen (bijv. Tiny-ImageNet) werd de ASR teruggebracht tot < 0,5%.
• Natural Accuracy (ACC): In tegenstelling tot andere verdedigingen (zoals ABL of CBD) die vaak de natuurlijke nauwkeurigheid opofferen om backdoors te mitigeren, behield HARVEY een natuurlijke nauwkeurigheid die gelijk is aan de "No Defense" baseline. Zo behaalde HARVEY op CIFAR-10 met ResNet18 een gemiddelde ACC van 93,56% met een ASR van 0,85%, terwijl de "No Defense" baseline een ASR van 99,99% had.
• Splitting Performance: Wat betreft dataset splitting metrieken (F1-score en de vergiftigingsratio in de onschuldige set $\rho_{bng}$), presteerde HARVEY aanzienlijk beter dan gerelateerd werk. Op CIFAR-10 met WRN16-1 behaalde HARVEY een F1-score van 79,82% met $\rho_{bng} \approx 0,04\%$, vergeleken met het beste gerelateerde werk (DBD) dat een F1 van 22,12% en $\rho_{bng} \approx 6,73\%$ had.
• Efficiëntie: Hoewel HARVEY iteratieve training omvat, is het totale tijdsverbruik vergelijkbaar met naïeve training en aanzienlijk sneller dan verdedigingen zoals DBD, die bijna een dag op CIFAR-10 kunnen duren.

Betekenis en Claims

Het artikel beweert dat HARVEY een nieuwe standaard zet voor training-time backdoor verdedigingen. De betekenis ligt in:

1. Robuustheid: Het mitigeert succesvol een breed scala aan backdoor-aanvallen, inclusief stealthy aanvallen zoals Blend en WaNet, waar andere methoden falen (ASR > 90%).
2. Geen Schone Data Vereist: Het werkt effectief zonder voorafgaande kennis van de aanval of toegang tot een schone referentiedataset.
3. Prestatiebehoud: Het bereikt bijna perfecte verwijdering van de backdoor zonder de bruikbaarheid van het model voor natuurlijke taken in gevaar te brengen.
4. Conceptuele Verschuiving: Door het probleem te formuleren als "het leren van de backdoor om de backdoor te verwijderen", laten de auteurs zien dat het benutten van de eenvoud van het leren van vergiftigde monsters een betrouwbaardere strategie is dan het proberen te isoleren van moeilijke onschuldige monsters.

De auteurs concluderen dat hun aanpak het leren van backdoors effectief voorkomt door de vergiftigde monsters bij de bron te verwijderen, waardoor het uiteindelijke model zowel schoon als performant is.