Anti-Backdoor Coreset Selection via Cumulative Entropy

Technische Samenvatting: Anti-Backdoor Coreset Selectie via Cumulatieve Entropie

Probleemstelling
Diepe neurale netwerken vereisen grote trainingsdatasets, maar handmatige controle van deze datasets is onhaalbaar, waardoor modellen kwetsbaar blijven voor data-vergiftigingsaanvallen (data-poisoning attacks). Specifiek creëren neurale backdoors shortcuts van trigger-patronen naar doelvoorspellingen. Hoewel recente verdedigingen proberen deze dreigingen te mitigeren door vergiftigde datasets op te splitsen in "benigne" (gezonde) en "vergiftigde" subsets om een schoon model te trainen, schieten bestaande methoden vaak tekort in het balanceren van natuurlijke nauwkeurigheid met de verwijdering van backdoors. Veel eerdere benaderingen brengen de natuurlijke prestaties in gevaar, vertrouwen op schone referentiedatasets (wat het doel van automatische verdediging ondermijnt), of falen tegen specifieke, geavanceerde aanvallen. Bovendien brengt het simpelweg splitsen van datasets het risico met zich mee dat vergiftigde monsters behouden blijven als de selectiecriteria niet robuust zijn.

Methodologie: Anti-Backdoor Coreset Selectie (ABCS)
De auteurs herformuleren de verdediging tegen backdoors tijdens de training als een coreset selectieprobleem. De kernintuïtie is dat trainingsdata twee taken codeert: de primaire (benigne) taak en de secundaire (backdoor) taak. Vergiftigde monsters induceren doorgaans snelle, stabiele convergentie met een lage voorspellingsonzekerheid, terwijl benigne, moeilijk te leren monsters een hogere onzekerheid vertonen. Door een coreset te selecteren op basis van informativiteit in plaats van geometrische representativiteit, geeft de methode van nature prioriteit aan de primaire taak.

De voorgestelde verdediging, ABCS, maakt gebruik van Cumulatieve Entropie (CENT) als selectiecriterium en werkt in drie fasen:

1. Warm-up Fase: Het model wordt gedurende $T_{wa}$ epochs getraind op de volledige vergiftigde dataset om de initiële selectie te stabiliseren. Een drempelwaarde $\tau$ wordt berekend op basis van de gemiddelde entropie van correct voorspelde monsters om de doelgrootte van de coreset ($s$) te bepalen.
2. Coreset Selectie Fase ($T_{se}$ epochs):
   • Stap 1 (Leren): Het model traint één epoch op de volledige vergiftigde dataset om een intermediaire entropieverdeling te verkrijgen.
   • Stap 2 (Ontleren): Om de discrepantie tussen benigne en vergiftigde monsters te vergroten, "ontleert" de methode onzekere monsters. Het identificeert monsters met een entropie die hoger is dan het gemiddelde van correct voorspelde monsters en past label smoothing toe in combinatie met $L_2$-regularisatie (verankering aan de vorige modelgewichten). Deze stap voorkomt modelinstorting en vergroot expliciet de onzekerheidsgap, waardoor benigne monsters duidelijker onderscheidbaar worden van de laag-onzekere vergiftigde monsters.
   • Stap 3 (Accumulatie): De genormaliseerde Shannon-entropie van elk monster wordt geaccumuleerd over meerdere epochs. De Cumulatieve Entropie (CENT) score voor een monster $x_i$ wordt gedefinieerd als het gemiddelde van de genormaliseerde entropieën over $T_{se}$ epochs.
3. Finale Training: De top $s$ monsters met de hoogste CENT-scores vormen de benigne coreset $D_{bng}$. Een nieuw model wordt vanaf nul getraind op deze coreset met behulp van standaard cross-entropy loss.

Belangrijkste Bijdragen

• Nieuwe Formulering: Het artikel introduceert "Anti-Backdoor Coreset Selectie", waarbij de verdediging wordt geformuleerd als het ophalen van een informatieve subset van de primaire taak in plaats van enkel het filteren van gif.
• Cumulatieve Entropie Criterium: De auteurs stellen CENT voor, een metriek die de leerdynamiek over meerdere epochs volgt. In tegenstelling tot single-epoch onzekerheidsmaten die lijden onder variantie, legt CENT temporele consistentie vast, waardoor effectief monsters worden geïdentificeerd die onzeker blijven (benigne) versus die snel convergeren (vergiftigd).
• Ontleer-mechanisme: De integratie van een specifieke ontleerstap met label smoothing en regularisatie verbetomt de scheidbaarheid tussen benigne en vergiftigde monsters, wat de beperkingen van eenvoudige entropie-gebaseerde selectie tegen sluwe aanvallen aanpakt.
• Efficiëntie: De methode construeert een coreset die aanzienlijk kleiner is dan de volledige dataset ($r_{se} \ll 1$), wat resulteert in een totale trainingstijd die vergelijkbaar is met naïeve training.

Experimentele Resultaten
De auteurs hebben ABCS geëvalueerd op CIFAR-10, GTSRB en Tiny-ImageNet tegen acht verschillende backdoor-aanvallen (waaronder BadNets, Blend, WaNet en A-Blend).

• Robuustheid: ABCS heeft alle onderzochte backdoors consistent gemitigeerd, waarbij een Attack Success Rate (ASR) van bijna 0% werd bereikt in de meeste scenario's, wat aanzienlijk beter presteert dan state-of-the-art verdedigingen zoals ABL, DBD, CBD, V&B en Harvey.
• Natuurlijke Nauwkeurigheid: De methode behoudt een natuurlijke nauwkeurigheid (ACC) die vergelijkbaar is met modellen getraind op schone datasets, terwijl veel eerdere verdedigingen leden onder significante nauwkeurigheidsdalingen.
• Defense Effectiveness Rate (DER): ABCS behaalde DER-scores boven de 95% op CIFAR-10 en 97% op Tiny-ImageNet, wat wijst op een superieur evenwicht tussen de verwijdering van backdoors en het behoud van nauwkeurigheid.
• Aanpasbaarheid aan Schone Data: In tegen tegenstelling tot eerdere methoden die presteren onder de maat op schone data, behield ABCS een hoge prestatie wanneer het op niet-vergiftigde datasets werd getraind, wat de aanpasbaarheid aantoont.
• Vergiftigingsratio: De geselecteerde coresets bevatten een verwaarloosbare poisoning ratio ($\rho_{bng} \approx 0$), waardoor kwaadaardige monsters effectief werden uitgesloten.

Betekenis en Claims
Het artikel claimt dat ABCS een uitzonderlijk effectieve training-tijd verdediging biedt die een backdoor-vrije coreset construeert om een model zonder backdoors te trainen. De primaire betekenis ligt in het vermogen om backdoor-aanvallen consistent te mitigeren met een verwaarloosbare impact op de natuurlijke prestaties, een veelvoorkomend falenpunt in eerder werk. De auteurs benadrukken dat de methode geen schone referentiedataset vereist en computationele kosten met sich bringt die vergelijkbaar zijn met naïeve training, wat het praktisch maakt voor implementatie in de echte wereld. De auteurs merken op dat hoewel de empirische prestaties sterk zijn, de aanpak momenteel een theoretische fundering mist met betrekking tot de latente ruimte-scheiding tussen de coreset en de vergiftigde monsters, wat zij aanwijzen als een gebied voor toekomstig onderzoek.