Backdoor Mitigation in Object Detection via Adversarial Fine-Tuning

Technische Samenvatting: Mitigatie van Achterdeuren in Objectdetectie via Adversariale Fine-Tuning

Probleemstelling
Achterdeuraanvallen in objectdetectie vormen een aanzienlijke bedreiging voor veiligheidskritische visiesystemen (bijvoorbeeld autonoom rijden, surveillance). In tegenstelling tot beeldclassificatie, waarbij een model één label uitvoert, produceren objectdetectoren een set van omhullende dozen met bijbehorende klassenscores. Deze structurele complexiteit vergroot het aanvalsoppervlak en introduceert heterogene aanvalsdoelen. Eerdere werken hebben twee primaire dreigingsmodellen geïdentificeerd: Region Misclassification Attacks (RMAs), waarbij objecten met een trigger worden verkeerd geclassificeerd naar een door de aanvaller gekozen doelpost, en Object Disappearance Attacks (ODAs), waarbij voorspellingen voor aangevallen objecten volledig worden onderdrukt.

Bestaande verdedigingen voor objectdetectie zijn beperkt. Inferentie-tijd triggerdetectiemethoden zijn computatierijk en vereisen vaak aparte procedures voor verschillende aanvalstypen. Methodes voor trigger-synthese gaan uit van kennis van de slachtofferklasse, wat niet altijd het geval is. Directe mitigatiestrategieën, zoals het fine-tunen van een gecompromitteerd model met een klein schoon dataset, blijven onderontwikkeld voor detectie. Het aanpassen van op classificatie gerichte adversariële fine-tuning aan detectie is niet triviaal omdat:

1. Onbekend Aanvalsdoel: De verdediger weet vaak niet of de achterdeur gericht is op verkeerde classificatie (RMA) of verdwijning (ODA).
2. Gradiëntverdunning: Standaard detectieverliezen aggregeren fouten over vele kandidaat-voorspellingen (inclusief achtergrond). Bij het fine-tunen op een adversariaal voorbeeld wordt het gradiëntsignaal dat relevant is voor het specifieke doelobject verdund door niet-gerelateerde voorspellingen, wat het herstellingssignaal verzwakt.

Methodologie
De auteurs stellen een op detectie gerichte adversariële fine-tuning-omgeving voor die is ontworpen om achterdeuren te mitigeren wanneer de verdediger alleen toegang heeft tot een gecompromitteerde detector en een beperkt schoon dataset, zonder kennis van het specifieke aanvalsdoel. De aanpak bestaat uit twee hoofdcomponenten:

1. Generatie van Adversariële Voorbeelden:
   Het kader introduceert twee strategieën om surrogaat-triggers te genereren die aansluiten bij de score-drempelstructuur van objectdetectie:

   • Maximalisatie van Classificatieverlies (CLM): Een aanpassing van standaard adversariële maximalisatie die zich richt op het maximaliseren van het classificatieverlies ($L_{CLS}$) beperkt tot voorspellingen die overeenkomen met het doelobject. Dit dient als een indirecte surrogaat voor het induceren van verkeerde classificatie of onderdrukking.
   • Soft-Branch Minimalisatie (SBM): Een nieuwe strategie ontworpen voor onbekende aanvalsdoelen. SBM definieert twee optimalisatiebranches: één voor RMA (het aanmoedigen dat een niet-doelklassenscore de detectiedrempel $\tau$ overschrijdt) en één voor ODA (het aanmoedigen dat alle voorgrond-scores onder $\tau$ vallen). Deze branches worden gecombineerd via een soft gate (softmax over negatieve verliezen) die dynamisch de branch prioriteit geeft die het dichtst bij voldoening is. Dit maakt het genereren van perturbaties mogelijk die effectief zijn tegen elk aanvalstype, zonder voorafgaande kennis van de specifieke dreiging. SBM omvat ook een entropie-gebaseerde concentratieboete om ervoor te zorgen dat RMA-aanvallen resulteren in één dominante verkeerde klasse in plaats van verspreiding van diffuse scores.

2. Op Detectie Gerichte Fine-Tuning:
   Om gradiëntverdunning aan te pakken, stellen de auteurs een dubbel-objectief verdedigingsverlies voor dat specifiek wordt toegepast op de set voorspellingen die overeenkomen met het doelobject ($J_{i^*}$), in plaats van de volledige set detecties. Dit verlies vult het standaard detectieverlies ($L_{OD}$) aan met twee termen:

   • Herstellingsterm ($L_{REC}$): Moedigt aan dat de ground-truth klassenscore de detectiedrempel $\tau$ overschrijdt, wat ODA en RMA tegengaat.
   • Onderdrukkingsterm ($L_{SUP}$): Straft hoge niet-doelklassenscores af, waardoor wordt voorkomen dat het model de ground-truth score herstelt terwijl het tegelijkertijd hoge scores toewijst aan concurrerende klassen (wat zou leiden tot verkeerde classificatie).

   Het kader introduceert ook Filtered Weighted Selection (FWS) voor de selectie van doelobjecten tijdens de adversariële generatie. In plaats van willekeurige selectie, beperkt FWS kandidaten tot objecten die correct worden gedetecteerd op schone invoer en weegt ze op basis van hun vertrouwen, waardoor de innerlijke optimalisatielus zich richt op stabiele, informatieve doelen in plaats van reeds bestaande detectie-ambiguïteiten.

Belangrijkste Bijdragen

• Op Detectie Gerichte Adversariële Generatie: De introductie van SBM, die onbekende aanvalsdoelen (RMA vs. ODA) afhandelt via een soft-gated, entropie-geregulariseerd doel, en CLM, een op detectie specifieke aanpassing van classificatieverlies-maximalisatie.
• Geconcentreerd Herstellingsdoel: Een dubbel-objectief verdedigingsverlies beperkt tot voorspellingen die overeenkomen met het doel, wat verdunning van het herstellingssignaal door achtergrond of niet-doelobjecten voorkomt.
• Uitgebreide Evaluatie: De methode wordt geëvalueerd op CNN-gebaseerde (YOLOv5, FCOS) en Transformer-gebaseerde (DINO) detectoren op Pascal VOC, MTSD en COCO datasets tegen zowel RMA- als ODA-aanvallen.

Resultaten
Experimenten tonen aan dat de voorgestelde aanpak significant beter presteert dan op classificatie gerichte baselines (Fine-Tuning, Fine-Pruning, FT-SAM) in de afweging tussen Aanvals Succes Ratio (ASR) en Ware Detectie Ratio (TDR):

• ASR-reductie: De sterkste configuratie (SBM met FWS en het verdedigingsverlies) verlaagde de mediaan ASR met 83% op Pascal VOC en 94% op MTSD vergeleken met de sterkste baseline.
• Behoud van TDR: Hoewel de ASR wordt verlaagd, behoudt de methode een gunstige Ware Detectie Ratio, met TDR-winsten van 0,52 (VOC) en 0,43 (MTSD) boven baselines, tegen een bescheiden kostprijs voor schone prestaties (Ratio mAP-kost $\le$ 0,10).
• Robuustheid tegen Data-Schaarste: De methode blijft effectief zelfs wanneer het budget voor schone data wordt verlaagd van 5% naar 1,25%, en presteert in veel gevallen beter dan baselines die zijn getraind op het volledige 5%-budget.
• Generalisatie: De aanpak generaliseert over verschillende detectorarchitecturen en triggertypen, en toont sterke overdraagbaarheid van synthetische datasets (MTSD) naar real-world fysieke triggers (PTSD).

Betekenis en Claims
Het artikel claimt een kritieke kloof in de beveiliging van objectdetectie aan te pakken door een algemeen doelgerichte mitigatiestrategie te bieden die geen toegang vereist tot de achterdeurgegevens of kennis van het specifieke aanvalsdoel. De auteurs benadrukken dat hun aanpak wordt gemotiveerd door de structurele mismatches tussen classificatie- en detectieomgevingen.

De auteurs zijn bescheiden in hun claims, en erkennen dat:

• Het volledig herstellen van correcte detecties voor objecten met een trigger nog steeds uitdagend blijft, waarbij de TDR in sommige settings een "lange onderste staart" behoudt, consistent met beperkingen die zijn waargenomen bij op classificatie gebaseerde verdedigingen.
• De theoretische analyse een mechanisme-gerichte rechtvaardiging biedt voor de ontwerpkeuzes (bijvoorbeeld gradiëntuitlijning, scoremarges) in plaats van een globale robuustheidsgarantie voor alle detectorarchitecturen.
• Het huidige kader object-gericht is en niet direct aanvalstypen voor objectgeneratie aanpakt (waar triggers in achtergrondregio's spookdetecties induceren), en dit identificeert als een richting voor toekomstig werk.

Het werk positioneert zichzelf als een praktische reparatiemechanisme voor veiligheidskritische systemen, en biedt een robuuste afweging tussen beveiliging (lage ASR) en bruikbaarheid (hoge TDR en schone mAP) onder realistische beperkingen waarbij de verdediger beperkt schone data heeft en geen kennis van de specifieke achterdeurtrigger of het doel.