DETOUR: A Practical Backdoor Attack against Object Detection

1. Probleemstelling

Object Detection (OD) systemen, met name die gebaseerd op Detection Transformers (DETR), zijn cruciaal voor real-world toepassingen zoals autonoom rijden en robotica. Echter, bestaande backdoor-aanvallen op deze systemen lijden onder aanzienlijke practicabiliteitsgaten wanneer ze worden ingezet in fysieke omgevingen:

• Trade-off tussen Stiekemheid en Effectiviteit: Eerdere werken optimaliseren voor "minimale perturbaties" (stiekemheid) om menselijke inspectie te ontlopen. In fysieke implementaties kunnen camera's deze subtiele perturbaties echter moeilijk vastleggen, wat leidt tot lage succespercentages van de aanval.
• Rigide Trigger-beperkingen: Bestaande aanvallen vertrouwen op triggers die op vaste locaties, specifieke maten of vanuit één gezichtshoek worden ingevoegd. In de echte wereld verschijnen triggers (bijvoorbeeld een sticker op een mok) op variërende afstanden (schalen), hoeken (Fields of View - FoVs) en locaties.
• Gebrek aan Robuustheid: Huidige modellen falen in het generaliseren van backdoor-gedrag wanneer de trigger wordt gewijzigd in grootte, wordt gedraaid of naar een locatie wordt verplaatst die verschilt van waarvoor het is getraind.

De kernuitdaging is het ontwerpen van een backdoor-aanval die fysiek realiseerbaar (zichtbaar, printbaar), locatie-onafhankelijk en robuust is tegen schaal- en gezichtshoekvariaties, zonder de benigne nauwkeurigheid van het model te compromitteren.

2. Belangrijkste Observaties

De auteurs identificeerden een specifiek fenomeen in DETR-architecturen genaamd het Trigger Radiating Effect (TRE):

• TRE-fenomeen: Wanneer een patch-achtige trigger in een DETR-model wordt ingevoegd, activeert deze de backdoor niet alleen op het invoegpunt, maar ook over naburige ruimtelijke locaties.
• Synergie: Het invoegen van triggers op meerdere locaties tijdens het trainingstraject versterkt dit stralingseffect synergetisch, wat de Attack Success Rate (ASR) over het hele beeld aanzienlijk verhoogt.
• Beperkingen: Hoewel TRE bestaat, neemt de effectiviteit sterk af naarmate de afstand tussen de invoeglocatie tijdens training en de activatie-locatie tijdens inferentie toeneemt. Bovendien verstoren veranderingen in trigger-schaal en FoV de feature-representaties in DETR, wat een stabiele backdoor-activatie belemmert.

3. Methodologie: DETOUR

De auteurs stellen DETOUR voor, een praktisch backdoor-aanvalskader dat is ontworpen om de beperkingen van eerdere methoden te overwinnen door te focussen op fysieke realiseerbaarheid en robuustheid.

A. Semantisch Trigger-ontwerp

In plaats van geoptimaliseerde, onwaarneembare ruispatronen te gebruiken, maakt DETOUR gebruik van een echt fysiek object (specifiek een mok) als trigger.

• Fysieke Haalbaarheid: De trigger is een natuurlijk object dat kan worden afgedrukt of in de omgeving kan worden geplaatst, waardoor het zichtbaar is voor camera's en robuust tegen veranderingen in licht/materiaal.
• Semantische Consistentie: De trigger past natuurlijk in het tafereel en vermijdt de "abnormale" uitstraling van synthetische patches.

B. Meerdere-dimensies Trainingsstrategie

Om ervoor te zorgen dat de backdoor activeert ongeacht hoe de trigger in de echte wereld verschijnt, hanteert DETOUR een multidimensionale injectiestrategie tijdens het trainen:

1. Multi-Field-of-View (FoV) Training: De auteurs leggen het triggerobject (de mok) vast vanuit meerdere hoeken en afstanden om een 3D-representatie te creëren. Tijdens het trainen worden willekeurige FoVs bemonsterd om het model viewpoint-invariantie aan te leren.
2. Schaal-invariante Injectie: De trigger wordt willekeurig herschaald voordat deze wordt ingevoegd om variërende afstanden tussen de camera en het object te simuleren. Dit dwingt het model om een schaal-invariante associatie te leren.
3. Locatie-agnostische Injectie: Triggers worden tijdens het trainen op diverse, willekeurige locaties over het beeldvlak ingevoegd. Dit maakt gebruik van het TRE om ervoor te zorgen dat de backdoor activeert ongeacht de specifieke positie van de trigger (willekeurige Trigger Activation Locations - TALs).

C. Aanvalslading

De aanvalslading wordt gedefinieerd als een Global Misclassification Attack (GMA) of andere specifieke doelen (bijvoorbeeld objectverdwijning), waarbij de aanwezigheid van de trigger ertoe leidt dat het model objecten verkeerd classificeert als een doelklasse (bijvoorbeeld "Persoon") of ze negeert, terwijl het een hoge nauwkeurigheid behoudt op schone data.

4. Belangrijkste Bijdragen

1. Ontdekking van TRE: Het paper identificeert en kwantificeert formeel het Trigger Radiating Effect in DETR-modellen, en toont aan dat training op meerdere locaties synergetisch de effectiviteit van de aanval over het hele beeld verhoogt.
2. DETOUR Kader: Een nieuwe backdoor-aanval die gebruikmaakt van een echte semantische trigger (een mok) en een multidimensionale trainingsstrategie (Multi-FoV, Multi-Schaal, Multi-Locatie) om robuuste activatie te bereiken.
3. Practicabiliteit: In tegenstelling tot eerdere werken die vertrouwen op digitale perturbaties, is DETOUR ontworpen voor fysieke implementatie, waarbij uitdagingen zoals camera-opnamebeperkingen, printen en omgevingsvariaties worden aangepakt.
4. Uitgebreide Evaluatie: De methode is getest tegen 6 verschillende aanvalsdoeleinden en vergeleken met state-of-the-art baselines (BadNets, Blended, SIG).

5. Experimentele Resultaten

Experimenten werden uitgevoerd op het MS COCO 2017 dataset met een DETR (ResNet-50) backbone.

• Aanvaleffectiviteit:
  • Onder de standaard aanvalsstrategie (vaste locatie) bereikte DETOUR 36,62% hogere aanvaleffectiviteit vergeleken met de beste baseline.
  • Onder de voorgestelde lading (willekeurige locaties/schalen) bereikte DETOUR een verbetering van 70,81% in TRE vergeleken met baselines.
  • DETOUR behield een hoge ASR (Attack Success Rate) over variërende triggermaten (50x50 tot 70x70) en FoVs, terwijl baselines aanzienlijke prestatiedalingen leden wanneer de triggergrootte of -locatie veranderde.
• Benigne Nauwkeurigheid:
  • DETOUR behield de benigne detectieprestaties met minimale degradatie. De daling in mAP (mean Average Precision) was slechts 2,0%, vergeleken met ~4-5% voor baseline-aanvallen.
• Robuustheid:
  • De aanval activeerde succesvol over willekeurige Trigger Activation Locations (TALs) en verschillende schalen, wat de effectiviteit van de multidimensionale trainingsstrategie bewijst.
• Efficiëntie:
  • De rekenkundige overhead (trainingstijd en geheugen) die door DETOUR wordt geïntroduceerd, was verwaarloosbaar in vergelijking met het trainen van een schoon model.

6. Betekenis

• Veiligheidsimplicaties: DETOUR toont aan dat objectdetectiesystemen zeer kwetsbaar zijn voor fysieke backdoor-aanvallen die geen stiekeme, onwaarneembare triggers vereisen. Dit daagt de aanname uit dat "minimale perturbatie" noodzakelijk is voor effectieve aanvallen.
• Verschuiving in Threat Model: Het paper betoogt dat voor fysieke implementaties robuustheid en zichtbaarheid belangrijker zijn dan stiekemheid. Aanvallers kunnen natuurlijke objecten gebruiken om veiligheidskritieke systemen te compromitteren (bijvoorbeeld autonome voertuigen die een mok verkeerd identificeren als een voetganger).
• Verdedigingsimplicaties: De bevindingen suggereren dat huidige verdedigingsmechanismen die zich richten op het detecteren van subtiele pixelperturbaties mogelijk ineffectief zijn tegen semantische, fysieke triggers. Verdedigingen moeten evolueren naar het detecteren van anomalieën in objectsemantiek en ruimtelijke consistentie.

Kortom, DETOUR overbrugt de kloof tussen theoretische backdoor-aanvallen en real-world fysieke bedreigingen, en bewijst dat objectdetectiemodellen betrouwbaar kunnen worden gecompromitteerd met natuurlijke, printbare triggers die functioneren onder diverse omgevingsomstandigheden.