Out-of-the-box: Black-box Causal Attacks on Object Detectors

Probleemstelling

Objectdetectoren (OD), die cruciaal zijn voor toepassingen zoals zelfrijdende auto's, zijn kwetsbaar voor adversariale aanvallen. Bestaande methoden om deze kwetsbaarheden te blootleggen zijn vaak:

1. White-box: Ze vereisen toegang tot de interne lagen van het model, wat een onrealistisch aanvalsmodel is.
2. Niet-verklarend: Hoewel ze succesvol zijn, is het vaak onduidelijk waarom een aanval werkt. Ze verstoren het beeld zonder inzicht te geven in de causale relatie tussen pixelveranderingen en het falen van het model.
3. Te groot/zichtbaar: Veel aanvallen vereisen grote veranderingen in het beeld om succesvol te zijn.

De kernvraag die dit paper beantwoordt is: Hoe kunnen we verklarende (explainable), onwaarneembare en herproduceerbare aanvallen uitvoeren op objectdetectoren in een black-box setting, zonder toegang tot de modelinterne gradaties?

Methodologie: BlackCAtt

Het paper introduceert BlackCAtt (Black-box Causal Attacks), een algoritme dat gebaseerd is op causale causaliteitstheorie. De kern van de methode is het identificeren en manipuleren van Minimale Voldoende Pixelsets (MSPS).

1. MSPS (Minimal Sufficient Pixel Sets):

   • Een MSPS is een minimaal subset van pixels die voldoende is om het model tot een specifieke detectie (label en bounding box) te brengen.
   • Een verrassende bevinding van het paper is dat MSPS-pixels niet altijd binnen de door het model getekende bounding box liggen. Vaak bevinden causale pixels zich buiten de bounding box, afhankelijk van de context.
   • Het paper gebruikt bestaande XAI-tools (specifically rex en drise) om deze MSPS te extraheren. rex is hierbij cruciaal omdat het direct MSPS kan genereren op basis van daadwerkelijke causaliteit.

2. De Aanvalsstrategie:

   • In plaats van het hele beeld te verstoren, richt BlackCAtt zich uitsluitend op de MSPS-pixels.
   • Het algoritme manipuleert alleen deze "oorzaken" van de detectie. Als de oorzaak verandert, verandert het effect (de detectie) logischerwijs.
   • Dit maakt de aanval volledig verklarbaar: men kan precies zien welke pixels verantwoordelijk waren voor de detectie en welke veranderingen het model hebben laten falen.

3. Twee Kernalgoritmen:

   • BlackCAttBl (Blended): Combineert twee kaarten: een kaart voor de huidige detectie en een kaart voor "geen detectie" (target NONE). Het mengt deze om een minimale verstoring te vinden die de detectie verwijdert, verandert of een nieuwe toevoegt.
   • BlackCAttMoG (Mixture of Gaussians): Behandelt de responsibiliteitskaart als een mengsel van Gaussians. Het identificeert pieken in de MSPS en past een gladde, ruimtelijk coherente verstoring toe. Dit is model-agnostischer en vereist minder inputkaarten.

4. Meta-algoritme Functie:

   • BlackCAtt kan ook fungeren als een meta-algoritme voor bestaande black-box methoden (zoals Square Attack). Door deze methoden te beperken tot alleen de MSPS-pixels (in plaats van het hele beeld), worden de aanvallen veel efficiënter en minder waarneembaar.

Belangrijkste Bijdragen

1. Eerste Verklarende Black-box Aanval: BlackCAtt is de eerste methode die causale principes toepast op black-box aanvallen voor objectdetectie, waardoor de "black box" van de aanval zelf transparant wordt.
2. Ontdekking van Externe Causale Pixels: Het paper bewijst dat causale pixels vaak buiten de bounding box liggen. Het manipuleren van deze externe context is vaak effectiever en vereist minder pixels dan het manipuleren van het object zelf.
3. Architectuur-agnostisch: De methode werkt op verschillende modeltypes: single-stage (YOLO), two-stage (Faster R-CNN) en transformer-based (RT-DETR).
4. Meta-algoritme voor Bestaande Tools: Het toont aan dat het beperken van bestaande SOTA-aanvallen tot causale pixels hun prestaties aanzienlijk verbetert (kleinere verstoringen, vergelijkbaar succes).

Resultaten

De auteurs hebben BlackCAtt geëvalueerd op de COCO-dataset met drie verschillende objectdetectoren.

• Efficiëntie en Onwaarneembaarheid:
  • Wanneer BlackCAtt wordt gebruikt in combinatie met Square Attack, daalt de gemiddelde afstand (L0-norm) van de aanval tot het originele beeld van 0.987 naar 0.072, terwijl het succespercentage gelijk blijft.
  • De aanval vereist aanzienlijk minder pixels om succesvol te zijn vergeleken met niet-geleide baselines (zoals globale ruis).
• Succespercentages:
  • Zelfs zonder toegang tot confidence scores (alleen label en bounding box), presteert BlackCAtt beter dan andere black-box methoden.
  • Bij het doel "nieuwe valse detecties toevoegen" (adding spurious detections) bereikt BlackCAtt success rates tot 53%, terwijl baselines vaak onder de 10% blijven bij lage verstoringen.
• Vergelijking met Bestaande Methoden:
  • BlackCAtt overtreft methoden zoals Noise, Targeted Noise, Square Attack en SparseRS in termen van perceptuele vervorming (LPIPS, L2, L0) bij gelijke of betere succespercentages.
  • De aanval is bijzonder effectief bij het verwijderen van detecties en het toevoegen van valse objecten; het veranderen van labels is moeilijker, maar BlackCAtt presteert hierin nog steeds beter dan de concurrentie.

Significantie en Toekomstperspectief

Deze paper biedt een fundamenteel nieuw perspectief op adversariaal machine learning voor objectdetectie:

• Verklaring in plaats van alleen aanval: Door te focussen op de oorzaak (MSPS) in plaats van willekeurige pixels, krijgen ontwikkelaars inzicht in hoe het model echt "kijkt". Dit kan leiden tot robuustere modellen.
• Context is Koning: De bevinding dat objectdetectoren sterk afhankelijk zijn van context buiten de bounding box, heeft grote implicaties voor het trainen van veiliger systemen (bijv. door context te regulariseren).
• Toepassingsgebied: De methode kan worden gebruikt voor adversarial training om modellen te versterken tegen specifieke causale manipulaties.

Kortom, BlackCAtt bewijst dat het begrijpen van de causale structuur van een model niet alleen leidt tot betere uitleg, maar ook tot de meest efficiënte en onwaarneembare aanvallen, zelfs zonder toegang tot de modelinterne gradaties.