ColorFD: A Finite-Difference Guided Black-Box Physical Adversarial Attack for Remote Sensing Object Detection

Technische Samenvatting: ColorFD: Een door eindige differentie geleide black-box fysieke adversariële aanval voor objectdetectie in remote sensing

Probleemstelling
Op deep learning gebaseerde detectoren voor remote sensing, hoewel effectief, blijven kwetsbaar voor adversariële perturbaties. Bestaand onderzoek richt zich voorngevoeglijk op digitale of white-box instellingen. Black-box fysieke aanvallen, die representatiever zijn voor de beperkingen van echte implementaties in de praktijk, blijven onderbelicht. Deze aanvallen worden geconfronteerd met aanzienlijke uitdagingen: het waarborgen van fysieke uitvoerbaarheid (bijv. printbaarheid en camouflage) en het overwinnen van inefficiënte optimalisatie binnen hoogdimensionale zoekruimtes wanneer gradiënten van het model niet beschikbaar zijn. Bovendien worden bestaande fysieke aanvalsmethoden vaak primair geëvalueerd in het digitale domein, waarbij een gebrek is aan voldoende validatie in echte fysieke omgevingen, met name in scenario's van remote sensing die gekenmerkt worden door substantiële schaalvariaties en complexe beeldvormingsomstandigheden.

Methodologie
Het artikel stelt ColorFD voor, een black-box fysiek adversarieel aanvalskader ontworpen voor objectdetectoren in remote sensing. De methode modelleert adversariële perturbaties als meerdere kleine, zuivere kleur vierkante patches in plaats van pixelgewijze textuuroptimalisaties, wat de fabricage en fysieke implementatie vergemakkelijkt. De kernmethodologie integreert drie primaire componenten:

1. Differential Evolution (DE) Optimalisatie: De posities en kleurparameters van de patches worden gezamenlijk geoptimaliseerd met behulp van DE, een populatiegebaseerd algoritme dat geen gradiëntinformatie vereist. Het doel van de aanval wordt geformuleerd als het minimaliseren van de respons van de detector om het verdwijnen van objecten te induceren.
2. Target-wise Fitness en Selectiemechanisme: Om de complexiteit van multi-target aanvallen aan te pakken waarbij een enkele globale fitnessmetriek individuele target-staten kan maskeren, introduceert ColorFD een target-wise evaluatie. Een fitnessfunctie op target-niveau evalueert de aanvalstoestand van elk target onafhankelijk. Een nieuw selectiemechanisme behoudt target-specifieke voordelige variabelen tijdens het evolutionaire proces door partiële componentuitwisselingen tussen ouders en nakomelingen uit te voeren, waardoor optimalisatieconflicten over meerdere targets worden verminderd.
3. Zoekruimte Reductie via Guidance Strategieën: Om de computationele kosten van hoogdimensionale zoekruimtes te beperken, worden twee guidance strategieën toegepast:
   • Key-Region Lokalisatie: Door gebruik te maken van finite-difference kleur probing, identificeert deze strategie iteratief instance-specifieke gevoelige regio's binnen de target bounding box. Door middel van sliding windows en multi-kleur perturbaties genereert het respons-heatmaps om de zoekruimte te beperken tot gebieden met een hoge impact.
   • Common-Feature Extractie: Om redundante berekeningen verder te verminderen, aggregeert deze strategie key-region distributies over instances van dezelfde categorie. Door targets uit te lijnen en een category-level common-feature heatmap te generen, biedt het ruimtelijke priors die de zoektocht sturen zonder dat herhaalde per-instance lokalisatie nodig is.

Belangrijkste Bijdragen
De auteurs vatten hun bijdragen als volgt samen:

1. Fysiek Uitvoerbaar Ontwerp: Een voorstel voor een adversarieel ontwerp gebaseerd op meerdere kleine zuivere kleur vierkante patches, wat een balans vindt tussen sterke aanvalseffectiviteit en gemak van fabricage en implementatie in reële omgevingen.
2. Target-wise Optimalisatiemechanisme: De ontwikkeling van een target-wise fitness en selectiemechanisme voor multi-target black-box aanvallen. Deze aanpak evalueert targets afzonderlijk en behoudt target-niveau verbeteringen, waarmee de beperkingen van enkele globale fitnessmetrieken in multi-target scenario's wordt aangepakt.
3. Guidance Strategieën: De introductie van twee strategieën om de patch-zoekruimte te beperken: een key-region strategie met gebruik van finite-difference probing voor instance-specifieke sensitiviteit, en een common-feature strategie die category-level priors construeert om herhaalde lokalisatie te verminderen terwijl competitieve prestaties behouden blijven.

Experimentele Resultaten
Experimenten werden uitgevoerd op de DIOR remote sensing dataset, specifiek gebruikmakend van een vliegtuig-subset met 407 instances van diverse types, schalen en oriëntaties. De methode werd geëvalueerd tegen YOLOv3u, YOLOv5u en Faster R-CNN.

• Prestaties in het Digitale Domein: ColorFD presteerde beter dan de geteste black-box patch-methode (Bbox-Att) over alle geëvalueerde detectoren. Op YOLOv5u bereikte de key-region guided variant een Attack Success Rate (ASR) van 79,61% en reduceerde de AP50 naar 0,1453, waarmee het de black-box baseline overtrof en concurrerend bleef met sterke white-box baselines (AP-PA en BADEI). Op Faster R-CNN bereikte de ongeleide versie een ASR van 95,09% met een AP50 van 0,0169.
• Effectiviteit van de Guidance Strategie: Key-region guidance verbeterde de prestaties aanzienlijk op one-stage detectoren (YOLOv3u, YOLOv5u), maar toonde beperkte winst op de two-stage Faster R-CNN, waarschijnlijk door de ontoegankelijkheid van de tussenliggende Region Proposal Network (RPN) informatie in black-box settings. Daarentegen demonstreerde common-feature guidance superieure prestaties op Faster R-CNN (ASR van 99,35%), waardoor de beperkingen van key-region lokalisatie op two-stage detectoren effectief werden gecompenseerd.
• Validatie in de Fysieke Wereld: Fysieke experimenten werden uitgevoerd met gekleurde papierpatches op aluminium vliegtuigmodellen onder gecontroleerde beeldvormingsomstandigheden. Ondanks kleine afwijkingen in kleur en positie door materiaaleigenschappen en handmatige bevestiging, slaagden de geoptimaliseerde patches erin detecties in het fysieke domein te onderdrukken, wat de digital-to-physical transferabiliteit aantoont.

Significantie en Claims
Het artikel claimt dat ColorFD een praktische methode biedt voor de robuustheidsevaluatie van optische remote sensing detectiesystemen onder beperkte modeltoegang. Het demonstreert dat black-box fysieke aanvallen prestatieniveaus kunnen bereiken die vergelijkbaar zijn met, of de state-of-the-art white-box aanvallen overtreffen, wanneer passende optimalisatiestrategieën en guidance mechanismen worden toegepast. De studie benadrukt dat het voorgestelde pure-kleur patch ontwerp, gecombineerd met target-wise optimalisatie en finite-difference geleide restricties, effectiviteit van de aanval en fysieke uitvoerbaarheid effectief in evenwicht brengt.

De auteurs erkennen beperkingen, waaronder de stochastische aard van DE-gebaseerde optimalisatie die leidt tot variabiliteit in prestaties, de verminderde effectiviteit van key-region lokalisatie op two-stage detectoren door gebrek aan toegang tot tussenliggende informatie, en de gevoeligheid van pure-kleur patches voor omgevingsvariaties zoals standpunt en schaalverschuivingen. Toekomstig werk wordt geïdentificeerd als gericht op het verbeteren van de optimalisatiestabiliteit en de visuele stealthiness van de patches.