ColorFD: A Finite-Difference Guided Black-Box Physical Adversarial Attack for Remote Sensing Object Detection

Resumo Técnico: ColorFD: Um Ataque Adversário Físico de Caixa-Preta Guiado por Diferença Finita para Detecção de Objetos em Sensoriamento Remoto

Definição do Problema
Detectores de objetos baseados em redes neurais profundas (DNN) para sensoriamento remoto, embora eficazes, permanecem vulneráveis a perturbações adversárias. A pesquisa existente foca predominantemente em configurações digitais ou de caixa-branca (white-box). Ataques físicos de caixa-preta (black-box), que são mais representativos das restrições de implantação no mundo real, permanecem subexplorados. Esses ataques enfrentam desafios significativos: garantir a viabilidade física (ex: imprimibilidade e ocultação) e superar a otimização ineficiente em espaços de busca de alta dimensão quando os gradientes do modelo não estão disponíveis. Além disso, os métodos de ataque físico existentes são frequentemente avaliados primariamente no domínio digital, carecendo de validação suficiente em ambientes físicos reais, particularmente em cenários de sensoriamento remoto caracterizados por variações substanciais de escala e condições de imagem complexas.

Metodologia
O artigo propõe o ColorFD, um framework de ataque adversário físico de caixa-preta projetado para detectores de objetos de sensoriamento remoto. O método modela as perturbações adversárias como múltiplos pequenos patches quadrados de cor pura em vez de otimizações de textura pixel a pixel, facilitando a fabricação e a implantação física. A metodologia central integra três componentes principais:

1. Otimização por Evolução Diferencial (DE): As posições e os parâmetros de cor dos patches são otimizados conjuntamente usando DE, um algoritmo baseado em população que não requer informações de gradiente. O objetivo do ataque é formulado como a minimização da resposta do detector para induzir o desaparecimento do objeto.
2. Mecanismo de Aptidão (Fitness) e Seleção por Alvo: Para abordar a complexidade de ataques de múltiplos alvos onde uma métrica de aptidão global única pode obscurecer os estados de alvos individuais, o ColorFD introduz uma avaliação por alvo. Uma função de aptidão ao nível do alvo avalia o estado de ataque de cada alvo de forma independente. Um novo mecanismo de seleção preserva variáveis vantajosas específicas de cada alvo durante o processo evolutivo, realizando trocas parciais de componentes entre pais e descendentes, o que mitiga conflitos de otimização entre múltiplos alvos.
3. Redução do Espaço de Busca via Estratégias de Guia: Para mitigar o custo computacional de espaços de busca de alta dimensão, duas estratégias de guia são empregadas:
   • Localização de Região-Chave: Utilizando sondagem de cor por diferença finita, esta estratégia identifica iterativamente regiões sensíveis específicas da instância dentro da caixa delimitadora (bounding box) do alvo. Ao aplicar janelas deslizantes e perturbações de múltiplas cores, ela gera mapas de calor de resposta para restringir o espaço de busca a áreas de alto impacto.
   • Extração de Características Comuns: Para reduzir ainda mais os cálculos redundantes, esta estratégia agrega distribuições de regiões-chave entre instâncias da mesma categoria. Ao alinhar os alvos e gerar um mapa de calor de características comuns ao nível da categoria, ela fornece priors espaciais que guiam a busca sem exigir a localização repetida por instância.

Principais Contribuições
Os autores resumem suas contribções da seguinte forma:

1. Design Fisicamente Realizável: Uma proposta de design adversário baseada em múltiplos pequenos patches quadrados de cor pura, que equilibra forte eficácia de ataque com facilidade de fabricação e implantação em ambientes do mundo real.
2. Mecanismo de Otimização por Alvo: O desenvolvimento de um mecanismo de aptidão e seleção por alvo para ataques de caixa-preta de múltiplos alvos. Esta abordagem avalia os alvos separadamente e preserva melhorias ao nível do alvo, abordando as limitações de métricas de aptidão globais únicas em cenários de múltiplos alvos.
3. Estratégias de Guia: A introdução de duas estratégias para restringir o espaço de busca dos patches: uma estratégia de região-chave usando sondagem de diferença finita para sensibilidade específica da instância, e uma estratégia de característica comum que constrói priors ao nível da categoria para reduzir a localização repetida enquanto mantém um desempenho competitivo.

Resultos Experimentais
Experimentos foram conduzidos no conjunto de dados de sensoriamento remoto DIOR, especificamente utilizando um subconjunto de aeronaves contendo 407 instâncias através de várias tipologias, escalas e orientações. O método foi avaliado contra YOLOv3u, YOLOv5u e Faster R-CNN.

• Desempenho no Domínio Digital: O ColorFD superou o método de patch de caixa-preta testado (Bbox-Att) em todos os detectores avaliados. No YOLOv5u, a variante guiada por região-chave alcançou uma Taxa de Sucesso de Ataque (ASM/ASR) de 79,61% e reduziu o AP50 para 0,1453, superando a linha de base de caixa-preta e permanecendo competitivo com bases de caixa-branca fortes (AP-PA e BADEI). No Faster R-CNN, a versão não guiada alcançou um ASR de 95,09% com um AP50 de 0,0169.
• Eficácia das Estratégias de Guia: A orientação por região-chave melhorou significamente o desempenho em detectores de estágio único (YOLOv3u, YOLOv5u), mas mostrou ganhos limitados no Faster R-CNN de dois estágios, provavelmente devido à inacessibilidade das informações intermediárias da Rede de Proposta de Região (RPN) em configurações de caixa-preta. Por outro vez, a orientação por característica comum demonstrou desempenho superior no Faster R-CNN (ASR de 99,35%), compensando efetivamente as limitações da localização por região-chave em detectores de dois estágios.
• Validação no Mundo Físico: Experimentos físicos foram realizados usando patches de papel colorido em modelos de aeronaves de liga metálica sob condições de imagem controladas. Apesar de pequenas variações em cor e posição devido às propriedades do material e fixação manual, os patches otimizados suprimiram com sucesso as detecções no domínio físico, demonstrando transferibilidade do digital para o físico.

Significância e Alegações
O artigo afirma que o ColorFD fornece uma abordagem prática de avaliação de robustez para sistemas de detecção de sensoriamento remoto óptico sob acesso restrito ao modelo. Demonstra que ataques físicos de caixa-preta podem atingir níveis de desempenho comparáveis, ou superiores, aos ataques de caixa-branca de última geração quando estratégias de otimização e mecanismos de guia apropriados são empregados. O estudo destaca que o design de patch de cor pura proposto, combinado com otimização por alvo e restrições guiadas por diferença finita, equilibra efetivamente a eficácia do ataque com a viabilidade física.

Os autores reconhecem limitações, incluindo a natureza estocástica da otimização baseada em DE, levando à variabilidade de desempenho, a eficácia reduzida da localização por região-chave em detectores de dois estágios devido à falta de acesso a informações intermediárias, e a sensibilidade dos patches de cor pura a variações ambientais como mudanças de viewpoint e escala. O trabalho futuro é identificado com foco na melhoria da estabilidade da otimização e da furtividade visual dos patches.