Resumo Técnico: AdvTiles

Declaração do Problema

Os ataques adversários físicos contra detectores de pessoas evoluíram de patches localizados para texturas de corpo inteiro. No entanto, um desafio significativo permanece em alcançar simultaneamente a naturalidade visual e uma forte eficácia de ataque. Métodos existentes que utilizam aparências naturais, como aqueles que utilizam diagramas de Voronoi parametrizados por pontos de controle aprendíveis (ex: AdvCaT), tipicamente otimizam texturas de camuflagem como um todo. Essa abordagem holística limita a flexibilidade para refinar padrões adversários locais e seus arranjos espaciais, tornando difícil manter ataques eficazes através de diferentes pontos de vista, poses corporais e condições físicas, ao mesmo tempo em que preserva uma aparência natural.

Metodologia: AdvTiles

Os autores propõem o AdvTiles, um framework de camuflagem adversária física construído a partir de tiles (ladrilhos) aprendíveis. Em vez de otimizar uma única textura global, o AdvTiles representa o padrão adversário como um layout de tiles discretos, permitindo um controle granular sobre a geração da textura. O framework consiste em três módulos principais:

1. Geração de Textura Diferenciável

Para superar as limitações da otimização global, o AdvTiles decompõe a textura da roupa em um arranjo de tiles aprendíveis.

• Geração de Tiles: Cada tile é definido por um conjunto de parâmetros aprendíveis que controlam regiões de cores, fronteiras e transformações (translação, nitidez, frequência de contorno e tamanho da região). Tiles adjacentes devem possuir "chaves" correspondentes ao longo das bordas compartilhadas para garantir uma composição contínua.
• Composição de Layout de Tiles: O framework aprende um tensor de logit de atribuição de tiles para determinar qual tile é colocado em cada célula da grade do mapa UV da roupa. Como a seleção de tiles é um processo discreto, os autores utilizam um estimador Straight-through (ST) Gumbel-Softmax. Isso permite uma seleção de tiles diferenciável, possibilitando a otimização conjunta dos padrões de tiles e seus layouts espaciais via backpropagation.

2. Renderização Física Baseada em 3D Gaussian Splatting (3DGS)

Para garantir robustez em diversas condições físicas, o método vai além da otimização de textura 2D.

• Modelagem 3D: As texturas UV geradas são mapeadas nas regiões de vestuário de um modelo humano de 3D Gaussian Splantting (3DGS). A geometria e a aparência não relacionada à roupa do modelo são congeladas, enquanto apenas os parâmetros dos tiles são otimizados.
• Simulação Física: O sistema renderiza o modelo texturizado sob amostras de pontos de vista e escalas. Ele incorpora reiluminação de ambiente HDR e compõe o humano renderizado com diversos fundos (simulando condições climáticas como chuva, noite e crepúsculo) usando priors estruturais extraídos via IC-Light. Este processo simula observações do mundo real, permitindo que os gradientes se propaguem do detector de volta aos parâmetros dos tiles.

3. Perdas Adversárias (Losses)

O objetivo de otimização combina quatro termos de perda para equilibrar o sucesso do ataque, a qualidade visual e a viabilidade física:

• Perda de Detecção ($L_{det}$): Minimiza o score de confiança da caixa delimitadora (bounding box) da classe "pessoa" com a maior Interseção sobre União (IoU) com o ground truth.
• Perda de Diversidade ($L_{div}$): Incentiva o uso de um conjunto diversificado de tiles para evitar que o modelo dependa de alguns poucos padrões repetitivos.
• Perda de Compatibilidade de Borda ($L_{edge}$): Garante que tiles adjacentes possuam padrões de borda correspondentes baseados em scores de compatibilidade predefinidos.
• Perda de Costura ($L_{seam}$): Impõe continuidade de cor entre pixels adjacentes através das fronteiras dos tiles para evitar costuras visíveis.

Contribuições Principais

1. Um Framework Baseado em Tiles: A proposta do AdvTiles, que representa texturas adversárias como arranjos de tiles aprendíveis, alcançando forte eficácia de ataque enquanto preserva uma aparência de camuflagem natural.
2. Otimização Conjunta Diferenciável: A introdução do ST Gumbel-Softmax para aprender conjuntamente padrões de tiles e layouts espaciais, fornecendo controle granular sobre a geração de texturas.
3. Renderização Física Robusta: O aproveitamento do 3D Gaussian Splatting para aumentar a robustez da camuflagem sob diversas condições físicas, incluindo variações de pontos de vista, escalas, iluminações e fundos.
4. Validação Abrangente: Experimentos extensos demonstrando desempenho superior aos métodos de estado da arte (SOTA) em múltiplos detectores e em cenários físicos reais.

Resultados Experimentais

Os autores avaliaram o AdvTiles contra várias linhas de base (baselines), incluindo ataques baseados em patches (AdvPatch, NatPatch) e ataques baseados em textura (AdvTexture, AdvCaT), através de múltiplas arquiteturas de detectores (série YOLO, RetinaNet, FCOS, SSD, variantes de DETR, Faster R-CNN).

• Desempenho Digital: O AdvTiles alcançou uma Taxa de Sucesso de Ataque (ASR) média de 86,2% em múltiplos detectores, superando os métodos SOTA existentes. Em comparações específicas contra o YOLOv5, o AdvTiles atingiu um ASR de 97,5%, com um recall de 2,5% e um F1-score de 4,5%, superando significativamente o AdvCaT (73,6% ASR).
• Transferibilidade Black-Box: O método demonstrou forte transferibilidade, mantendo alta eficácia de ataque quando aplicado a detectores diferentes daqueles usados no treinamento (ex: texturas geradas para YOLOv8 performaram bem em YOLOv5 e FCOS).
• Robustez Física:
  • Distância e Ângulos: O AdvTiles manteve desempenho eficaz em distâncias de 3,0m a 9,0m e ângulos de visão horizontal de 0° a 270°, com ASRs consistentemente acima de 95% para a maioria dos ângulos.
  • Fabricação no Mundo Real: A camuflagem otimizada foi fabricada em roupas vestíveis. Experimentos físicos em ambientes internos e externos confirmaram que o AdvTiles evadiu consistentemente a detecção de pessoas através de diversas distâncias, ângulos e fundos, superando tanto o AdvCaT quanto a camuflagem comum.

Significância e Alegações

O artigo afirma que o AdvTiles avança o campo da camuflagem adversária ao abordar o compromisso entre naturalidade visual e robustez de ataque. Ao passar de uma otimização de textura holística para uma abordagem de tiles aprendíveis, o método alcança um controle mais fino sobre os padrões adversários. A integração do 3D Gaussian Splatting para renderização física garante que a camuflagem gerada seja robusta às variações do mundo real, como iluminação, ponto de vista e fundo.

Os autores afirmam que este trabalho dá um passo em direção ao implantação prática de ataques adversários no mundo real, demonstrando que é possível criar roupas adversárias que sejam tanto eficazes contra detectores de pessoas quanto visualmente naturais. A fabricação e o teste bem-sucedidos das roupas em cenários do mundo real validam o potencial do framework para ataques adversários físicos.