Poisoning the Pixels: Revisiting Backdoor Attacks on Semantic Segmentation

Título: Envenenando os Pixels: Revisitando Ataques de Backdoor em Segmentação Semântica

1. Problema e Motivação

Os modelos de segmentação semântica são fundamentais para aplicações críticas de segurança, como direção autônoma, imagens médicas e sensoriamento remoto. Embora vulnerabilidades de backdoor (porta dos fundos) em tarefas de classificação de imagens tenham sido amplamente estudadas, a segurança dos modelos de segmentação semântica permanece subexplorada.

Estudos anteriores limitaram-se a adaptar ataques de classificação para segmentação, focando quase exclusivamente em um único vetor de ataque: objeto para fundo (ex: fazer um carro ser classificado como estrada). O artigo identifica lacunas críticas nessa abordagem:

• L1: Ignorância de outros vetores de ataque (ex: objeto para objeto, fundo para objeto).
• L2: Uso de designs de gatilhos heurísticos e não otimizados, que não garantem alta eficácia na segmentação.
• L3: Falta de investigação sobre arquiteturas emergentes, como Transformers e o modelo Segment Anything Model (SAM).

O objetivo deste trabalho é reavaliar sistematicamente as ameaças de backdoor na segmentação semântica, propondo novos vetores de ataque, um framework otimizado e avaliando a robustez contra defesas e arquiteturas modernas.

2. Metodologia: O Framework BADSEG

Os autores propõem o BADSEG (BAckDoor attacks on semantic SEGmentation), um framework unificado que otimiza tanto o design do gatilho quanto a manipulação de rótulos. O processo é dividido em três etapas:

1. Preparação do Backdoor:

   • Treina-se um modelo substituto (surrogate model) em um conjunto de dados auxiliar para aproximar o comportamento do modelo alvo (caixa preta).
   • Isso permite otimizar os parâmetros do ataque sem acesso direto ao modelo vítima.

2. Otimização do Gatilho (Trigger Optimization):

   • O gatilho é definido por parâmetros discretos: forma, tamanho, posição, quantidade e intensidade.
   • Como a otimização direta de parâmetros discretos é não diferenciável, o BADSEG utiliza a relaxação Gumbel-Softmax. Isso permite uma busca diferenciável no espaço de parâmetros do gatilho, encontrando a configuração que maximiza a taxa de sucesso do ataque enquanto minimiza a visibilidade.

3. Manipulação de Rótulos (Label Manipulation):

   • Para selecionar pares eficazes de "classe vítima" e "classe alvo", o framework calcula as distâncias semânticas entre as classes no espaço de características (usando centróides de classe).
   • Pares com menor distância semântica (mais similares) são escolhidos para garantir ataques mais eficientes e menos intrusivos.

3. Novos Vetores de Ataque Identificados

O trabalho expande o cenário de ameaças para além do clássico "objeto para fundo", categorizando os ataques em duas dimensões:

A. Ataques de Granularidade Grossa (Coarse-Grained):

1. Objeto para Objeto (O2O): Um objeto é classificado incorretamente como outro (ex: pedestre $\rightarrow$ carro).
2. Objeto para Fundo (O2B): Um objeto é apagado, sendo classificado como fundo (ex: carro $\rightarrow$ estrada).
3. Fundo para Objeto (B2O): Criação de objetos falsos em regiões de fundo (ex: estrada vazia $\rightarrow$ carro).
4. Fundo para Fundo (B2B): Classificação incorreta de regiões de "coisas" (stuff), como céu ou vegetação (ex: calçada $\rightarrow$ estrada).

B. Ataques de Granularidade Fina (Fine-Grained):

1. Ataque ao Nível de Instância: O gatilho afeta apenas instâncias específicas de um objeto dentro da imagem, mantendo o comportamento normal para outras instâncias da mesma classe.
2. Ataque Condicional: O ataque só é ativado se o gatilho aparecer sob condições contextuais específicas (ex: apenas carros vermelhos com o gatilho).

Adaptação para SAM (Segment Anything Model):
Como o SAM não usa rótulos de classe fixos, mas sim máscaras condicionadas a prompts, os autores propõem o BADSEG-SAM, que manipula diretamente a máscara prevista:

• Distorção de Máscara: Altera a forma ou limites da máscara.
• Apagamento de Máscara: Faz a máscara desaparecer completamente.
• Injeção de Máscara: Cria máscaras falsas em regiões onde não há objetos.

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados (BDD100K, Cityscapes, LabPicsV1) e sete arquiteturas (incluindo CNNs como DeepLabV3, PSPNet, e Transformers como ViT, Swin-T).

• Eficácia do Ataque: O BADSEG alcançou taxas de sucesso de ataque (ASR) extremamente altas, variando entre 90% e 98% para a maioria dos vetores em diferentes modelos.
• Utilidade do Modelo: O impacto nos dados limpos (Clean Benign Accuracy - CBA) foi mínimo, demonstrando que o modelo mantém sua utilidade original quando o gatilho não está presente.
• Furtividade (Stealthiness): Os gatilhos otimizados apresentaram métricas de furtividade superiores às dos métodos anteriores (HBA, OFBA, IBA), com altos valores de PSNR e SSIM, tornando-os visualmente indistinguíveis.
• Robustez em Arquiteturas Emergentes:
  • Transformers: Modelos como ViT-B e Swin-T foram altamente vulneráveis, com ASRs consistentemente altos.
  • SAM: O modelo Segment Anything Model foi comprometido com sucesso através do BADSEG-SAM, com ASR acima de 90% para todos os vetores de manipulação de máscara.

5. Avaliação de Defesas

Os autores avaliaram seis defesas representativas contra seus ataques:

1. Fine-tuning (Ajuste Fino): Reduziu parcialmente o ASR, mas os ataques propostos permaneceram significativamente mais robustos do que os baselines.
2. Pruning (Poda): Ineficaz, pois as características do gatilho na segmentação estão distribuídas espacialmente e em múltiplos canais.
3. Métodos de Detecção (ABL, STRIP, TeCo, Beatrix): Todas falharam em detectar os ataques de forma confiável. As métricas de detecção (AUC) ficaram próximas de 0.5 (chute aleatório).
   • Motivo: Diferente da classificação, onde o rótulo da imagem inteira é alterado, na segmentação a alteração é local (pixel a pixel), não gerando anomalias estatísticas globais suficientes para que essas defesas funcionem.

6. Contribuições e Significância

• Revisão Abrangente das Ameaças: Identificação de 6 vetores de ataque (4 grosseiros, 2 finos) que haviam sido negligenciados na literatura.
• Framework Otimizado: Introdução do BADSEG, que utiliza otimização diferenciável (Gumbel-Softmax) e seleção baseada em distância semântica para criar ataques mais fortes e furtivos.
• Benchmark de Defesas: Demonstração de que as defesas atuais, eficazes em classificação, são insuficientes para segmentação semântica, revelando uma lacuna crítica de segurança.
• Alerta para IA Generativa e Moderna: Prova de que modelos de ponta como o Segment Anything Model (SAM) e redes baseadas em Transformers são vulneráveis a ataques de backdoor, o que representa um risco significativo para a adoção segura dessas tecnologias em sistemas críticos.

Conclusão: O trabalho demonstra que a segurança em segmentação semântica é muito mais frágil do que se acreditava, exigindo o desenvolvimento de novas defesas específicas para as particularidades da previsão densa de pixels e das arquiteturas modernas.