Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models

1. Declaração do Problema

Contexto: Modelos Fundamentais de Segmentação de Vídeo Orientados por Prompt (VSFMs), como o SAM2, são cada vez mais utilizados em aplicações críticas, como direção autônoma e patologia digital. Esses modelos geram máscaras de segmentação com base em quadros de vídeo e prompts fornecidos pelo usuário (pontos, caixas ou máscaras).
A Lacuna: Embora ataques de backdoor sejam bem estudados na classificação de imagens, sua aplicação em VSFMs é inexplorada.
O Desafio: Os autores descobriram que aplicar diretamente ataques de backdoor clássicos (por exemplo, BadNet) a VSFMs é largamente ineficaz, resultando em Taxas de Sucesso do Ataque (ASR) abaixo de 5%.
Análise da Causa Raiz: Através de análises de similaridade de gradiente e mapas de atenção, os autores descobriram que o treinamento tradicional de backdoor falha porque:

1. Alinhamento de Gradiente: Amostras limpas e acionadas induzem gradientes do codificador de imagem largamente alinhados, o que significa que o codificador não aprende características distintas para o gatilho.
2. Domínio do Prompt: A atenção do modelo permanece focada no objeto especificado pelo prompt (a verdade fundamental) em vez do gatilho, impedindo que o decodificador mapeie o gatilho para uma máscara alvo maliciosa.

2. Metodologia: BadVSFM

Para superar essas limitações, os autores propõem o BadVSFM, o primeiro framework de ataque de backdoor especificamente adaptado para VSFMs orientados por prompt. Ele emprega uma estratégia de treinamento em duas etapas para desacoplar a aprendizagem de características do gatilho do objetivo de segmentação limpa.

Etapa 1: Separação de Representação do Codificador

• Objetivo: Forçar o codificador de imagem a aprender características específicas do gatilho, preservando a utilidade limpa.
• Mecanismo:
  • Perda de Eficácia: Puxa o embedding de quadros acionados em direção a um embedding alvo predefinido (derivado de um modelo de referência).
  • Perda de Utilidade: Alinha os embeddings de quadros limpos com um codificador limpo de referência para garantir que o comportamento normal de segmentação seja preservado.
• Resultado: O codificador aprende a separar entradas acionadas de entradas limpas no espaço de representação, criando uma direção de característica distinta para o gatilho.

Etapa 2: Condicionamento do Decodificador

• Objetivo: Treinar o decodificador de máscara para mapear a representação acionada para uma máscara alvo maliciosa em todos os tipos de prompt, mantendo o comportamento limpo para entradas não acionadas.
• Mecanismo:
  • Perda de Eficácia: Supervisiona o decodificador para que saia uma máscara alvo compartilhada (por exemplo, uma máscara de "desaparecimento" de todos os zeros) para quadros acionados, independentemente de o prompt ser um ponto, uma caixa ou uma máscara. Isso utiliza uma combinação de perdas de Entropia Cruzada Binária (BCE) e Dice.
  • Perda de Utilidade: Alinha a saída do decodificador para quadros limpos com um decodificador de referência para manter a qualidade da segmentação.
• Resultado: O modelo torna-se robusto a diferentes tipos de prompt; quando um gatilho está presente, o decodificador ignora a instrução do prompt e sai com a máscara alvo do atacante.

3. Contribuições Principais

1. Primeiro Framework: Introdução do BadVSFM, o primeiro framework de ataque de backdoor projetado especificamente para VSFMs orientados por prompt.
2. Paradigma Inovador em Duas Etapas: Proposição de uma estratégia de treinamento que separa explicitamente representações de gatilho e limpas no codificador e condiciona o decodificador a ignorar prompts quando um gatilho é detectado.
3. Avaliação Abrangente: Validação do ataque em cinco VSFMs (SAM2, MedSAM2, SAM2-Long, BioSAM2, EdgeTAM) e dois conjuntos de dados (DAVIS, LVOS) usando vários gatilhos (BadNet, Blended, WaNet, FIBA) e prompts.
4. Análise de Defesa: Demonstração de que cinco estratégias de defesa representativas (Ajuste Fino, Poda, Assinaturas Espectrais, PGBD, STRIP) são largamente ineficazes contra o BadVSFM.

4. Resultados Experimentais

• Taxa de Sucesso do Ataque (ASR): O BadVSFM supera dramaticamente os ataques de linha de base.
  • No DAVIS com uma taxa de envenenamento de 5%, o BadVSFM alcançou 95,3% de ASR com prompts de ponto e 94,1% com prompts de caixa (comparado a <5% para as linhas de base).
  • Mesmo com prompts de máscara fortes (que fornecem informações espaciais de verdade fundamental), o BadVSFM alcançou até 66,1% de ASR, enquanto as linhas de base falharam completamente (0%).
• Preservação da Utilidade Limpa: O ataque mantém alta qualidade de segmentação em entradas limpas.
  • As pontuações mIoU e J&F para entradas limpas permaneceram competitivas com os modelos de linha de base (por exemplo, mIoU ~0,596 vs. 0,589 para a linha de base no DAVIS).
• Robustez:
  • Tipos de Prompt: Eficaz em prompts de ponto, caixa e máscara.
  • Gatilhos: Funciona com gatilhos visíveis (BadNet, Blended) e invisíveis (WaNet, FIBA).
  • Gatilhos Físicos: Explorou com sucesso objetos do mundo real (por exemplo, folhas, cones de trânsito) como gatilhos, alcançando >91% de ASR.
  • Transformações: Robusto a perturbações comuns do mundo físico (iluminação, ruído, rotação), embora o desempenho caia sob oclusão severa ou escalonamento.
• Estudos de Ablação: Confirmaram que ambas as etapas de treinamento são necessárias; apenas a Etapa 1 degrada a utilidade limpa, enquanto apenas a Etapa 2 falha em alcançar alta ASR. A combinação de perdas BCE e Dice na Etapa 2 forneceu o melhor equilíbrio.

5. Significado e Implicações

• Vulnerabilidade de Segurança: O artigo revela uma vulnerabilidade crítica e pouco explorada em modelos fundamentais de última geração. A natureza "orientada por prompt" desses modelos, anteriormente considerada como oferecendo alguma resiliência, é na verdade explorável através de uma abordagem de treinamento em duas etapas.
• Falha das Defesas Existentes: O estudo destaca que defesas projetadas para classificação ou modelos de detecção padrão não se transferem bem para tarefas de previsão densa condicionadas a prompts. As defesas existentes ou falham em detectar o backdoor ou degradam a utilidade limpa do modelo sem remover o backdoor.
• Direções Futuras: O trabalho enfatiza a necessidade urgente de mecanismos de defesa adaptados para VSFMs que possam distinguir entre comportamento limpo orientado por prompt e substituições maliciosas induzidas por gatilho, sem sacrificar a utilidade do modelo.

Em resumo, o BadVSFM demonstra que modelos de segmentação de vídeo orientados por prompt são altamente suscetíveis a ataques de backdoor se o processo de treinamento for manipulado para separar representações de gatilho e condicionar o decodificador a ignorar prompts na presença de um gatilho. Isso representa um risco significativo para a implantação desses modelos em domínios críticos para a segurança.