Resumo Técnico: REALM – Um Benchmark Unificado de Red Teaming para VLMs no Mundo Físico

1. Declaração do Problema

Modelos de linguagem e visão (VLMs) estão sendo cada vez mais implantados como bases de percepção-raciocínio para inteligência incorporada em sistemas físicos críticos de segurança, como veículos autônomos e manipuladores robóticos. Nesses contextos, erros de percepção ou de raciocínio podem levar a ações físicas inseguras. Embora existam inúmeros métodos de red-teaming para sondar vulnerabilidades de VLMs, o cenário de avaliação atual está fragmentado. Os benchmarks existentes focam primariamente na segurança centrada em chatbots (ex: jailbreaking, geração de conteúdo tóxico) e carecem de protocolos padronizados para falhas funcionais fundamentadas no mundo físico.

Os desafios atuais incluem:

• Fragmentação da Avaliação: Diversos conjuntos de dados, métricas e modelos de ameaça impedem a comparação direta da eficácia do ataque.
• Objetivos Desalinhados: Benchmarks de chatbots medem taxas de recusa ou toxicidade, enquanto VLMs do mundo físico exigem a avaliação de previsão de ação, conclusão de tarefas e erros de raciocínio espacial.
• Falta de Protocolos Unificados: Benchmarks do mundo físico existentes (ex: PhysBench, PAI-Bench) avaliam o desempenho limpo, mas não fornecem protocolos de red-teaming unificados com objetivos de ataque compartilhados entre diversos métodos.

2. Metodologia: O Framework REALM

Os autores introduzem o REALM (Red-teaming Benchmark for Physical-World VLMs), o primeiro benchmark unificado projetado para avaliar a robustez adversarial em configurações do mundo físico sob um modelo de ameaça prático de caixa-preta (black-box).

2.1 Estrutura do Benchmark

O REALM organiza a avaliação ao longo de três eixos:

1. Domínios Físicos: Sete domínios incluindo Condução (Driving), Manipulação, Agarrar (Grasping), Física, Assistência Egocêntrica, Diagnóstico e Questionamento de Cena (Scene-level QA).
2. Famílias de Tarefas: Percepção, Predição, Raciocínio, Avaliação e Planejamento.
3. Modos de Falha: Erros de saída fundamentados fisicamente, como erros de previsão de ação, erros de sucesso de tarefa, erros de raciocínio espacial e erros de planejamento incorporado.

O conjunto de dados compreende 832 casos de teste derivados de benchmarks existentes de IA física, expandidos para 9.984 casos de teste adversariais através de 12 métodos de red-teaming e 13 VLMs vítimas.

2.2 Pipeline de Geração de Alvo Agêntico

Uma inovação central do REALM é o pipeline de geração de alvo agêntico, que aborda a dificuldade de definir objetivos de ataque fixos para tarefas físicas específicas de cena.

• Processo: Dada uma imagem de origem, uma pergunta e uma resposta de verdade fundamental (ground-truth), um agente VLM de raciocínio analisa a cena para identificar um modo de falha plausível (ex: interpretar incorretamente uma manobra de um veículo).
• Saída: O pipeline gera uma resposta alvo ($a^{tar}_i$) específica do cenário e uma imagem alvo ($I^{tar}_i$) que instancia visualmente a má percepção pretendida.
• Utilidade: Esses alvos compartilhados permitem que diversos métodos de red-teaming (perturbações visuais, injeção de prompt, etc.) sejam avaliados contra os mesmos objetivos adversariais específicos do cenário, garantindo uma comparação justa.

2.3 Modelo de Ameaça e Avaliação

• Modelo de Ameaça: Uma configuração de caixa-preta realista. Nem o método de ataque nem o de defesa têm acesso aos parâmetros, gradientes ou estados internos do modelo vítima.
• Geração de Ataque: Exemplos adversariais são gerados offline usando modelos substitutos ou geradores externos e transferidos para o modelo vítima para avaliação de etapa única (one-shot).
• Métricas: A métrica principal é a Taxa de Sucesso de Ataque (ASR), definida como a taxa na qual um input adversarial faz com que o VLM produza uma resposta incorreta que reflete um erro físico relevante para a tarefa. A acurácia limpa também é reportada para comparação de linha de base.

2.4 Componentes Avaliados

• Modelos Vítimas: 13 VLMs (de 7B a 100B+ parâmetros), incluindo modelos proprietários (Gemini-3-Flash, GPT-4.1-Mini) e famílias de código aberto (Qwen3.5, Qwen3-VL, Cosmos-Reason).
• Métodos de Red-Teaming: 12 métodos cobrindo:
  • Perturbações Visuais: Baseadas em gradiente (FOA, M-Attack, V-Attack), Co-otimização (Chain-of-Attack) e baseadas em Difusão (AdvDiffVLM).
  • Restrições Físicas: PhysPatch (patches localizados).
  • Generativo/Edição: AdvEDM, ImageMix.
  • Injeção: Tipográfica (FigStep), Prompt (PromptInject) e Passo Único (AnyAttack).
• Defesas: 3 defesas de pré-processamento agnósticas ao modelo: PAD (remoção de patch), FreqPure (purificação de frequência) e BlueSuffix (purificação de texto/imagem).

3. Resultados Principais

3.1 Eficácia do Ataque

• Injeção de Texto e Tipográfica: Estes ataques induzem o maior número de falhas. O PromptInject alcançou a maior ASR média (64,8%), seguido pelo FigStep (49,4%). Isso indica que os VLMs permanecem altamente vulneráveis à manipulação dos canais de texto e instruções auxiliares.
• Perturbações Visuais: Entre os ataques visuais, o Chain-of-Attack (CoA), que co-otimiza perturbações com legendas regeneradas dinamicamente, apresentou a transferência mais forte (54,6% de ASR), superando ataques padrão baseados em gradiente. Isso sugere que a co-otimização multimodal explora melhor o alinhamento cross-modal do que a otimização apenas de características visuais.
• Eficiência: O AnyAttack, um método de passo único, alcançou 49,9% de ASR, aproximando-se do desempenho de métodos iterativos (como o FOA com 48,1%) com um custo computacional significativamente menor.
• Restrições Físicas: Perturbações espacialmente restritas (PhysPatch) mostraram menor transferibilidade (33,0% de ASR) em comparação com perturbações de imagem total, indicando que restrições de plausibilidade física tornam a transferência de caixa-preta mais difícil.

3.2 Vulnerabilidade do Modelo

• Escala vs. Robustez: O aumento da escala do modelo (ex: Qwen3.5 de 9B para 122B) melhora a acurácia limpa, mas não garante robustez adversarial. A ASR para ataques específicos (ex: PromptInject) permaneceu quase inalterada ou até aumentou com a escala.
• Especialização de Domínio: Modelos pós-treinados para raciocínio físico (Cosmos-Reason) não exibiram robustez superior; de fato, mostraram alta vulnerabilidade, com o Cosmos-Reason2-8B atingindo 76,8% de ASR sob PromptInject.
• Proprietário vs. Código Aberto: Modelos proprietários (Gemini, GPT) demonstraram níveis de vulnerabilidade comparáveis aos modelos de código aberto com acurácia limpa semelhante, sugerindo que o deployment de código fechado não garante inerentemente a robustez.
• Variância de Domínio: A vulnerabilidade varia significativamente por domínio. As tarefas de Manipulação e Condução mostraram a mediana de ASR mais alta, enquanto Scene QA mostrou a mais baixa.

3.3 Análise de Defesa

• Especificidade de Canal: As defesas são altamente específicas de canal. O BlueSuffix (purificação de texto) reduziu significativamente a ASR do PromptInject em 21,7% em média. O FreqPure (filtragem de frequência) reduziu ataques baseados em gradiente (FOA) em 5,8%.
• Limitações: Nenhuma defesa de pré-processamento única generalizou para todos os paradigmas de ataque. Por exemplo, defesas visuais (PAD, FreqPure) falharam em mitigar ataques de injeção de texto, e nenhuma das defesas afetou o FigStep.

4. Significância e Contribuições

O artigo afirma que o REALM fornece o primeiro framework unificado para comparar métodos de red-teaming em VLMs do mundo físico. Sua significância reside em:

1. Benchmark Unificado: Integrando 12 métodos de ataque, 3 defesas e 13 VLMs sob um protocolo compartilhado, permitindo a comparação direta de eficácia e cobertura.
2. Geração de Alvo Agêntico: Resolvendo o problema do alinhamento de objetivos específicos de cenário, permitindo que diversos ataques sejam avaliados contra modos de falha fundamentados fisicamente e consistentes com o cenário.
3. Insights Empíricos: Estabelecendo que as vulnerabilidades do canal de texto são atualmente o ponto de falha mais crítico, que a co-otimização multimodal melhora a transferência visual, e que a escala do modelo sozinha é insuficiente para a robustez.

Os autores concluem que o trabalho futuro deve ir além da segurança de conteúdo voltada para chatbots para desenvolver benchmarks e defesas dedicados para a robustez funcional em tarefas físicas fundamentadas.