PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

Resumo Técnico: PHANTOM – Um Conjunto de Dados de Grande Escala de Ataques Adversários Multimodais para Modelos de Visão-Linguagem

Definição do Problema
A rápida implantação de Modelos de Visão-Linguagem (VLMs) em aplicações críticas de segurança e voltadas ao usuário destacou uma vulnerabilidade significativa: apesar do melhor alinhamento e escalonamento, os modelos multimodais de última geração permanecem suscetíveis a ataques de jailbreak cuidadosamente elaborados. Diferente dos cenários unimodais, as violações de segurança multimodal exploram o raciocínio cross-modal e o alinhamento semântico, expandindo significativamente a superfície de ataque e complicando a detecção. Uma barreira primária para abordar essa questão é o custo computacional e a complexidade de gerar amostras adversárias multimodais diversas e em larga escala. A geração desses ataques frequentemente exige a otimização de perturbações através de múltiplos espaços de entrada (imagem e texto) enquanto se preserva o alinhamento semântico, envolvendo passagens de forward e backward através de múltiplos codificadores específicos de cada modalidade. Consequentemente, grupos de pesquisa e profissionais com recursos limitados enfrentam dificuldades para reproduzir a geração de ataques em larga escala, o que prejudica a avaliação sistemática de robustez e o desenvolvimento de salvaguardas defensivas.

Metodologia
Os autores apresentam o PHANTOM, um conjunto de dados de código aberto e grande escala, composto por 47.524 amostras adversárias pré-geradas, projetado para reduzir a barreira à pesquisa adversária. A construção do conjunto de dados envolveu as seguintes etapas metodológicas principais:

1. Taxonomia de Intenção e Curadoria:

   • Os autores consolidaram e estenderam benchmarks anteriores (incluindo HarmBench, AdvBench, JailBreakV-28K, MM-SafetyBench e outros) para criar um conjunto de dados raiz de 7.826 intenções prejudiciais.
   • Essas intenções são organizadas em 10 categorias de alto nível e 55 subcategorias. Notavelmente, os autores introduziram uma nova categoria, Segurança Infantil (J), para abordar riscos específicos para menores, como contornar controles parentais ou grooming, que estavam sub-representados em taxonomias existentes.
   • Para garantir a diversidade, uma análise de similaridade de cosseno foi realizada utilizando sentence-transformers all-MiniLM-L6-v2. Intenções com um índice de similaridade acima de 90% foram filtradas para evitar redundância, preservando a variação semântica significativa.

2. Estratégias de Ataque:
   Cinco estratégias de ataque de última geração foram selecionadas com base no equilíbrio entre a Taxa de Sucesso de Ataque (ASR) e o custo computacional (tempo de geração):

   • BAP (Bi-modal Adversarial Prompt): Um ataque de turno único que otimiza conjuntamente perturbações visuais (via Gradiente Descendente Projetado) e prompts textuais.
   • IDEATOR: Uma estratégia de múltiplos turnos que refina iterativamente prompts de imagem e texto através de conversação.
   • MML (Multi-Modal Linkage): Um ataque tipográfico que codifica texto prejudicial em imagens (ex: via Base64, espelhamento, rotação) e utiliza um prompt de estilo "jogo" para guiar o modelo na reconstrução da intenção original.
   • FC ATTACK (Flowchart Attack): Gera um fluxograma representando passos lógicos para alcançar uma intenção prejudicial, induzindo o modelo a seguir o gráfico para contornar filtros de segurança.
   • CSDJ (Distraction/CS-DJ): Incorpora sub-requisições prejudiciais em imagens específicas dentro de uma colagem de 12 imagens, utilizando distração e incorporação visual para contornar filtros.

3. Pipeline de Geração e Avaliação:

   • Modelos Alvo: Os ataques foram gerados contra uma suíte de modelos de código aberto (DeepSeek-VL2, GLM-4.6V-Flash, Kimi-VL, série Qwen3-VL, etc.).
   • Avaliação: As amostras geradas foram testadas contra modelos de código aberto (caixa-branca) e modelos proprietários de última geração (caixa-preta) acessados via API (GPT-5.4/5.5, Claude Opus 4.6–4.8, Gemini 3.1 Pro).
   • Juiz: Um juiz automatizado, Abel-24-HarmClassifier, foi utilizado para avaliar as respostas dos modelos e determinar a ASR. Esta escolha foi feita para garantir a reprodutibilidade e evitar o viés de julgamentos humanos ad-hoc, particularmente para respostas que são parcialmente prejudiciais ou evasivas.

Principais Contribuições

• Dataset PHANTOM: O lançamento de uma coleção de grande escala e código aberto de 47.524 amostras adversárias (pares imagem-texto) prontas para uso.
• Taxonomia Expandida: Uma taxonomia curada de 7.826 intenções prejudiciais abrangendo 10 categorias e 55 subcategorias, incluindo a nova categoria "Segurança Infantil".
• Diversidade Estratégica: Implementação de cinco estratégias de ataque distintas (BAP, IDEATOR, MML, FC ATTACK, CSDJ) cobrindo técnicas de turno único, múltiplos turnos e ofuscação tipográfica/visual.
• Análise de Transferibilidade: Avaliação abrangente da transferibilidade de ataques entre VLMs de código aberto e proprietários, fornecendo insights sobre vulnerabilidades cross-model.
• Metadados Estruturados: Fornecimento de metadados para apoiar a reprodutibilidade, o benchmarking e a pesquisa de segurança downstream.

Resultados
A avaliação do PHANTOM em vários modelos rendeu diversos achados críticos:

• Vulnerabilidade Persistente: Apesar do treinamento de segurança, todos os sistemas avaliados exibem uma ASR não negligenciável em múltiplas categorias, confirmando que o alinhamento permanece frágil contra entradas multimodais.
• Eficácia das Estratégias de Ataque: Ataques que incorporam requisições prejudiciais diretamente nas imagens (MML, FC ATTACK, CSDJ) alcançaram taxas de sucesso consistentemente mais altas. Por exemplo, o ataque MML alcançou ASRs próximas a 100% em vários modelos (ex: Gemma-4-26B, GLM-4.6V-Flash) em categorias específicas.
• Transferibilidade Cross-Model: Vulnerabilidades descobertas em modelos de código aberto transferem-se efetivamente para sistemas de caixa-preta e código fechado. As ASRs permaneceram acima de 20% na maioria dos casos de transferência, com picos próximos a 80% para o ataque CSDJ em certos modelos.
• Fraquezas Específicas de Categoria: Os modelos foram mais vulneráveis a Riscos Criminais e Econômicos (D) e Ameaças de Cibersegurança (E), domínios onde se espera que os modelos forneçam respostas acionáveis. Por outro lado, alguns modelos mostraram maior robustez em categorias como Riscos de Privacidade e Dados.
• Tendências Específicas de Modelos:
  • O Gemma-4-26B mostrou alta vulnerabilidade a ataques MML (100% de ASR em algumas categorias), mas foi geralmente robusto em outros contextos.
  • Modelos Claude Opus exibiram altas taxas de "recusas severas" (hard refusals - respostas nulas), levando a ASRs reportadas mais baixas em comparação com modelos que tentam responder, mas incluem conteúdo prejudicial.
  • O GPT-5.5 mostrou um alinhamento ligeiramente degradado em relação ao GPT-5.4, com menores taxas de recusa, mas maior ASR em certas categorias.
• Sensibilidade Linguística: Experimentos de tradução linguística indicaram que, embora línguas de baixo recurso possam às vezes aumentar a vulnerabilidade, a ambiguidade linguística excessiva (ex: configurações mistas de baixo recurso) pode interromper a compreensão do modelo sobre a intenção do ataque, levando a uma queda acentuada na ASR.

Significância e Alegações
O artigo posiciona o PHANTOM como um recurso prático para baixar a barreira à pesquisa adversária e promover avaliações mais reprodutíveis, abrangentes e comparáveis da segurança de VLMs. Os autores alegam que o conjunto de dados aborda uma lacuna fundamental no cenário atual: a falta de recursos adversários pré-gerados e acessíveis que cubram um amplo espectro de estratégias e domínios de segurança.

Ao consolidar múltiplos ataques e fornecer avaliação estruturada através de diversos VLMs, o PHANTOM permite que pesquisadores e profissionais possam:

1. Avaliar sistematicamente a robustez e a segurança de VLMs.
2. Realizar o ajuste fino (fine-tuning) de modelos de geração de ataques.
3. Desenvolver e testar sob estresse as salvaguardas defensivas sob diversas condições adversárias.

Os autores enfatizam que os resultados devem ser interpretados como indicadores relativos de robustez baseados no juiz automatizado escolhido, e não como verdade absoluta. Eles concluem que os jailbreaks multimodais permanecem uma ameaça persistente e transferível, e que um conjunto diversificado de estratégias de ataque é necessário para uma avaliação confiável. O lançamento do PHANTOM visa apoiar o desenvolvimento de sistemas de IA multimodais mais seguros e confiáveis, fornecendo uma base para o estudo da robustez multimodal.