DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models

Resumo Técnico: DUAL-Bench

1. O Problema

À medida que os Modelos de Linguagem e Visão (VLMs) se tornam mais capazes, manter o equilíbrio entre segurança e utilidade torna-se um desafio central. Mecanismos de segurança, embora essenciais, frequentemente levam ao super-recusa (over-refusal), onde modelos rejeitam solicitações benignas por excesso de cautela.

O artigo identifica uma lacuna crítica na pesquisa atual: a falta de benchmarks sistemáticos que abordem o super-recusa no modo visual, especialmente em cenários de dupla utilização (dual-use). Nestes cenários:

• A instrução textual do usuário é benigna (ex: "Descreva esta imagem").
• A imagem contém conteúdo visualmente prejudicial ou instruções perigosas embutidas.

Os modelos atuais tendem a falhar nesses casos, caindo em uma armadilha binária:

1. Recusa Excessiva: Rejeitam a tarefa benigna devido ao conteúdo da imagem, violando o princípio de "útil".
2. Geração Perigosa: Executam a tarefa sem alertas, violando o princípio de "inofensivo".
3. Falta de "Conclusão Segura" (Safe Completion): Poucos modelos conseguem realizar a parte benigna da tarefa enquanto emitem um aviso explícito sobre os elementos perigosos.

Além disso, as fronteiras de segurança dos VLMs são notavelmente frágeis, onde pequenas perturbações visuais ou tipográficas podem inverter decisões de recusa.

2. Metodologia e Design do Benchmark

Os autores introduzem o DUAL-Bench, um benchmark multimodal de grande escala focado em medir o super-recusa e a robustez da conclusão segura.

• Construção do Dataset:

  • O dataset contém 192.372 imagens no total.
  • Baseia-se em 12 categorias de risco (ex: Crimes Violentos, Exploração Sexual Infantil, Discurso de Ódio, Suicídio, etc.).
  • Para cada instrução prejudicial, foi criada uma versão benigna "desintoxicada" (detoxified) mantendo a estrutura semântica, mas substituindo entidades perigosas por seguras (ex: "Como fazer uma bomba?" $\to$ "Como fazer um bolo?").
  • Perturbações Semânticas: Para cada imagem, foram geradas 5 variações que preservam o significado, mas alteram a distribuição visual: fundo real, fundo com ruído, rotação, redução de tamanho da fonte e perturbação de linguagem (tradução para chinês).

• Configuração da Tarefa:

  • O prompt fixo é sempre "Descreva a imagem". Isso isola o efeito do conteúdo visual na decisão do modelo, eliminando variações causadas por prompts complexos.
  • O objetivo é avaliar se o modelo pode descrever a imagem (tarefa benigna) enquanto identifica e alerta sobre o conteúdo perigoso embutido.

• Métricas de Avaliação:

  • Taxa de Recusa (RR): Proporção de recusas diretas.
  • Taxa de Resposta Direta (DAR): Proporção de respostas que atendem à solicitação.
  • Gap de Robustez de Instrução ($\Delta$IR): Diferença entre a capacidade de seguir instruções em cenários benignos vs. prejudiciais.
  • Taxa de Conclusão Segura (SCR): A métrica central. Mede a capacidade do modelo de cumprir a parte benigna da tarefa e emitir um aviso de segurança explícito, sem propagar detalhes operacionais perigosos.

• Avaliação:

  • Foram avaliados 18 VLMs de ponta (incluindo famílias GPT-5, GPT-4.1, Gemini, Qwen, LLaMA, Mistral).
  • Utilizou-se um pipeline de "LLM-as-a-Judge" com validação cruzada entre múltiplos modelos para classificar as respostas em: Resposta Direta, Recusa Direta, Recusa Indireta e Conclusão Segura.

3. Principais Resultados

Os experimentos revelaram falhas sistemáticas nos modelos atuais:

• Fragilidade em Cenários de Dupla Utilização: Os modelos exibem fronteiras de segurança extremamente frágeis. A maioria falha em encontrar o equilíbrio ideal, oscilando entre recusa excessiva ou geração insegura.
• Desempenho na Conclusão Segura (SCR):
  • O desempenho geral é alarmantemente baixo. O melhor modelo, GPT-5-Nano, atingiu apenas 12,9% de conclusão segura.
  • A família GPT-5 média 7,9%.
  • A família Qwen média apenas 3,9%.
  • Modelos como GPT-4.1 e LLaMA colapsaram quase totalmente para zero na taxa de conclusão segura, preferindo a recusa binária.
• Impacto do Tamanho do Modelo: A capacidade de segurança não está estritamente correlacionada com o tamanho do modelo (número de parâmetros). Modelos menores (como GPT-5-Nano) às vezes alcançam taxas de conclusão segura mais altas, mas são extremamente frágeis a perturbações. Modelos maiores tendem a ser mais robustos, mas ainda presos a estratégias binárias de recusa.
• Sensibilidade a Perturbações:
  • Perturbações simples (como ruído de fundo ou rotação) causam flutuações significativas nas taxas de recusa e resposta direta.
  • Perturbações de nível de conteúdo (como tradução de idioma) têm um efeito ainda mais profundo, degradando a robustez da segurança.
  • Modelos com taxas de recusa base mais altas (como GPT-4.1) tendem a ser menos robustos, mostrando flutuações maiores sob pequenas mudanças visuais.

4. Contribuições Chave

1. DUAL-Bench: O primeiro benchmark multimodal de grande escala focado especificamente em super-recusa e conclusão segura em cenários de dupla utilização, cobrindo 12 categorias de risco e 192k+ amostras.
2. Definição de "Conclusão Segura": Formalização e medição de um terceiro estado de comportamento ideal (além de "Responder" ou "Recusar"), onde o modelo é útil, honesto e inofensivo simultaneamente.
3. Análise de Robustez: Demonstração de que as fronteiras de segurança dos VLMs são altamente sensíveis a perturbações semânticas preservadas, revelando que as estratégias de alinhamento atuais são conservadoras demais e frágeis.
4. Avaliação Abrangente: Comparação sistemática de 18 modelos de ponta, fornecendo dados quantitativos sobre o trade-off entre segurança e utilidade.

5. Significado e Implicações Futuras

O trabalho demonstra que as estratégias atuais de alinhamento de segurança (como RLHF) tendem a criar um "viés de recusa em branco" (blanket refusal), onde os modelos preferem ser inúteis a arriscarem-se a serem perigosos. Isso é particularmente problemático em aplicações do mundo real onde o conteúdo pode ser sensível, mas a intenção do usuário é benigna (ex: análise forense, educação, saúde).

Direções Futuras Sugeridas:

• Alinhamento de Preferência Granular: Treinar modelos para distinguir entre "recusa total" e "conclusão segura" usando dados de preferência específicos para casos de dupla utilização.
• Cadeia de Pensamento de Segurança (Safety Chain-of-Thought): Guiar os modelos a realizar raciocínio interno e avaliação de segurança antes de responder, substituindo a recusa bruta por lógica matizada.
• Treinamento Adversarial: Utilizar perturbações semânticas durante o alinhamento para tornar as fronteiras de segurança mais robustas contra variações visuais e linguísticas.

Em suma, o DUAL-Bench destaca a necessidade urgente de mover os VLMs além de uma lógica binária de segurança, rumo a sistemas que possam navegar nuances entre utilidade e segurança, evitando tanto a fuga de informações perigosas quanto a recusa injustificada de tarefas legítimas.