Resumo Técnico: Repensando os Gargalos no Ajuste Fino de Segurança de Modelos de Linguagem de Visão

Declaração do Problema

Modelos de Linguagem de Visão (VLMs) de grande escala têm demonstrado capacidades excepcionais em tarefas multimodais, mas enfrentam desafios significativos quando implantados em domínios críticos de segurança. Os métodos existentes de ajuste fino de segurança, que dependem principalmente de Ajuste Fino Supervisionado (SFT) Textual ou SFT Multimodal de imagem única (ex: VLGuard), exibem gargalos críticos:

1. Lacuna de Raciocínio Visual de Segurança: Os métodos atuais carecem da capacidade de raciocinar sobre segurança dentro de contextos visuais. Eles frequentemente falham em detectar intenções inseguras quando estas surgem da interação entre múltiplas imagens e uma consulta de texto benigna, em vez de advirem de elementos prejudiciais explícitos em uma única imagem.
2. Sobreprudência e Trocas (Trade-offs): O ajuste fino em conjuntos de dados existentes frequentemente leva à "sobreconservadorismo", onde os modelos recusam responder a consultas benignas (ex: respondendo "Sinto muito" para entradas seguras). Inversamente, métodos que tentam reduzir as recusas falham em generalizar para cenários de segurança desafiadores, resultando em Altas Taxas de Sucesso de Ataque (ASR) em tarefas complexas.
3. Limitações de Paradigmas de Imagem Única: A maioria dos benchmarks e dados de treinamento de segurança baseia-se em entradas de imagem única. À medida que os VLMs avançam na compreensão de múltiplas imagens, a lacuna de segurança aumenta porque os salvaguardas existentes não conseguem interpretar efetivamente os riscos contextuais formados pela combinação de múltiplas entradas visuais.

Metodologia

Para abordar essas limitações, os autores propõem um novo framework centrado no conjunto de dados Multi-Image Safety (MIS) e na abordagem de ajuste fino MIRage (Multi-Image Reasoning Safety).

1. Construção do Conjunto de Dados MIS

O conjunto de dados MIS é o primeiro conjunto de dados de segurança multi-imagem projetado para avaliar e melhorar a percepção e o raciocínio relacionados à segurança visual. Ele consiste de:

• Conjunto de Treinamento (4k amostras): Pares de múltiplas imagens vinculados por instruções de texto que criam intenções inseguras (ex: usar uma ferramenta da Imagem A para manipular um objeto na Imagem B). Crucialmente, as instruções de texto são desintoxicadas (neutras), enquanto o risco de segurança emerge da combinação visual.
• Conjunto de Teste (2185 amostras): Dividido em três subconjuntos:
  • MIS-easy: Contém elementos inseguros explícitos nas imagens.
  • MIS-hard: Contém apenas imagens benignas onde a intenção insegura é derivada exclusivamente da relação entre as imagens e a consulta.
  • MIS-real: Utiliza imagens do mundo real recuperadas de conjuntos de dados para testar a generalização.
• Pipeline de Construção: O conjunto de dados é gerado via um pipeline automatizado de quatro etapas envolvendo:
  1. Extração de Elementos Prejudiciais: Uso de LLMs (Qwen2.5, InternVL) para extrair conceitos inseguros de benchmarks existentes.
  2. Geração de Instrução de Texto e Desintoxicação: Geração de consultas prejudiciais envolvendo dois objetos, depois refinando-as em instruções neutras (ex: substituindo "contrabandear artefatos" por "transportar objetos na primeira imagem").
  3. Refinamento Automático de Geração T2I: Uso do Stable Diffusion 3.5 Large para gerar imagens, refinadas por VLMs para garantir o alinhamento com o texto.
  4. Filtragem por Múltiplos Especialistas: Especialistas humanos e GPT-4o filtram e classificam os dados em subconjuntos de treinamento, fáceis, difíceis e reais.

2. Rótulos de Cadeia de Pensamento de Segurança (Safety CoT)

Uma inovação central é a construção de rótulos de Segurança CoT para o conjunto de treinamento. Em vez de respostas de rejeição simples (ex: "Não posso fazer isso"), os rótulos guiam o modelo para:

1. Realizar Percepção Visual: Identificar objetos em ambas as imagens.
2. Executar Raciocínio Visual: Analisar a relação entre as imagens e o texto para deduzir uma potencial intenção prejudicial.
3. Gerar uma Resposta Segura: Fornecer uma recusa útil e consciente do contexto ou um aviso que explique por que a solicitação é insegura, em vez de uma recusa genérica.

3. A Abordagem de Ajuste Fino MIRage

Os autores introduzem o MIRage, uma estratégia de ajuste fino que utiliza o conjunto de treinamento MIS.

• Composição de Dados: O conjunto de treinamento inclui 4k amostras de múltiplas imagens relacionadas à segurança e 500 amostras de QA geral (11% do total), significativamente menor do que a proporção de 33% de dados gerais usada em trabalhos anteriores como o VLGuard.
• Objetivo de Treinamento: O modelo é treinado para integrar a lógica de percepção e raciocínio visual em suas respostas de segurança, visando equilibrar utilidade e inocuidade sem sacrificar as capacidades gerais.

Principais Contribuições

1. Identificação de Gargalos: O artigo analisa métodos existentes de ajuste fino de segurança, revelando que sua falha em tarefas desafiadoras (como MSSBench) decorre da falta de raciocínio visual de segurança e do uso de rótulos simplistas baseados em rejeição que causam sobreprudência.
2. Conjunto de Dados MIS: A introdução do primeiro conjunto de dados de segurança de múltiplas imagens, apresentando uma divisão de treinamento para aprimorar o raciocínio visual e três níveis de divisão de teste (fácil, difícil e real) para avaliação rigorosa.
3. Framework MIRage: Um novo paradigma de ajuste fino que utiliza rótulos de Segurança CoT. Ele demonstra que melhorar as capacidades de raciocínio visual permite que os modelos lidem efetivamente com cenários de segurança de múltiplas imagens complexos.
4. Validação Empírica: Experimentos abrangentes mostrando que o MIRage supera tanto modelos de código aberto quanto modelos baseados em API em tarefas de segurança de múltiplas imagens, preservando ou até melhorando levemente as capacidades gerais.

Resultados Experimentais

Os autores avaliaram o MIRage primariamente no InternVL2.5-8B, comparando-o com baselines como Textual SFT, VLGuard (variantes P e R) e vários VLMs de última geração (ex: Qwen2-VL, LLaVA-OV, GPT-4o, Gemini-1.5-pro).

• Desempenho de Segurança:

  • No conjunto de teste MIS, o MIRage reduziu a Taxa de Sucesso de Ataque (ASR) para níveis próximos de zero (ex: 0,24% em MIS-easy, 0,20% em MIS-hard, 0,00% em MIS-real) para o InternVL2.5-8B, comparado a ~80-90% de ASR para os modelos baseline.
  • Aumentou significativamente a Taxa de Sucesso de Raciocínio (RSR), indicando que os modelos estão identificando riscos através do raciocínio, em vez de recusas aleatórias.
  • O MIRage superou os baselines em benchmarks desafiadores como MSSBench (cenários inseguros) e SIUO (entradas de segurança, saídas inseguras), onde os métodos existentes frequentemente falhavam ou exibiam sobreprudência.

• Capacidades Gerais:

  • Ao contrário do VLGuard e do Textual SFT, que frequentemente degradam o desempenho geral (especialmente em benchmarks de múltiplas imagens como MMT-Bench e MuirBench), o MIRage preservou e melhorou ligeiramente as capacidades gerais.
  • O ajuste fino com MIS aumentou a precisão média em 0,83% através de cinco benchmarks gerais (Q-Bench, MMStar, MMMU, MuirBench, MMT-Bench).
  • O método alcançou isso com apenas 11% de dados gerais na mistura de treinamento, demonstrando que a lógica de raciocínio de segurança pode inerentemente apoiar o seguimento de instruções gerais.

• Generalização:

  • Estudos de ablação mostraram que as capacidades de segurança aprendidas via MIRage generalizam para categorias de segurança não vistas (ex: Privacidade e Autolesão) e até se transferem para cenários de jailbreak apenas de texto (AdvBench).

Significância e Alegações

O artigo afirma que o principal gargalo nos atuais VLMs de segurança não é a falta de dados, mas sim a falta de raciocínio visual de segurança e o uso de rótulos de treinamento excessivamente simplificados. Ao mudar o paradigma de rejeição de imagem única para raciocínio de múltiplas imagens com lógica de Cadeia de Pensamento (Chain-of-Thought), os autores demonstram que:

1. Segurança e Utilidade não são mutuamente exclusivos: Modelos podem ser treinados para serem altamente seguros em cenários complexos sem se tornarem excessivamente conservadores ou perderem a utilidade geral.
2. O Contexto de Múltiplas Imagens é Crítico: À medida que os VLMs evoluem para lidar com entradas de múltiplas imagens, a avaliação e o treinamento de segurança devem evoluir além dos paradigmas de imagem única para abordar riscos contextuais.
3. O Raciocínio é a Chave: Incorporar lógica de raciocínio nos rótulos de segurança é mais eficaz do que a simples rejeição, permitindo que os modelos distingam entre cenários seguros e inseguros em contextos multimodais sutis.

Os autores concluem que seu trabalho lança as bases para pesquisas futuras em dados e estratégias de segurança mais sofisticadas, especificamente projetadas para o cenário de múltiplas imagens, abordando uma lacuna crítica na implantação de VLMs seguros.