Resumo Técnico: SafeCap

Declaração do Problema

Os Grandes Modelos de Visão-Linguagem (LVLMs) herdam capacidades de seguimento de instruções de seus backbones de linguagem, mas permanecem vulneráveis a ataques de jailbreak que exploram entradas visuais. Diferente dos modelos apenas de texto, que podem contar com políticas de recusa do lado da linguagem, os LVLMs devem perceber evidências relevantes para a segurança dentro de uma imagem, alinhá-las com as solicitações do usuário e decidir sobre uma resposta. Isso cria modos de falha onde instruções prejudiciais são incorporadas em imagens tipográficas, intenções perigosas são implícitas por objetos, ou prompts benignos tornam-se inseguros apenas após o aterramento visual (visual grounding). Os métodos de alinhamento de segurança existentes frequentemente falham em cobrir essas ameaças multimodais específicas.

As defesas atuais dividem-se em duas categorias:

1. Intervenções em tempo de inferência: Métodos como o ECSO convertem imagens em texto para aproveitar a segurança do lado da linguagem. No entanto, a conversão de imagem-para-texto frequentemente perde detalhes visuais refinados (ex: objetos relevantes para a segurança, texto visível ou contexto), tornando o modelo de texto subsequente incapaz de tomar uma decisão segura.
2. Alinhamento em tempo de treinamento: Métodos que utilizam dados de preferência curados ou ajuste fino de segurança (SFT) frequentemente lutam com o equilíbrio entre melhorar a recusa em entradas maliciosas e preservar a percepção visual em entradas benignas.

O desafio central é alinhar os LVLMs para reconhecer e responder a pistas visuais de segurança sem sacrificar a utilidade da compreensão visual do modelo ou depender de wrappers frágeis de tempo de inferência.

Metodologia: SafeCap

O SafeCap é um framework de aprendizado por reforço (RL) que alinha LVLMs através de autolegendagem aprendida (learned self-captioning). Em vez de tratar a legenda de imagem como uma explicação auxiliar ou uma defesa post-hoc, o SafeCap formula o alinhamento de segurança como um problema de autolegendagem, onde o modelo gera uma representação intermediária explícita e relevante para a segurança antes de produzir uma resposta final.

Visão Geral do Framework

Para cada par imagem-pergunta $(x, q)$, o modelo de política $\pi_\theta$ é treinado para produzir uma resposta estruturada $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$, onde $c$ é uma descrição textual da imagem e $a$ é a resposta final. O objetivo de treinamento otimiza três sinais distintos:

1. Recompensa de Template ($R_{tmp}$): Um portão binário que garante que a saída contenha exatamente um bloco de legenda completo e uma resposta não vazia, prevenindo a degeneração estrutural.
2. Recompensa de Resposta Direta ($R_{ans}$): Avalia a resposta final $a$ do modelo de política usando um modelo juiz que atribui uma pontuação de retenção $u(a)$ (utilidade) e uma pontuação de risco $h(a)$ (maleficência). A recompensa é calculada usando uma função de desconto de risco exponencial: $S(u, h) = u \cdot \gamma^h$, onde $\gamma \in (0, 1)$. Esta forma multiplicativa garante que respostas de alto risco percam valor rapidamente, desencorajando comportamentos de "não fazer nada" enquanto recompensa respostas seguras e informativas.
3. Recompensa Mediada por Legenda ($R_{cap}$): Esta é a inovação central. A legenda gerada $c$ é enviada para um LLM de texto puro congelado (que nunca vê a imagem) junto com a pergunta original $q$. O LLM congelado gera uma resposta $a_f$. A recompensa avalia dois fatores:
   • Cobertura Descritiva: Uma pontuação $u(c)$ que mede a cobertura da legenda sobre sujeitos, atributos, layout espacial e texto visível.
   • Alinhamento de Segurança: Um sinal binário $g(q, a, a_f)$ que retorna 1 se a resposta da política $a$ e a resposta do LLM $a_f$ concordam sobre o status de segurança da situação (ou seja, ambos reconhecem o risco ou ambos consideram seguro).
   • A recompensa da legenda é definida como $R_{cap} = g(q, a, a_f) \cdot u(c)$. Isso encoraja a política a gerar legendas que contenham evidência visual suficiente para que um raciocinador puramente textual alcance uma decisão alinhada à segurança.

Otimização

O SafeCap utiliza Otimização de Política Relativa de Grupo (GRPO). Para cada prompt, a política amostra um grupo de $K=8$ rollouts. A função de vantagem é construída usando a normalização de grupo componente a componente dos três sinais de recompensa ($R_{tmp}, R_{cap}, R_{ans}$) para lidar com diferentes escalas e variâncias. O LLM congelado e os modelos juízes são usados exclusivamente para o cálculo da recompensa e nunca são atualizados.

Principais Contribuições

1. Formulação de Autolegendagem Consciente de Segurança: O artigo reformula o alinhamento de segurança de LVLM como uma tarefa de autolegendagem, exigindo que o modelo gere uma representação intermediária explícita que exponha evidências visuais relevantes para a segurança antes de responder.
2. Objetivo de Reforço Mediado por Legenda: Um mecanismo de recompensa de sinal duplo é introduzido, combinando a avaliação direta da resposta final com um sinal de LLM congelado. Este sinal verifica se a legenda gerada suporta uma resposta alinhada à segurança de um raciocinador de texto puro, efetivamente unindo a lacuna entre percepção e alinhamento.
3. Avaliação Multi-Protocolo: Os autores fornecem uma avaliação abrangente em cinco benchmarks de segurança multimodal e seis benchmarks de utilidade visual, comparando os protocolos de inferência Direct, DirectCap (o ponto de operação pretendido) e Prism (apenas legenda).

Resultados

Experimentos foram conduzidos em modelos Qwen3.5 (2B, 2B-Base, 4B, 4B-Base) treinados no conjunto de dados público SPA-VL.

• Ganhos de Segurança: Sob o protocolo DirectCap, o SafeCap melhora substancialmente o desempenho agregado de segurança. Em quatro configurações de modelos, as médias de segurança aumentaram de 3,7 a 19,0 pontos. Notavelmente, o modelo 4B-Base teve um aumento de 19,0 pontos na média de segurança mantendo a utilidade visual média essencialmente inalterada.
• Preservação de Utilidade: Ao contrário de alguns métodos de ajuste fino de segurança, o SafeCap mantém ou melhora os escores de utilidade visual em benchmarks como MM-Vet, BLINK e MMVP.
• Desempenho Comparativo:
  • O SafeCap supera o SFT de segurança padrão e o DPO quando treinados nos mesmos dados e etapas.
  • Em uma comparação controlada usando os dados do SafeGRPO (SafeTag-VL-3K), o SafeCap alcançou uma média de segurança DirectCap de 55,06 comparado aos 41,27 do SafeGRPO, mantendo utilidade semelhante.
• Estudos de Ablação: Remover a recompensa de legenda ou a recompensa de resposta direta degrada significativamente tanto a segurança quanto a utilidade, confirmando que ambos os sinais são necessários. A normalização de recompensa desacoplada foi considerada particularmente crítica para o desempenho Direct e DirectCap.

Significância e Alegações

O artigo alega que o SafeCap demonstra o valor de incorporar evidência do lado da percepção no alinhamento de segurança multimodal. Ao treinar o LVLM para expor explicitamente pistas visuais relevantes para a segurança em uma legenda, o método alinha a percepção visual do modelo com sua política de segurança sem depender apenas de prompts de recusa ou wrappers de tempo de inferência frágeis.

Os autores enfatizam que o caminho DirectCap (onde o modelo treinado gera uma legenda e depois responde) é o ponto de operação pretendido, oferecendo os ganhos de segurança mais consistentes. Embora o protocolo "Prism" (usando um LLM congelado para responder a partir da legenda) mostre alguma transferibilidade, a principal contribuição é a habilidade aprendida do próprio LVM de realizar autolegendagem consciente de segurança. O trabalho sugere que o aprendizado por reforço mediado por legenda é uma direção prática e eficaz para futuros esforços da comunidade em segurança multimodal, complementando o alinhamento convencional do lado da saída.