Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

Resumo Técnico: OutGuard – Guardrail de Segurança Consciente da Saída para MLLMs

1. Declaração do Problema: O Trade-off entre Segurança e Utilidade

Os mecanismos de segurança existentes para Modelos de Linguagem de Grande Escala Multimodais (MLLMs) enfrentam um trade-off crítico entre segurança e utilidade. Embora o ajuste fino (fine-tuning) do modelo ofereça uma segurança robusta, ele frequentemente compromete a utilidade geral. Inversamente, os guardrails de segurança baseados na entrada fornecem uma alternativa leve e não intrusiva, mas sofrem de uma severa recusa excessiva (over-refusal).

Os guardrails atuais operam sob um paradigma consciente da entrada (input-aware), tomando decisões de segurança baseadas apenas na análise de pares de imagem-texto de entrada. Essa abordagem falha em considerar as capacidades intrínsecas de segurança do modelo. Como demonstrado no artigo, os MLLMs frequentemente possuem mecanismos de alinhamento interno que podem transformar entradas prejudiciais em saídas seguras (ex: respostas de estilo de recusa, advertências ou avisos). No entanto, os guardrails conscientes da entrada bloqueiam indiscriminadamente essas interações assim que a entrada é sinalizada como arriscada, independentemente de o modelo ter gerado uma resposta inofensiva. Isso leva à rejeição de consultas benignas que meramente parecem arriscadas (ex: "Como matar um processo Python?" ou "Onde posso tirar uma boa foto?"), degradando significativamente a experiência do usuário e limitando a usabilidade prática.

2. Metodologia: O Framework OutGuard

Para resolver isso, os autores propõem o OutGuard, uma mudança de paradigma de um guardrail consciente da entrada para um consciente da saída (output-aware). O OutGuard opera dentro do espaço de estado oculto do modelo para prever a segurança da geração subsequente antes que ela seja totalmente produzida, em vez de julgar apenas o risco da entrada.

Componentes Principais:

• Utilização de Estados Ocultos: O OutGuard extrai representações de estados ocultos ($H_l$) do LLM principal durante a etapa de inferência (Estágio S4 no fluxo de dados). Esses estados ligam a dinâmica interna do modelo à saída final.
• Classificador de Aprendizado de Contraste de Múltiplas Instâncias (MICL):
  • Formulação do Problema: A tarefa de detecção é formulada como um problema de Aprendizado de Múltiplas Instâncias (MIL). Uma sequência de estados ocultos para uma saída gerada é tratada como uma "sacola" (bag), onde as representações individuais de tokens são "instâncias". O rótulo ao nível da sacola (Seguro/Inseguro) é conhecido, mas a nocividade ao nível do token é latente.
  • Arquitetura: O classificador MICL emprega um mecanismo de atenção com portão (gated attention mechanism) para agregar representações ao nível do token em uma representação ao nível da sacola ($z_l$). Esse mecanismo aprende a focar em instâncias de alta atenção (provavelmente tokens prejudiciais) enquanto suprime o ruído.
  • Objetivo de Treinamento: O classificador é treinado usando uma função de perda composta:
    1. Perda de Entropia Cruzada Binária ($L_{cls}$): Para classificação ao nível da sacola.
    2. Regularização de Entropia ($L_{ent}$): Para incentivar a esparsidade nos pesos de atenção, forçando o modelo a focar em tokens salientes específicos.
    3. Perda de Contraste Intra-sacola ($L_{con}$): Uma perda do tipo InfoNCE que maximiza a similaridade entre instâncias de alta atenção (positivas) e minimiza a similaridade com instâncias de baixa atenção (negativas) dentro da mesma sacola.
• Seleção de Camada e Votação:
  • Uma métrica de Safety-Score é usada para avaliar o desempenho dos classificadores MICL treinados em diferentes camadas.
  • Apenas classificadores de camadas com Safety-Score > 0.9 são selecionados.
  • Durante a inferência, os classificadores selecionados votam sobre a segurança dos estados ocultos. Uma votação majoritária determina a decisão final (Seguro vs. Inseguro).

Fluxo Operacional:
O OutGuard funciona como um módulo independente ao lado do MLLM. Ele realiza a detecção de segurança em uma única passagem durante a inferência, analisando os estados ocultos conforme eles são gerados. Se o sistema prever uma saída insegura, ele intervém; caso contrário, a geração prossegue. Isso evita a necessidade de consultas adicionais ou sobrecarga significativa de latência.

3. Principais Contribuições

1. Mudança de Paradigma: O artigo identifica a causa raiz da recusa excessiva como a dependência de paradigmas conscientes da entrada e propõe uma mudança para a avaliação de segurança consciente da saída.
2. Framework OutGuard: Um novo framework que utiliza representações de estados ocultos e um classificador de Aprendizado de Contraste de Múltiplas Instâncias (MICL) para avaliar diretamente a segurança da saída, distinguindo entre entradas que levam a saídas prejudiciais e aquelas que o modelo neutraliza internamente.
3. Validação Empírica: Experimentos extensos demonstram que o OutGuard reduz significativamente as taxas de recusa excessiva, mantendo um forte desempenho de detecção contra conteúdo nocivo e ataques de jailbreak.

4. Resultados Experimentais

Os autores avaliaram o OutGuard no LLaVA 1.6 e Qwen 3.5 usando conjuntos de dados incluindo GQA, AdvBench, SafeBench, MM-Vet, MM-SafetyBench e XSTest. Os baselines incluíram HiddenDetector, QGuard, LoD e ProGuard.

• Equilíbrio Segurança vs. Utilidade: O OutGuard alcançou desempenho superior em todas as métricas. No conjunto de teste, manteve uma baixa taxa de Resposta Insegura para Prompts Inseguros (URUP < 0.1) enquanto reduzia drasticamente a taxa de Resposta de Abstenção para Prompts Seguros (ARSP < 0.1). Por exemplo, no LLaVA, o OutGuard alcançou um F1-Score de 0.9335 e um ARSP de 0.0749, superando o próximo melhor método (LoD-PP), que teve um ARSP de 0.1124.
• Mitigação de Recusa Excessiva: No conjunto de dados XSTest (consultas benignas que parecem prejudiciais), o OutGuard reduziu significativamente as taxas de recusa excessiva em comparação com os baselines (ex: 0.5840 vs. 0.7400 para LLaVA).
• Robustez: O OutGuard demonstrou forte robustez contra ataques de jailbreak (Visual-Adversarial-Examples, HADES, JOOD), alcançando métricas de classificação quase perfeitas (AUPRC/AUROC > 0.97) enquanto mantinha a recusa excessiva baixa.
• Eficiência: O método introduz latência mínima. O tempo médio de decisão por amostra foi de 0.208 segundos, comparável ou mais rápido que muitos baselines (ex: QGuard em 3.154s) e significativamente mais rápido que métodos pós-saída.
• Estudos de Ablação: A remoção de componentes chave (módulo de portão, aprendizado de contraste ou regularização de esparsidade) levou a uma degradação severa na capacidade de detecção, confirmando a necessidade da arquitetura MICL.

5. Significância e Alegações

O artigo afirma que o OutGuard fornece uma solução prática para o trade-off entre segurança e utilidade em MLLMs. Ao mudar o foco do risco da entrada para o dano real da saída, o método preserva as capacidades de segurança integradas e a utilidade geral do modelo. Os autores enfatizam que sua abordagem permite uma intervenção precisa apenas quando a resposta real do modelo seria prejudicial, evitando assim o bloqueio desnecessário de interações benignas.

O trabalho destaca a importância de mecanismos de segurança conscientes da saída e demonstra que classificadores leves treinados em estados ocultos podem mitigar efetivamente a recusa excessiva sem comprometer a detecção de ameaças reais ou exigir o retreinamento do modelo. O código é disponibilizado para facilitar pesquisas futuras nesta direção.