Resumo Técnico: SingGuard

Declaração do Problema

Modelos de visão-linguagem (VLMs) estão sendo cada vez mais implantados em aplicações de consumo, médicas, financeiras e empresariais, expandindo significativamente a superfície de segurança. Os riscos agora surgem não apenas de entradas de modalidade única, mas também de respostas de assistentes e composições cross-modais de perguntas e respostas multimodais, onde entradas benignas isoladamente tornam-se inseguras quando combinadas. Além disso, as políticas de moderação não são estáticas; elas variam entre produtos, regiões e estágios de implantação.

Os guardrails existentes enfrentam três limitações primárias:

1. Taxonomias Estáticas: A maioria dos sistemas depende de conjuntos de rótulos fixos (ex: Llama Guard, WildGuard) ou configurações de interação estreitas, falhando em se adaptar quando as regras de segurança mudam em tempo de execução.
2. Adaptabilidade de Política Limitada: Embora alguns guardrails multimodais (ex: LlavaGuard, GuardReasoner-VL) estendam a moderação para entradas visuais, eles tipicamente assumem fronteiras de política estáticas e classificam o risco diretamente, em vez de comparar o conteúdo com um conjunto aberto de regras ativas.
3. Raciocínio Ineficiente: Guardrails baseados em raciocínio melhoram a interpretabilidade, mas frequentemente empregam um modo de raciocínio único "sempre ativo". Isso é ineficiente para casos de alto rendimento e inequívocos, onde um julgamento direto é suficiente, mas insuficiente para casos complexos, contraintuitivos ou com mudança de política que exigem deliberação.

Metodologia

O SingGuard é uma família de modelos de guardrail multimodal adaptável à política, projetada para avaliar a segurança em conversas multimodais ao tratar a política ativa como uma entrada em tempo de execução.

1. Formulação da Tarefa e Interface de Política

O SingGuard formula a classificação de segurança como uma tarefa de seguimento de instrução. Dado um conteúdo alvo $x$ (consulta, imagem e/ou resposta) e uma política ativa $P$ (um conjunto de regras em linguagem natural), o modelo prevê:

• Um rótulo binário de segurança ($y \in \{safe, unsafe\}$).
• Um rastro de raciocínio opcional fundamentado na política ($z$).
• A regra ou categoria acionada ($c$).

A política $P$ pode ser a taxonomia hierárquica completa integrada (8 dimensões primárias, 27 categorias secundárias, mais de 80 riscos detalhados) ou um subconjunto dinâmico/reescrita fornecido no momento da inferência. Isso permite que o modelo fundamente suas decisões nas regras ativas atuais em vez de priors memorizados.

2. Construção de Dados (SingGuard-Bench)

Para treinar e avaliar o modelo, os autores construíram o SingGuard-Bench, um benchmark abrangente contendo 56.340 exemplos de 35 conjuntos de dados. As principais características incluem:

• Condicionamento de Regra Dinâmica: As amostras são emparelhadas com políticas de tempo de execução correspondentes e não correspondentes para testar se o modelo segue novas regras em vez de rótulos estáticos.
• Riscos Conjuntos Cross-Modais: Casos onde imagem e texto são individualmente benignos, mas sua composição implica intenção insegura.
• Supervisão de Mudança de Política: Rótulos contrafatuais gerados editando regras (ex: expandindo o escopo, adicionando isenções) para forçar o modelo a reavaliar o conteúdo com base no novo texto da política.
• Cadeia de Pensamento (CoT): Mais de 1 milhão de exemplos de raciocínio onde o modelo verifica as regras uma a uma, fundamentando a decisão final em evidências explícitas.

3. Pipeline de Treinamento

O processo de treinamento envolve três estágios:

• Estágio 1: SFT de Cold-Start Condicionado à Política: O modelo é ajustado em uma gramática de saída unificada que suporta três modos:
  • Fast (Rápido): Rótulo direto de seguro/inseguro e categoria.
  • Slow (Lento): Deliberação explícita regra por regra antes da resposta final.
  • Hybrid (Híbrido): Julgamento binário inicial seguido de raciocínio apenas se a confiança for baixa.
    O objetivo combina perdas para o token inicial, o intervalo de raciocínio e a categoria final.
• Estágio 2: DAPO Desacoplado Fast–Slow: Para evitar que o julgamento rápido inicial "ancore" o raciocínio subsequente (ou seja, forçar o raciocínio a racionalizar um palpite inicial potencialmente errado), os autores aplicam a Otimização de Preferência Direta Desacoplada (DAPO). O primeiro token gerado é mascarado durante a atualização de aprendizado por reforço, permitindo que o caminho de raciocínio verifique independentemente a política e corrija a resposta final, se necessário.
• Estágio 3: Destilação de Conhecimento On-Policy (OPD): Um modelo estudante de 2B é destilado de um professor de 8B. Diferente da destilação padrão, o estudante gera seu próprio prefixo, e o professor fornece distribuições de nível de token para esse prefixo específico. Isso ajuda o modelo menor a aprender a reparar seus próprios caminhos de raciocínio fracos em regras dinâmicas e casos de borda.

4. Regimes de Inferência

O SingGuard suporta três modos de inferência para equilibrar latência e precisão:

• Modo Fast: Emite um rótulo direto para moderação de baixa latência.
• Modo Slow: Realiza deliberação explícita regra por regra para casos sensíveis à auditoria ou ambíguos.
• Modo Hybrid: Decodifica a decisão binária inicial; se a confiança $s(y_0) \geq \tau$, ele encerra precocemente. Caso contrário, continua a gerar o rastro de raciocínio completo e a resposta revisada.

Principais Contribuições

1. Família de Modelos SingGuard: Um guardrail VLM adaptável à política que aceita políticas abertas em tempo de execução, permitindo que equipes de implantação adicionem ou revisem regras para domínios específicos (saúde, finanças, jurídico) sem retreinar.
2. RL Desacoplado Fast–Slow: Um novo objetivo de treinamento que preserva julgamentos rápidos de baixa latência enquanto desacopla eles da otimização do caminho de raciocínio, permitindo que o modelo corrija erros iniciais com base em evidências fundamentadas na política.
3. SingGuard-Bench: Um benchmark multimodal cobrindo mais de 80 tipos de risco, incluindo ataques de intenção oculta cross-modais, avaliação de regras dinâmicas e testes de precisão de sensibilidade benigna.
4. Desempenho de Estado da Arte: Demonstrando que um único modelo adaptável à política pode alcançar amplo desempenho em QA multimodal e moderação de resposta, superando baselines especializados.

Resultados

Avaliado em seis famílias de benchmarks abrangendo 35 conjuntos de dados, o SingGuard alcança pontuações F1 médias de estado da arte em cada categoria:

• Segurança Multimodal: O SingGuard-8B alcança um F1 médio de 0,9092, superando o melhor baseline de código aberto (LLAVAShield com 0,8842) e modelos de fronteira fechados como o GPT-5.1 (0,8349).
• Segurança de Imagem: O SingGuard-4B lidera com um F1 médio de 0,9141, superando significativamente baselines como o GuardReasoner-VL (0,8570) e mostrando robustez na detecção de danos visuais onde guardrails treinados em texto costumam falhar (ex: detecção de armas).
• Segurança de Consulta e Resposta de Texto: O SingGuard-8B alcança o maior F1 médio para consultas de texto (0,8740) e resultados competitivos para respostas (0,8770), demonstrando forte transferência da detecção de intenção para a detecção de assistência.
• Segurança Multilíngue: O SingGuard-8B lidera na segurança de consultas multilíngues (0,8872) e segurança de respostas (0,8988), mostrando transferência eficaz condicionada à política através de idiomas.
• Adaptação de Política Dinâmica: Na avaliação de regras dinâmicas, o SingGuard-slow melhora a precisão média de 0,6465 (Qwen3-VL-8B) para 0,7415, provando sua capacidade de seguir regras ativas em mudança em vez de depender de priors de tempo de treinamento.
• Ablação: O estágio de RL desacoplado fast–slow melhora significativamente a precisão da política dinâmica. A destilação on-policy eleva a pontuação média do modelo 2B de 0,8631 para 0,8840, fechando a lacuna com o professor de 8B.

Significância

O artigo argumenta que aprender a identificar riscos é necessário, mas insuficiente para guardrails de produção. Um sistema implantado deve também aprender quando um risco cai fora da política ativa para evitar o bloqueio excessivo de conteúdo legítimo. O SingGuard aborda isso ao desacoplar a percepção de segurança dos priors de categoria memorizados, permitindo que o modelo se adapte a regras em evolução em tempo de execução.

Ao unificar entradas multimodais, políticas ativas abertas e caminhos de raciocínio adaptáveis (fast, hybrid, slow) dentro de um único modelo, o SingGuard fornece um framework flexível para avaliação de segurança. Os resultados indicam que o raciocínio fundamentado na política, combinado com o aprendizado por reforço desacoplado, permite que os guardrails lidem com cenários de segurança complexos, dinâmicos e cross-modais de forma mais eficaz do que as abordagens estáticas baseadas em taxonomia. Os autores enfatizam que, embora o SingGuard melhore a adaptabilidade, seu desempenho permanece dependente da clareza da política ativa fornecida, necessitando de atualizações contínuas de benchmarks e revisão humana para implantações de alto risco.