Resumo Técnico: DT-Guard

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) implantados em aplicações de mundo aberto requerem salvaguardas de segurança que equilibrem a robustez contra riscos complexos com a eficiência necessária para a moderação de baixa latência em tempo de execução. As soluções existentes enfrentam um compromisso prático:

• Salvaguardas baseadas em classificação são eficientes, mas frequentemente falham em intenções ocultas, semânticas ambíguas e decisões de segurança limítrofes porque comprimem julgamentos complexos em previsões de rótulos planos.
• Salvaguardas baseadas em raciocínio melhoram a qualidade do julgamento ao gerar traços explícitos de cadeia de pensamento (CoT), mas introduzem uma sobrecarga significativa de geração de tokens e latência de inferência, tornando-as inadequadas para sistemas industriais de alto rendimento.

Há uma necessidade de um paradigma que aproveite a qualidade das melhorias de raciocínio durante o treinamento, mantendo a eficiência da inferência sem raciocínio durante a implantação.

Metodologia

Os autores propõem o DT-Guard, um modelo de salvaguarda de segurança de conteúdo baseado em um paradigma de Treinamento Ativo de Raciocínio, Inferência Livre de Raciocínio. A ideia central é usar trajetórias de raciocínio como sinais de supervisão durante o treinamento, mas emitir apenas rótulos de segurança estruturados durante a inferência.

1. Estrutura de Segurança Baseada em Intenção

O DT-Guard formula o julgamento de segurança como um processo de decisão progressivo: Intenção → Categoria → Segurança.

• Intenção: Identifica a motivação subjacente da interação (ex: consulta benigna vs. ataque adversário).
• Categoria: Atribui tipos de risco relevantes.
• Segurança: Prediz o nível final de segurança (Seguro, Inseguro ou Limítrofe).
  Esta estrutura fornece uma supervisão intermediária mais clara para casos difíceis onde pistas superficiais são pouco confiáveis.

2. Construção de Dados

Os autores construíram um corpus de segurança orientado por intenção de 811.897 amostras, cobrindo riscos tanto do lado do prompt (entrada) quanto do lado da resposta (saída).

• Fontes: Agregadas de seis domínios de segurança (red-teaming, jailbreaks, alinhamento, toxicidade, viés, etc.).
• Processamento: Um pipeline de dois estágios envolvendo destilação baseada em LLM (usando GLM-5.1) e votação de múltiplas rodadas com verificação de especialistas.
• Anotação: As amostras são enriquecidas com CoT, rótulos de intenção, categorias de risco e rótulos de segurança. Casos limítrofes são explicitamente identificados para lidar com a ambiguidade.
• Equilíbrio: O conjunto de dados é equilibrado entre níveis de segurança (Seguro:Inseguro:Limítrofe ≈ 5,5:4:0,5) e categorias de risco para garantir a cobertura de riscos frequentes e de cauda longa.

3. Otimização Progressiva de Casos Difíceis Guiada por Rollout (RG-PHO)

Para internalizar o raciocínio sem forçá-lo na inferência, o DT-Guard utiliza um pipeline de treinamento de três estágios:

• Estágio 1: SFT de Modo Misto Guiado por Intenção. O modelo aprende a estrutura Intenção → Categoria → Segurança usando uma mistura de saídas de CoT (para casos limítrofes/detalhados) e rótulos estruturados compactos (para casos claros). Isso injeta supervisão de raciocínio sem criar um descompasso de formato entre treino e teste.
• Estágio 2: SFT de Casos Difíceis Baseado em Falhas. Usando consistência de múltiplos rollouts, o sistema identifica amostras de "falha persistente" (onde o modelo falha em prever corretamente em todos os rollouts). Essas amostras passam por correção supervisionada direcionada com CoT para reparar falhas sistemáticas.
• Estágio 3: DPO de Casos Difíceis Contrastivos de Rollout. Amostras identificadas como "instáveis de preferência" (onde o modelo produz tanto rollouts corretos quanto incorretos) são usadas para construir pares escolhido-rejeitado. A Otimização de Preferência Direta (DPO) é aplicada para calibrar o comportamento de seleção do modelo, reforçando caminhos de raciocínio e decisões de segurança corretas.

4. Inferência Livre de Raciocínio

Na implantação, o DT-Guard gera apenas rótulos estruturados (Intenção, Categoria, Segurança) sem emitir traços de raciocínio explícitos. A capacidade de raciocínio é internalizada durante o treinamento, permitindo uma discriminação de baixa latência.

Principais Contribuições

1. Modelo DT-Guard: Uma salvaguarda de segurança que internaliza o raciocínio de segurança complexo durante o treinamento enquanto mantém a inferência livre de raciocínio, desacoplando efetivamente a qualidade do raciocínio da latência de inferência.
2. Estrutura e Conjunto de Dados Orientados por Intenção: Um caminho de decisão estruturado (Intenção → Categoria → Segurança) e um conjunto de dados curado de ~812k amostras com anotações de intenção, categoria e CoT.
3. Estratégia RG-PHO: Um método de otimização progressiva que estratifica casos difíceis por consistência de rollout e aplica SFT de Caso Difícil direcionado (para falhas persistentes) e DPO de Caso Difícil (para instabilidade de preferência).
4. Equilíbrio Eficiência-Desempenho: Demonstra um caminho de treinamento que equilibra a capacidade de raciocínio com a eficiência de implantação, alcançando alto desempenho com uma pegada de modelo menor.

Resultados Experimentais

Experimentos foram conduzidos em 10 benchmarks de segurança do lado do prompt e 7 do lado da resposta usando um backbone de 4B parâmetros (Qwen3-4B).

• Desempenho do Lado do Prompt: O DT-Guard alcançou um F1 score médio de 0,886, superando o baseline de 8B Qwen3Guard-8B-Gen (0,852) e o YuFeng-XGuard-Reason-8B (0,849).
• Desempenho do Lado da Resposta: O DT-Guard alcançou um F1 score médio de 0,870, superando o Qwen3Guard-8B-Gen (0,863) e o YuFeng-XGuard-Reason-8B (0,841).
• Desempenho Geral: Com apenas um backbone de 4B, o DT-Guard atingiu um F1 duplo de ambos os lados de 0,878, superando fortes baselines de salvaguarda de 8B.

Insights de Ablação:

• Supervisão de Intenção: Adicionar rótulos de intenção melhorou o F1 do lado do prompt em 0,8 pontos.
• Alocação de CoT: O treinamento com CoT total degradou o desempenho sob inferência livre de raciocínio (o F1 caiu para 0,828). O treinamento de CoT seletivo (focando em amostras Limítrofes) rendeu os melhores resultados (0,860).
• Estágios RG-PHO: O SFT de Caso Difícil proporcionou um ganho de +1,3 no F1, enquanto o DPO de Caso Difícil proporcionou o maior ganho de estágio único de +2,7 no F1.

Significância

O artigo afirma que o DT-Guard valida a hipótese de que a supervisão de raciocínio pode ser efetivamente internalizada durante o treinamento e convertida em discriminação de segurança eficiente durante a inferência. Ao separar o processo de raciocínio (usado para supervisão) do formato de saída (rótulos estruturados), o modelo alcança a robustez de guardas aprimorados por raciocínio sem as penalidades de latência da geração de traços de raciocínio. Esta abordagem permite que um modelo de 4B supere baselines de 8B mais robustos, oferecendo uma solução escalável para moderação de segurança de baixa latência em aplicações do mundo real.