Resumo Técnico: HaloGuard 1.0

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão transitando de interfaces de chat para fluxos de trabalho agênticos, expandindo as superfícies de ataque e aumentando o custo das falhas de segurança. Embora existam guardrails existentes, eles enfrentam uma "fronteira crítica de Falso Positivo (FP) / Falso Negativo (FN)". O desafio principal não é detectar prompts obviamente prejudiciais, mas distinguir entre intenção insegura e casos de uso legítimos que compartilham o mesmo vocabulário sensível à segurança (ex: discussões educacionais sobre armas, cibersegurança defensiva ou análise histórica de violência).

Os modelos de guarda de pesos abertos atuais frequentemente dependem de taxonomias grosseiras ou conjuntos de dados de moderação coletados que refletem políticas de rotulagem de origem em vez de políticas de implantação de destino. Isso leva a dois modos específicos de falha:

1. Sobre-recusa (Alta FPR): Bloquear prompts benignos que são lexicalmente similares aos prejudiciais (ex: bloquear um pedido de "como fazer gás cloro" para uma aula de história).
2. Dano Omitido (Alta FNR): Falhar em detectar a intenção prejudicial escondida atrás de enquadramentos adversários ou em idiomas que não o inglês, onde as fronteiras de decisão são desequilibradas.

Além disso, muitos conjuntos de dados sintéticos carecem de "negativos difíceis" — prompts benignos que são estrutural e lexicalmente próximos dos prejudiciais, mas diferem apenas na intenção.

2. Metodologia

O HaloGuard 1.0 introduz uma abordagem de Classificador de Entrada Constitucional, mudando de rotular dados coletados para usar uma constituição em linguagem natural como a especificação generativa para todo o conjunto de dados de treinamento.

2.1 A Estrutura Constitucional

Em vez de uma taxonomia plana, o sistema utiliza uma Constituição HaloGuard hierárquica composta por:

• 46 Políticas Constitucionais: 29 políticas prejudiciais e 17 políticas de inocuidade compartilhada.
• 2.940 Subcategorias: A unidade atômica para geração de dados e contabilidade de cobertura.
• Níveis de Risco: Quatro níveis (Crítico, Alto, Moderado, Sensível) que ditam a largura da fronteira de inocuidade e as estratégias de composição de dados.

A constituição define explicitamente não apenas comportamentos proibidos, mas também usos adjacentes legítimos (ex: análise forense, apoio à vítima, revisão jurídica) para cada categoria prejudicial.

2.2 Pipeline de Dados Sintéticos

O corpus de treinamento (1,26 milhão de registros) é gerado sinteticamente com base na constituição, empregando vários mecanismos-chave:

• Contrafactuais Pareados: Para cada subcategoria prejudicial, um espelho benigno 1:1 é gerado. Esses pares mantêm o tópico e o vocabulário adjacente ao dano fixos, enquanto invertem a intenção (ex: de "como construir uma bomba" para "análise histórica do ataque com gás sarin de Tóquio em 1995"). Isso força o modelo a aprender a intenção em vez de atalhos de palavras-chave.
• Design de Inocuidade de Dois Níveis:
  • Dados de Fronteira de Inocuidade: Exemplos seguros locais à constituição que situam-se próximos a fronteiras prejudiciais específicas (visando FPs de fronteira).
  • Dados de Inocuidade Compartilhada: Exemplos amplamente benignos (ex: escrita criativa, conhecimento geral) para ancorar o modelo contra FPs de base.
• Geração Ancorada em Estilo: Os prompts são gerados ancorando-os a registros do mundo real (de fontes como WildGuard, Aegis e ToxicChat) para evitar que o modelo aprenda artefatos sintéticos.
• Aumento de Superfície: Inclui sobreposições de padrões de ataque (roleplay, divisão de payload) e transformações determinísticas (codificações, formatação) aplicadas a ambos os lados prejudiciais e benignos para garantir robustez contra ofuscação.

2.3 Materialização Multilíngue

O pipeline se estende a 46 idiomas através de seis grupos tipológicos. Crucialmente, trata a língua como uma forma de superfície, não como um sinal adversário.

• Geração Equilibrada: Tanto os prompts prejudiciais quanto os benignos são traduzidos, garantindo o equilíbrio de classes por idioma.
• Preservação de Registro: Um processo de dois estágios preserva o registro de origem (tom, formalidade) para evitar que o modelo associe scripts específicos a pontuações de segurança.
• Portões de Qualidade: Inclui detecção de recusa semântica (para capturar recusas do modelo na tradução) e verificação de preservação de intenção.

2.4 Arquitetura do Modelo

O HaloGuard 1.0 é lançado como dois classificadores generativos baseados em Qwen3.5:

• HaloGuard 1.0-0.8B: Otimizado para filtragem inline de baixa latência.
• HaloGuard 1.0-4B: Otimizado para maior capacidade e melhor discriminação de fronteira.
  Ambos os modelos são treinados via previsão de próximo token autorregressivo para emitir rótulos atribuídos à constituição (ex: UNSAFE + Cyber) em vez de usar uma cabeça de classificação fixa.

3. Principais Contribuições

1. Primeiro Classificador Constitucional de Pesos Abertos: Diferente dos Classificadores Constitucionais (CCs) anteriores que eram sistemas fechados, o HaloGuard 1.0 é a primeira implementação implementável e de pesos abertos do paradigma CC, usando uma constituição para impulsionar a geração de dados sintéticos.
2. Taxonomia de Grão Fino: Uma taxonomia de 2.940 subcategorias que serve como unidade de geração, permitindo a construção de negativos difíceis precisos e diagnóstico de falhas detalhado, excedendo em muito as ~14 categorias planas de guardas abertos anteriores.
3. Construção de Dados Focada em Fronteiras: O uso sistemático de contrafactuais pareados e dados de inocuidade de dois níveis visa especificamente a fronteira FP/FN, separando erros de fronteira de erros de base.
4. Cobertura Multilíngue Equilibrada: Um pipeline que gera dados prejudiciais/benignos equilibrados em 46 idiomas, tratando a língua como uma forma de superfície para evitar correlações espúrias entre o script e as pontuações de segurança.
5. Endurecimento Contínuo: Um protocolo de red-teaming adversário sempre ativo é integrado para atualizar continuamente o guard contra ataques de nível de conteúdo e agênticos.

4. Resultados

Avaliado em sete benchmarks de segurança de prompts (OpenAI Moderation, Aegis, Aegis 2.0, ToxicChat, SimpleSafetyTests, HarmBench, WildGuardTest):

• Desempenho:
  • HaloGuard 1.0-0.8B: Alcança um F1 médio de 90.9, superando baselines de até 27B de parâmetros (ex: ShieldGemma, PolyGuard-Qwen) enquanto usa ~30x menos parâmetros. Mantém uma Taxa de Falso Positivo (FPR) de 4,3% e uma Taxa de Falso Negativo (FNR) de 9,5%.
  • HaloGuard 1.0-4B: Alcança um F1 médio de 92.1, com um FPR de 3,5% e um FNR de 7,7%, demonstrando melhor precisão e recall.
• Análise de Benchmark: Os modelos mostram força particular em benchmarks envolvendo toxicidade conversacional e prompts adversários (ToxicChat, WildGuard), onde atalhos de palavras-chave frequentemente causam falhas em outros modelos.
• Métricas Desruídos: Após uma adjudicação estruturada de falhas de benchmark, os autores descobriram que 51,5% dos aparentes Falsos Negativos eram, na verdade, erros de rotulagem do benchmark (prompts benignos incorretamente rotulados como prejudiciais). O FNR desruído para o modelo 0.8B cai para 3,1%, sugerindo que a taxa real de dano omitido do modelo é significativamente menor do que os benchmarks brutos indicam.
• Desempenho Multilíngue: Os modelos alcançam generalização forte no benchmark PolyGuardPrompts (86,1 F1 para 0.8B, 88,0 F1 para 4B), embora a sobre-recusa (FPR) continue sendo um desafio para os grupos de idiomas Indic e do Sudeste Asiático devido à cobertura de segurança mais tênue nos dados de treinamento.

5. Significância e Alegações

O artigo afirma que o HaloGuard 1.0 estabelece um novo ponto de estado da arte para guardas de entrada de pesos abertos, provando que um modelo menor (0.8B) pode superar baselines significativamente maiores (até 27B) quando os dados de treinamento são construídos em torno de uma fronteira constitucional de grão fino.

A principal significância reside na mudança da detecção de palavras-chave para a discriminação de intenção. Ao tratar a constituição como uma especificação generativa em vez de uma lista estática de rótulos, os autores demonstram que é possível construir um conjunto de dados que ensina explicitamente o modelo a distinguir entre pedidos inseguros e discussões seguras de tópicos sensíveis.

Os autores enfatem que o guard é uma primeira camada de defesa projetada para coexistir com outros mecanismos de segurança (moderação de saída, permissão de ferramentas, revisão humana). Eles declaram explicitamente que o lançamento atual foca na classificação de entrada e ainda não cobre o monitoramento de resposta ou traços de execução agêntica, posicionando o trabalho como um passo fundamental em direção a uma arquitetura de defesa em profundidade abrangente. O lançamento da constituição e do pipeline sintético permite que a comunidade audite, reproduza e estenda a fronteira de segurança, indo além da moderação de "caixa preta".