Resumo Técnico: Opir – Classificação de Segurança Multi-tarefa Eficiente

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em ambientes de chat, agentes e middleware exige filtragem de segurança em tempo real para detectar prompts inseguros, linguagem tóxica, tentativas de jailbreak e respostas prejudiciais. Os sistemas de guarda-costas (guardrails) mais avançados atuais (por exemplo, Llama Guard, WildGuard, ShieldGemma, PolyGuard) dependem predominantemente de grandes modelos decodificadores autoregressivos (7B–22B parâmetros). Embora eficazes, esses modelos incorrem em custos computacionais e latência significativos, pois cada interação protegida requer uma ou mais passagens forward adicionais de LLM. Além disso, muitos sistemas existentes priorizam decisões binárias de seguro/inseguro, carecendo da granularidade necessária para categorização do mundo real em domínios de toxicidade, jailbreaks e conteúdos prejudiciais específicos. Há uma necessidade crítica de classificadores que possam distinguir texto sensível benigno de conteúdo prejudicial coverto, operando com uma pegada de implantação substancialmente menor e latência reduzida.

Metodologia

O Opir aborda esses desafios introduzindo uma família de modelos de guarda-costas baseados em codificadores construídos sobre a arquitetura GLiClass. Diferentemente das abordagens baseadas em decodificadores que geram vereditos estruturados de forma autoregressiva, o Opir codifica conjuntamente o texto de entrada e os rótulos candidatos usando um codificador bidirecional. Isso permite classificação multi-rótulo zero-shot a uma fração do custo dos modelos generativos.

Componentes Principais

1. Arquitetura: O Opir utiliza o GLiClass, que estende a arquitetura GLiNER para classificação de sequências. Emprega um uni-codificador com pooling configurável (média, primeiro token, etc.) e mecanismos de pontuação (produto escalar, bilinear ou cabeças aprendidas).

   • Variantes Multi-tarefa: Construídas sobre DeBERTaV3-large e mDeBERTaV3-base para segurança abrangente, toxicidade, jailbreak e categorização zero-shot.
   • Variantes de Borda (Edge): Construídas sobre codificadores compactos (Ettin-encoder-32m e mmBERT-small) com menos de 100M de parâmetros, otimizadas para classificação binária seguro/inseguro em dispositivos de borda.

2. Taxonomia de Segurança: Os modelos são treinados em uma taxonomia de três níveis compreendendo 996 rótulos:

   • Nível 1: 16 categorias de alto nível (por exemplo, toxicidade, violência, autolesão, segurança de sistemas de IA).
   • Nível 2: 126 categorias de nível médio.
   • Nível 3: 854 rótulos folha.
   • Crucialmente, a taxonomia inclui categorias benignas e de preservação de segurança (por exemplo, contra-discurso, cibersegurança defensiva, recusa apropriada) para mitigar o modo de falha de "recusa excessiva" comum em guarda-costas estritamente baseados em prompts de política.

3. Construção de Dados: O conjunto de dados de treinamento é uma síntese de:

   • Geração fundamentada em taxonomia: 30 prompts inseguros gerados por nó de taxonomia via pipeline de LLM como autor.
   • Mineração Adversarial: Negativos duros evoluídos para contornar modelos de segurança existentes (inspirados em pipelines de red-teaming).
   • Exemplos de Contraste Benignos: Texto relacionado à segurança, mas seguro, para reduzir falsos positivos em contextos sensíveis.
   • Geração de Respostas: Respostas geradas por um modelo Qwen3-4B ajustado e validadas por um painel de juízes LLM.
   • Tradução Multilíngue: Dados traduzidos para 23 idiomas usando DeepSeek-V3.1.
   • Subconjuntos Abertos: Porções dos dados de treinamento Aegis2 e WildGuardMix.

4. Estratégia de Treinamento: O treinamento envolve um processo de duas etapas: treinamento inicial no conjunto de dados principal seguido de pós-treinamento em dados aumentados (10% da amostra). Técnicas de aumento incluem dropout de rótulos, perturbação de prompts e inserção de instruções de distração com aparência segura para melhorar a robustez contra injeção de prompts e violações de hierarquia de instruções. O sistema suporta Consolidação de Pesos Elásticos (EWC) para aprendizado contínuo.

Contribuições Principais

1. Uma Taxonomia Abrangente de Segurança: Uma taxonomia de 3 níveis com 996 rótulos cobrindo toxicidade ordinária, ataques específicos de LLM (incluindo injeção de prompt indireta e violações de hierarquia de instruções) e contextos sensíveis benignos.
2. Uma Família de Modelos Baseada em GLiClass: Desenvolvimento de variantes do Opir (multi-tarefa e orientadas a borda) que suportam classificação binária, detecção de toxicidade/jailbreak multi-rótulo e categorização zero-shot em 23 idiomas.
3. Receita de Dados Sintéticos e Abertos: Um pipeline reproduzível combinando geração derivada de taxonomia, mineração de negativos duros adversariais e tradução multilíngue.
4. Suite de Avaliação Multi-visão: Um conjunto de avaliação de código aberto suportando GLiClass, GLiNER2 e backends baseados em decodificadores (vLLM), cobrindo segurança binária, toxicidade, jailbreaks e visualizações de subcategorias em 12 conjuntos de dados de segurança e 17 divisões de categorização.
5. Benchmarking Extensivo: Uma análise comparativa contra oito sistemas de guarda-costas contemporâneos (incluindo modelos baseados em GLiNER2 e generativos) demonstrando precisão competitiva com latência significativamente reduzida.

Resultados

O artigo avalia o Opir contra oito sistemas de guarda-costas contemporâneos (incluindo GLiGuard, Gliner-Guard-Omni, WildGuard, Nemotron Safety Guard, PolyGuard e Qwen3Guard) em 12 conjuntos de dados de segurança binária e 17 tarefas de categorização.

• Precisão:

  • Segurança Binária: Opir-multitask-large alcançou a segunda maior média macro F1 por linha (0,8045) entre 11 sistemas, ficando atrás apenas do Nemotron Safety Guard v3 de 8B de parâmetros (0,8061) e superando outros modelos baseados em decodificadores em média. Venceu dois conjuntos de dados individuais (segurança de prompt WildGuard e segurança de comportamentos JBB-Behaviors).
  • Desempenho de Borda: Opir-edge-multilang (<100M parâmetros) venceu em segurança de prompt Aegis (0,9321) e segurança de resposta WildGuard (0,9194).
  • Categorização: Opir-multitask-large alcançou a maior precisão média (0,5432) em 17 conjuntos de dados de categorização, vencendo 11 de 17 linhas. Mostrou margens substanciais sobre baselines nas categorias Aegis, prompts HarmBench e subcategorias WildGuard.
  • Limitações: Os modelos lutaram com a família OR-Bench (sondas de recusa excessiva), onde GLiGuard-300M superou o Opir. Os autores atribuem isso a um problema de calibração onde a taxonomia do Opir mapeia esses prompts para categorias benignas mais amplas, levando a taxas de abstenção mais altas.

• Latência e Vazão:

  • Em 1024 tokens, Opir-multitask-large alcançou 50,51 amostras/s com uma latência p50 de 25,65 ms.
  • As variantes de borda demonstraram eficiência superior: Opir-edge atingiu 499,49 amostras/s com uma latência p50 de 9,25 ms.
  • Comparado à baseline mais forte baseada em decodificador (Nemotron Safety Guard v3 com 97,63 ms p50), as variantes do Opir operam 10–33 vezes mais rápido, oferecendo precisão de segurança comparável a uma fração do custo de inferência.

Significado e Alegações

O artigo posiciona o Opir como uma solução para os gargalos de latência e custo dos guarda-costas de LLM atuais. Ao aproveitar uma arquitetura baseada em codificador, o Opir alcança reduções de latência de ordem de magnitude em comparação com modelos decodificadores de 7B–22B, mantendo precisão competitiva. Os autores afirmam que as variantes do Opir são "competitivas ou à frente das baselines de peso aberto mais fortes na maioria dos conjuntos de dados de benchmark, operando com uma pegada de implantação substancialmente menor".

A inclusão de categorias sensíveis benignas é destacada como uma mitigação específica contra a recusa excessiva, um modo de falha conhecido em filtros de segurança estritos. Os autores enfatizam que o Opir é projetado para moderação em tempo real, roteamento de segurança e análise offline, mas afirmam explicitamente que não deve ser usado como a única base para decisões de alto impacto (jurídicas, emprego, etc.) ou como substituto para revisão humana e design de políticas. O trabalho demonstra que modelos eficientes baseados em codificadores podem lidar efetivamente com classificação de segurança complexa e multi-tarefa sem a sobrecarga computacional de guarda-costas generativos.