Resumen Técnico: Opir – Clasificación de Seguridad Multitarea Eficiente

Declaración del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) en entornos de chat, agentes y middleware requiere filtrado de seguridad en tiempo real para detectar prompts inseguros, lenguaje tóxico, intentos de jailbreak y respuestas dañinas. Los sistemas de barreras de seguridad (guardrails) más avanzados actuales (por ejemplo, Llama Guard, WildGuard, ShieldGemma, PolyGuard) dependen predominantemente de grandes modelos decodificadores autoregresivos (de 7B a 22B parámetros). Aunque efectivos, estos modelos incurren en costos computacionales significativos y latencia, ya que cada interacción protegida requiere una o más pasadas forward adicionales del LLM. Además, muchos sistemas existentes priorizan decisiones binarias de seguro/inseguro, careciendo de la granularidad necesaria para la categorización en el mundo real a través de toxicidad, jailbreaks y dominios específicos de contenido dañino. Existe una necesidad crítica de clasificadores que puedan distinguir texto sensible benigno de contenido dañino encubierto, operando con una huella de despliegue sustancialmente menor y una latencia reducida.

Metodología

Opir aborda estos desafíos introduciendo una familia de modelos de barreras de seguridad basados en codificadores construidos sobre la arquitectura GLiClass. A diferencia de los enfoques basados en decodificadores que generan veredictos estructurados de forma autoregresiva, Opir codifica conjuntamente el texto de entrada y las etiquetas candidatas utilizando un codificador bidireccional. Esto permite la clasificación multietiqueta en cero disparos (zero-shot) a una fracción del costo de los modelos generativos.

Componentes Principales

1. Arquitectura: Opir utiliza GLiClass, que extiende la arquitectura GLiNER para la clasificación de secuencias. Emplea un uni-codificador con mecanismos de agrupación (pooling) configurables (promedio, primer token, etc.) y mecanismos de puntuación (producto punto, bilineal o cabezas aprendidas).

   • Variantes Multitarea: Construidas sobre DeBERTaV3-large y mDeBERTaV3-base para una seguridad integral, detección de toxicidad, jailbreaks y categorización en cero disparos.
   • Variantes de Borde (Edge): Construidas sobre codificadores compactos (Ettin-encoder-32m y mmBERT-small) con menos de 100M de parámetros, optimizadas para la clasificación binaria seguro/inseguro en dispositivos de borde.

2. Taxonomía de Seguridad: Los modelos se entrenan sobre una taxonomía de tres niveles que comprende 996 etiquetas:

   • Nivel 1: 16 categorías de nivel superior (por ejemplo, toxicidad, violencia, autolesión, seguridad de sistemas de IA).
   • Nivel 2: 126 categorías de nivel medio.
   • Nivel 3: 854 etiquetas de hoja.
   • Crucialmente, la taxonomía incluye categorías benignas y de preservación de la seguridad (por ejemplo, contra-discurso, ciberseguridad defensiva, rechazo apropiado) para mitigar el modo de fallo de "sobre-rechazo" común en las barreras de seguridad con políticas estrictas.

3. Construcción de Datos: El conjunto de datos de entrenamiento es una síntesis de:

   • Generación fundamentada en taxonomía: 30 prompts inseguros generados por nodo de taxonomía mediante una pipeline de LLM como autor.
   • Minería Adversarial: Negativos duros evolucionados para eludir los modelos de seguridad existentes (inspirado en pipelines de red-teaming).
   • Ejemplos de Contraste Benignos: Texto relacionado con la seguridad pero seguro para reducir los falsos positivos en contextos sensibles.
   • Generación de Respuestas: Respuestas generadas por un modelo Qwen3-4B ajustado finamente y validadas por un panel de jueces LLM.
   • Traducción Multilingüe: Datos traducidos a 23 idiomas utilizando DeepSeek-V3.1.
   • Subconjuntos Abiertos: Porciones de los datos de entrenamiento de Aegis2 y WildGuardMix.

4. Estrategia de Entrenamiento: El entrenamiento implica un proceso de dos etapas: entrenamiento inicial en el conjunto de datos principal seguido de post-entrenamiento en datos aumentados (muestra del 10%). Las técnicas de aumento incluyen eliminación de etiquetas (label dropout), perturbación de prompts e inserción de instrucciones distractores que parecen seguras para mejorar la robustez contra la inyección de prompts y violaciones de la jerarquía de instrucciones. El sistema soporta Consolidación de Pesos Elásticos (EWC) para el aprendizaje continuo.

Contribuciones Clave

1. Una Taxonomía de Seguridad Integral: Una taxonomía de 3 niveles con 996 etiquetas que cubre toxicidad ordinaria, ataques específicos de LLM (incluyendo inyección de prompts indirecta y violaciones de jerarquía de instrucciones) y contextos sensibles benignos.
2. Una Familia de Modelos Basada en GLiClass: Desarrollo de variantes de Opir (multitarea y orientadas al borde) que soportan clasificación binaria, detección de toxicidad/jailbreak multietiqueta y categorización en cero disparos en 23 idiomas.
3. Receta de Datos Sintéticos y Abiertos: Una pipeline reproducible que combina generación derivada de taxonomía, minería de negativos duros adversarios y traducción multilingüe.
4. Entorno de Evaluación de Múltiples Vistas: Una suite de evaluación de código abierto que soporta GLiClass, GLiNER2 y backends basados en decodificadores (vLLM), cubriendo seguridad binaria, toxicidad, jailbreaks y vistas de subcategorías en 12 conjuntos de datos de seguridad y 17 divisiones de categorización.
5. Evaluación Comparativa Exhaustiva: Un análisis comparativo contra ocho sistemas de barreras de seguridad contemporáneos (incluyendo modelos basados en GLiNER2 y generativos) que demuestra precisión competitiva con una latencia significativamente reducida.

Resultados

El artículo evalúa Opir contra ocho sistemas de barreras de seguridad contemporáneos (incluyendo GLiGuard, Gliner-Guard-Omni, WildGuard, Nemotron Safety Guard, PolyGuard y Qwen3Guard) en 12 conjuntos de datos de seguridad binaria y 17 tareas de categorización.

• Precisión:

  • Seguridad Binaria: Opir-multitask-large logró la segunda media más alta de F1 macro por fila (0.8045) entre 11 sistemas, quedando por detrás solo del Nemotron Safety Guard v3 de 8B parámetros (0.8061) y superando a otros modelos basados en decodificadores en promedio. Ganó en dos conjuntos de datos individuales (seguridad de prompts de WildGuard y seguridad de comportamientos JBB-Behaviors).
  • Rendimiento en Borde: Opir-edge-multilang (<100M parámetros) ganó en seguridad de prompts de Aegis (0.9321) y seguridad de respuestas de WildGuard (0.9194).
  • Categorización: Opir-multitask-large logró la precisión promedio más alta (0.5432) en 17 conjuntos de datos de categorización, ganando 11 de 17 filas. Mostró márgenes sustanciales sobre las líneas base en categorías de Aegis, prompts de HarmBench y subcategorías de WildGuard.
  • Limitaciones: Los modelos tuvieron dificultades con la familia OR-Bench (sondeos de sobre-rechazo), donde GLiGuard-300M superó a Opir. Los autores atribuyen esto a un problema de calibración donde la taxonomía de Opir mapea estos prompts a categorías benignas más amplias, lo que lleva a tasas de abstención más altas.

• Latencia y Rendimiento:

  • A 1024 tokens, Opir-multitask-large alcanzó 50.51 muestras/s con una latencia p50 de 25.65 ms.
  • Las variantes de borde demostraron una eficiencia superior: Opir-edge alcanzó 499.49 muestras/s con una latencia p50 de 9.25 ms.
  • En comparación con la línea base más fuerte basada en decodificadores (Nemotron Safety Guard v3 con 97.63 ms p50), las variantes de Opir operan 10–33 veces más rápido, ofreciendo una precisión de seguridad comparable a una fracción del costo de inferencia.

Significado y Afirmaciones

El artículo posiciona a Opir como una solución a los cuellos de botella de latencia y costo de las barreras de seguridad actuales de LLM. Al aprovechar una arquitectura basada en codificadores, Opir logra reducciones de latencia de orden de magnitud en comparación con modelos decodificadores de 7B–22B, manteniendo una precisión competitiva. Los autores afirman que las variantes de Opir son "competitivas o están por delante de las líneas base de peso abierto más fuertes en la mayoría de los conjuntos de datos de referencia, operando con una huella de despliegue sustancialmente menor".

La inclusión de categorías sensibles benignas se destaca como una mitigación específica contra el sobre-rechazo, un modo de fallo conocido en filtros de seguridad estrictos. Los autores enfatizan que Opir está diseñado para moderación en tiempo real, enrutamiento de seguridad y análisis fuera de línea, pero declaran explícitamente que no debe usarse como la única base para decisiones de alto impacto (legales, laborales, etc.) ni como sustituto de la revisión humana y el diseño de políticas. El trabajo demuestra que los modelos eficientes basados en codificadores pueden manejar efectivamente la clasificación de seguridad compleja y multitarea sin la sobrecarga computacional de las barreras de seguridad generativas.