Resumen Técnico: ¿Son suficientes los codificadores (Encoders)? Una comparación sistemática de jueces de seguridad basados en codificadores y decodificadores para la evaluación adversaria de LLM

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más en aplicaciones críticas orientadas al cliente (p. ej., banca, servicios de aerolíneas), la necesidad de salvaguardas de seguridad eficaces, de baja latencia y rentables se ha vuelto primordial. Los paradigmas actuales de evaluación de seguridad dependen en gran medida de jueces de seguridad basados en decodificadores, incluyendo modelos autorregresivos grandes utilizados como prompts de "LLM-como-juez" y clasificadores de decodificadores ajustados (fine-tuned) como LlamaGuard. Aunque son efectivos, estos enfoques sufren de altos costos de inferencia, latencia significativa y una posible degradación del rendimiento bajo cambios de distribución o patrones de ataque novedosos. Además, los decodificadores procesan la entrada secuencialmente (de izquierda a derecha), lo que puede limitar su capacidad para capturar la intención dañosa a través de un contexto completo en comparación con las arquitecturas bidireccionales.

Este artículo investiga si los clasificadores de codificadores modernos ajustados (específicamente de la familia ModernBERT, como Ettin) pueden servir como una alternativa confiable y rentable a los jueces basados en decodificadores para identificar salidas dañinas de LLM en escenarios adversarios.

Metodología

Construcción y Partición del Conjunto de Datos

El estudio utilizó un corpus de entrenamiento que agrega 14 conjuntos de datos de origen, comprendiendo 9,968 prompts de origen y 56 de 563,216 pares (prompt, respuesta). Las fuentes incluyeron benchmarks estandarizados (HarmBench, SafetyBench), interacciones del mundo real (ToxicChat, WildJailbreak) y datos sintéticos de dominios específicos (médico, financiero).

• Prevención de Fugas (Leakage): Para evitar la fuga de datos donde la respuesta de un modelo a una pregunta específica en el entrenamiento pudiera influir en su desempeño sobre la misma pregunta en las pruebas, los autores emplearon una estrategia de partición por grupos de preguntas. Todas las filas que compartían el mismo texto de pregunta fueron asignadas al mismo grupo (entrenamiento o prueba), independientemente del modelo objetivo o la técnica de ataque utilizada.
• Conjunto de Retención (Holdout Set): Se construyó un conjunto de retención estrictamente fuera de la distribución (OOD) de 42,899 ejemplos a partir de JailbreakBench y AILuminate, evaluado a través de cuatro modelos frontera (Claude Sonnet 4.5, Gemini 3.1 Pro, GPT-5.4, GPT-OSS 120B) y cuatro técnicas de ataque.

Panel de Jueces de Seguridad y Agregación de Etiquetas

Para generar las etiquetas de entrenamiento, los autores ensamblaron un panel de siete jueces de seguridad a través de tres categorías:

1. Clasificadores de pesos abiertos: LlamaGuard 3 y 4.
2. LLMs propietarios: Claude Judge, SorryBench, JailbreakBench Judge, AILuminate Judge.
3. Puntuador basado en rúbrica: StrongReject.

Se utilizó una estrategia de votación por mayoría para agregar etiquetas binarias (dañino vs. seguro). Para abordar el bajo acuerdo entre jueces (Fleiss' $\kappa \approx 0.23$ en el conjunto de datos completo), se aplicó una estrategia de Filtrado de Alta Confianza, reteniendo solo filas unánimemente seguras y filas con mayoría fuerte de daño ($\ge$ 5 de 7 votos). Esto redujo el conjunto de datos a 307K filas pero aumentó el acuerdo a $\kappa \approx 0.805$.

Técnicas de Ataque

La evaluación cubrió cuatro técnicas de prompting adversario:

1. Turno único (Single-turn): Prompts adversarios directos.
2. Descomposición (Decomposition): Fragmentar una solicitud dañina en sub-consultas benignas.
3. Escalada (Escalation): Aumentar incrementalmente la sensibilidad de la solicitud a lo largo de una conversación.
4. Manipulación de Contexto (Context Manipulation): Incrustar solicitudes dañinas dentro de marcos benignos (p. ej., narrativas académicas o ficticias).

Modelos Evaluados

• Clasificadores de Codificadores (Encoders): Modelos de la familia ModernBERT (Ettin-150M y Ettin-400M), ajustados sobre las etiquetas agregadas de los jueces.
• Baselines: LlamaGuard 3/4, Claude-as-a-judge, StrongReject, SorryBench, JailbreakBench y AILuminate.
• Modelos Objetivo: 16 LLMs de seis proveedores (OpenAI, Anthropic, Meta, Mistral, Google, Amazon) que abarcan cohortes antiguas y modernas.

Contribuciones Clave

1. Comparación Sistemática: El primer benchmark a gran escala que compara clasificadores de codificadores modernos contra sistemas de juez basados en LLM y modelos de seguridad de decodificador ajustados utilizando etiquetas de control (holdout) de verdad fundamental.
2. Análisis de Costo-Latencia-Desempeño: Una cuantificación a nivel de producción de las compensaciones, demostrando que los codificadores ofrecen ganancias significativas de eficiencia sobre las alternativas basadas en decodificadores.
3. Desglose de Ataques Detallado: Un análisis del rendimiento del clasificador a través de técnicas de ataque específicas (turno único, descomposición, escalada, manipulación de contexto) para identificar puntos de alineación y divergencia entre los jueces de codificadores y decodificadores.

Resultados

Desempeño en el Holdout OOD

• Ventajas del Codificador: Los clasificadores de codificadores demostraron una calibración más estable que los jueces de decodificadores. LlamaGuard-4 subestimó el daño (FNR = 0.658), mientras que jueces como Claude y StrongReject sobreestimaron (tasas de daño >25%).
• Modelos Ettin:
  • Ettin-150M: Logró un perfil equilibrado (F1 = 0.547, FNR = 0.422).
  • Ettin-400M: Operó como un detector de alta recuperación (Recall = 0.854, FNR = 0.146) con una tasa de falsos positivos más alta.
• Impacto del Ruido de Etiquetas: En un subconjunto de alta confianza del holdout (donde los jueces estuvieron fuertemente de acuerdo), Ettin-400M alcanzó un F1 de 0.894, lo que sugiere que el ruido de anotación, más que la arquitectura del modelo, es el principal factor limitante para el rendimiento del codificador.

Modos de Fallo

• Ataques de Multi-turno: Los codificadores tuvieron mayores dificultades con los ataques de descomposición, donde la intención dañina se distribuye a través de pasos intermedios. Dado que los codificadores típicamente evalúan el par (pregunta, respuesta) final sin acceso explícito a la ruta de razonamiento de los turnos intermedios, perdieron patrones de daño distribuido.
• Escalamiento de Modelo: Aumentar el tamaño del modelo de 150M a 400M de parámetros mitigó significativamente este problema, reduciendo la tasa de falsos negativos para ataques de descomposición del 50.6% al 11.6%.

Costo y Latencia

• Throughput: En una instancia de Azure ML (8x V100 GPUs), Ettin-150 logró 244.8 completaciones por segundo (CPS) con un tamaño de lote de 8, comparado con 1.31 CPS para LlamaGuard-4-12B (una mejora de 187x).
• Latencia: La latencia mediana cayó de ~718 ms (LlamaGuard) a 3.6 ms (Ettin-150).
• Eficiencia de Costo: Ettin-150 logró 11.1 CPS por dólar por hora, comparado con 0.06 para LlamaGuard-4-12B. Los codificadores también podrían ejecutarse en instancias de CPU de bajo costo, reduciendo aún más los costos de despliegue.

Significado y Reivindicaciones

El artículo concluye que los clasificadores de codificadores ajustados pueden servir como una alternativa eficiente en costo y latencia a la evaluación basada en LLM, particularmente como un primer filtro para la clasificación de seguridad. Si bien pueden no reemplazar completamente a los jueces basados en decodificadores para jailbreaks complejos de multi-turno que requieren un razonamiento profundo sobre el historial de la conversación, ofrecen una solución práctica para el filtrado de seguridad de alto volumen y tiempo real.

Los autores afirman modestamente que sus hallazgos ofrecen orientación sobre cuándo los codificadores son suficientes, señalando que el bajo acuerdo entre jueces en los datos de entrenamiento ($\kappa \approx 0.23$) probablemente limitó el verdadero techo de rendimiento de los clasificadores. Se sugiere como trabajo futuro probar en conjuntos de datos curados por humanos para validar aún más el desempeño. El estudio no afirma que los codificadores sean universalmente superiores, sino que destaca su viabilidad para restricciones de producción específicas donde la latencia y el costo son críticos.