Resumen Técnico: GLiGuard: Clasificación Condicionada por Esquema para la Protección de LLM

Declaración del Problema

El despliegue generalizado de Modelos de Lenguaje Grande (LLM) hace necesaria la implementación de sistemas de moderación de contenido robustos y en tiempo real para prevenir la generación de contenido dañino, ilegal o engañoso. Los modelos de protección (guardrails) más avanzados actuales (por ejemplo, LlamaGuard, ShieldGemma, WildGuard) dependen predominantemente de arquitecturas de decodificador autoregresivo (de 7B a 27B parámetros). Estos modelos reformulan la clasificación de seguridad como una tarea de generación de texto secuencial. Esta elección de diseño introduce ineficiencias fundamentales:

1. Alta Latencia: La generación de salidas de clasificación token por token escala con la longitud de la salida.
2. Mala Paralelización: Tienen dificultades para evaluar múltiples dimensiones de seguridad simultáneamente.
3. Intensidad de Recursos: Emplean miles de millones de parámetros para una tarea que es fundamentalmente clasificación, no generación.

El artículo postula que reformular la moderación de seguridad como un problema de clasificación condicionado por esquema utilizando un codificador bidireccional compacto puede lograr una precisión competitiva con costos de inferencia significativamente reducidos.

Metodología

GLiGuard es un codificador bidireccional condicionado por esquema de 0.3B de parámetros, adaptado de la arquitectura GLiNER2 (Zaratiana et al., 2025). A diferencia de los guardias autoregresivos que tratan la seguridad como una generación de seguimiento de instrucciones, GLiGuard la trata como una tarea de clasificación multi-aspecto donde las definiciones de la tarea y la semántica de las etiquetas se codifican directamente en la secuencia de entrada.

1. Arquitectura Condicionada por Esquema

La innovación central es la representación de entrada condicionada por esquema. En lugar de codificar cabezales de salida de forma rígida, el modelo recibe una secuencia de tokens linealizada en tiempo de inferencia que comprende:

• Prefijo del Esquema: Una secuencia estructurada de definiciones de tarea ($\tau_k$) y sus etiquetas candidatas ($Y_k$).
• Texto de Entrada: El prompt del usuario o la respuesta del modelo que debe ser moderada.
• Tokens Especiales: [P] (delimitador de tarea), [L] (prefijo de etiqueta) y [SEP] (separador de esquema/texto).

La secuencia de entrada se construye como:
$$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$$
Donde cada bloque de tarea $T(\tau_k, Y_k)$ se serializa como [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ...

2. Codificación Bidireccional y Extracción de Etiquetas

La secuencia de tokens es procesada por un codificador transformador bidireccional preentrenado (por ejemplo, DeBERTa, ModernBERT). Las características clave incluyen:

• Atención Total Múltiple: El codificador atiende bidireccionalmente tanto a los tokens del esquema como al texto de entrada. Esto permite que el modelo construya simultáneamente "representaciones de texto conscientes de la etiqueta" y "representaciones de etiquetas conscientes del texto".
• Embeddings de Etiquetas Contextualizados: Se extraen los estados ocultos en las posiciones de los tokens [L]. Estos embeddings están informados por todo el texto de entrada y todas las demás etiquetas en el esquema, proporcionando un contexto rico para la clasificación.
• Cabezal de Clasificación Compartido: Un clasificador MLP ligero de dos capas compartido se aplica independientemente a cada embedding de etiqueta para producir logits.
  • Las tareas de etiqueta única (por ejemplo, Seguridad, Negativa) utilizan Softmax.
  • Las tareas de múltiples etiquetas (por ejemplo, Categorías de Daño, Estrategias de Jailbreak) utilizan Sigmoid.

3. Moderación Unificada Multi-Tarea

GLiGuard soporta cuatro tareas de moderación distintas, que pueden componerse en un único esquema para una única pasada hacia adelante no autoregresiva:

1. Clasificación de Seguridad: Clasificación binaria (Seguro/Inseguro) para prompts y respuestas.
2. Detección de Negativa: Clasificación binaria (Cumplimiento/Negativa) para respuestas.
3. Clasificación de Categoría de Daño: Clasificación de múltiples etiquetas en 14 categorías de daño granulares (por ejemplo, Violencia, PII, Odio).
4. Detección de Estrategias de Jailbreak: Clasificación de múltiples etiquetas en 11 estrategias de ataque adversarial (por ejemplo, Inyección de Prompt, Bypass de Roleplay).

4. Pipeline de Inferencia y Reglas de Decisión

El pipeline de inferencia implica la serialización del esquema, una única pasada del codificador y decodificación paralela. El veredicto final de seguridad se determina mediante reglas de decisión estrictas que componen las predicciones de tareas auxiliares:

• Seguridad del Prompt: Si el clasificador de Seguridad predice Inseguro O si se detecta alguna Categoría de Daño o Estrategia de Jailbreak (distinta de BENIGNO), el veredicto es INSEGURO.
• Seguridad de la Respuesta: Si el clasificador de Seguridad predice Inseguro, el veredicto es INSEGURO. Sin embargo, si se detecta una Negativa, el veredicto se anula a SEGURO (para evitar penalizaciones por negativa excesiva).

Contribuciones Clave

1. Arquitectura Condicionada por Esquema: Adaptación de GLiNER2 a la moderación, permitiendo que los bloques de tarea y etiqueta se compongan dinámicamente en tiempo de inferencia sin reentrenamiento ni rediseño de prompts.
2. Marco Unificado Multi-Tarea: Una única pasada hacia adelante que evalúa simultáneamente la seguridad del prompt/respuesta, 14 categorías de daño y 11 estrategias de jailbreak.
3. Precisión Competitiva a Escala Reducida: Demostración de que un codificador de 0.3B puede mantenerse competitivo con guardias basados en decodificadores de 7B–27B.
4. Eficiencia de Inferencia: Logro de latencia drásticamente menor y mayor rendimiento debido a la naturaleza no autoregresiva del modelo.

Resultados Experimentales

Los autores evaluaron GLiGuard en nueve benchmarks de seguridad establecidos (por ejemplo, OpenAI Moderation, Aegis 2.0, HarmBench, WildGuardTest) frente a seis modelos de protección autoregresivos más avanzados (que van de 7B a 27B parámetros).

• Precisión:
  • Dañinidad del Prompt: GLiGuard logró un F1 promedio de 87.7, dentro de 1.7 puntos del mejor baseline (PolyGuard-Qwen-7B con 89.4) y superando a varios modelos más grandes como LlamaGuard4-12B (82.5) y ShieldGemma-27B (69.6).
  • Dañinidad de la Respuesta: GLiGuard logró un F1 promedio de 82.7, el segundo mejor entre los modelos comparados, quedando por detrás solo de Qwen3Guard-8B-Gen (84.1) y superando a WildGuard-7B (82.4).
• Eficiencia:
  • Rendimiento: GLiGuard entregó hasta 16.2× mayor rendimiento (133 muestras/s frente a 8.2 muestras/s para un modelo de 8B con tamaño de lote 4).
  • Latencia: GLiGuard logró hasta 17× menor latencia (26 ms frente a 426 ms para un modelo de 8B con longitud de secuencia 64).
• Eficiencia de Pareto: El modelo ocupa una región competitiva de Pareto, ofreciendo puntuaciones F1 comparables a modelos mucho más grandes con 23–90× menos parámetros.

Significado y Afirmaciones

El artículo afirma que los codificadores bidireccionales compactos pueden acercarse a la precisión de modelos de protección mucho más grandes mientras reducen drásticamente los costos de inferencia. Los autores argumentan que, para la moderación de contenido, la calidad de los datos, la estrategia de entrenamiento y la especialización del modelo son más críticos que la escala por sí sola, como lo demuestra el bajo rendimiento de modelos más grandes (por ejemplo, ShieldGemma-27B) frente a alternativas más pequeñas y especializadas.

GLiGuard se presenta como una solución para entornos con restricciones de latencia y memoria, permitiendo la custodia en tiempo real sin los cuellos de botella asociados a la generación autoregresiva. El trabajo sugiere que reformular la seguridad como un problema de clasificación condicionado por esquema es una alternativa viable y eficiente al paradigma actual de usar modelos generativos grandes para los guardrails.

Nota: El artículo reconoce limitaciones, incluida la sensibilidad a palabras clave superficiales en contextos benignos (falsos positivos) y desafíos con jailbreaks adversariales incrustados en narrativas ficticias elaboradas (falsos negativos). Se sugiere trabajo futuro para abordar estos problemas específicos de robustez.