DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail

Resumen Técnico: DT-Guard

Planteamiento del Problema

Los modelos de lenguaje extensos (LLMs) desplegados en aplicaciones de mundo abierto requieren barreras de seguridad que equilibren la robustez contra riesgos complejos con la eficiencia necesaria para la moderación de baja latencia en tiempo de ejecución. Las soluciones existentes enfrentan un compromiso práctico:

• Las barreras basadas en clasificación son eficientes pero suelen fallar ante intenciones ocultas, semánticas ambiguas y decisiones de seguridad limítrofes, porque comprimen juicios complejos en predicciones de etiquetas planas.
• Las barreras basadas en razonamiento mejoran la calidad del juicio mediante la generación de trazas explícitas de cadena de pensamiento (CoT), pero introducen una sobrecarga significativa de generación de tokens y latencia de inferencia, lo que las hace inadecuadas para sistemas industriales de alto rendimiento.

Existe la necesidad de un paradigma que aproveche la mejora de calidad del razonamiento durante la supervisión en el entrenamiento, manteniendo la eficiencia de la inferencia sin razonamiento durante el despliegue.

Metodología

Los autores proponen DT-Guard, un modelo de barrera de seguridad de contenido basado en un paradigma de Entrenamiento con Razonamiento Activo, Inferencia sin Razonamiento. La idea central es utilizar trayectorias de razonamiento como señales de supervisión durante el entrenamiento, pero emitir únicamente etiquetas de seguridad estructuradas durante la inferencia.

1. Marco de Seguridad Impulsado por la Intención

DT-Guard formula el juicio de seguridad como un proceso de decisión progresivo: Intención → Categoría → Seguridad.

• Intención: Identifica la motivación subyacente de la interacción (p. ej., consulta benigna vs. ataque adversarial).
• Categoría: Atribuye tipos de riesgo relevantes.
• Seguridad: Predice el nivel de seguridad final (Seguro, Inseguro o Limítrofe).
  Esta estructura proporciona una supervisión intermedia más clara para casos difíciles donde las señales superficiales no son fiables.

2. Construcción de Datos

Los autores construyeron un corpus de seguridad impulsado por la intención de 811,897 muestras que cubren riesgos tanto del lado del prompt (entrada) como del lado de la respuesta (salida).

• Fuentes: Agregados de seis dominios de seguridad (red-teaming, jailbreaks, alineación, toxicidad, sesgo, etc.).
• Procesamiento: Un pipeline de dos etapas que involucra destilación basada en LLM (usando GLM-5.1) y votación de múltiples rondas con verificación de expertos.
• Anotación: Las muestras se enriquecen con CoT, etiquetas de intención, categorías de riesgo y etiquetas de seguridad. Los casos limítrofes se identifican explícitamente para manejar la ambigüedad.
• Equilibrio: El conjunto de datos está equilibrado entre niveles de seguridad (Seguro:Inseguro:Limítrofe ≈ 5.5:4:0.5) y categorías de riesgo para asegurar la cobertura de riesgos frecuentes y de cola larga.

3. Optimización Progresiva de Casos Difíciles Guiada por Rollout (RG-PHO)

Para internalizar el razonamiento sin forzarlo en la inferencia, DT-Guard emplea un pipeline de entrenamiento de tres etapas:

• Etapa 1: SFT de Modo Mixto Guiado por la Intención. El modelo aprende la estructura Intención → Categoría → Seguridad utilizando una mezcla de salidas de CoT (para casos limítrofes/finos) y etiquetas estructuradas compactas (para casos claros). Esto inyecta supervisión de razonamiento sin crear un desajuste de formato entre entrenamiento y prueba.
• Etapa 2: SFT de Casos Difíciles Impulsado por Fallos. Utilizando consistencia de múltiples rollouts, el sistema identifica muestras de "fallo persistente" (donde el modelo falla en predecir correctamente en todos los rollouts). Estas muestras se someten a una corrección supervisada dirigida con CoT para reparar fallos sistemáticos.
• Etapa 3: DPO de Casos Difíciles Contrastivos de Rollout. Las muestras identificadas como "inestables de preferencia" (donde el modelo produce tanto rollouts correctos como incorrectos) se utilizan para construir pares elegidos-rechazados. Se aplica la Optimización de Preferencia Directa (DPO) para calibrar el comportamiento de selección del modelo, reforzando las rutas de razonamiento correctas y las decisiones de seguridad.

4. Inferencia sin Razonamiento

En el despliegue, DT-Guard genera solo etiquetas estructuradas (Intención, Categoría, Seguridad) sin emitir trazas de razonamiento explícitas. La capacidad de razonamiento se internaliza durante el entrenamiento, permitiendo una discriminación de baja latencia.

Contribuciones Clave

1. Modelo DT-Guard: Una barrera de seguridad que internaliza el razonamiento de seguridad complejo durante el entrenamiento mientras mantiene la inferencia sin razonamiento, desacoplando efectivamente la calidad del razonamiento de la latencia de inferencia.
2. Marco e Dataset Impulsados por la Intención: Una ruta de decisión estructurada (Intención → Categoría → Seguridad) y un conjunto de datos curado de ~812k muestras con anotaciones de intención, categoría y CoT.
3. Estrategia RG-PHO: Un método de optimización progresiva que estratifica los casos difíciles según la consistencia del rollout y aplica SFT de Casos Difíciles dirigido (para fallos persistentes) y DPO de Casos Difíciles (para inestabilidad de preferencia).
4. Equilibrio Eficiencia-Desempeño: Demuestra un camino de entrenamiento que equilibra la capacidad de razonamiento con la eficiencia de despliegue, logrando un alto desempeño con una huella de modelo menor.

Resultados Experimentales

Los experimentos se realizaron en 10 benchmarks de seguridad del lado del prompt y 7 del lado de la respuesta utilizando un backbone de 4B parámetros (Qwen3-4B).

• Desempeño del Lado del Prompt: DT-Guard logró un F1 score promedio de 0.886, superando al baseline de 8B Qwen3Guard-8B-Gen (0.852) y a YuFeng-XGuard-Reason-8B (0.849) por 3.4 puntos.
• Desempeño del Lado de la Respuesta: DT-Guard logró un F1 score promedio de 0.870, superando a Qwen3Guard-8B-Gen (0.863) y a YuFeng-XGuard-Reason-8B (0.841).
• Desempeño General: Con solo un backbone de 4B, DT-Guard alcanzó un F1 promedio de ambos lados de 0.878, superando a fuertes baselines de 8B.

Perspectivas de Ablación:

• Supervisión de Intención: Añadir etiquetas de intención mejoró el F1 del lado del prompt en 0.8 puntos.
• Asignación de CoT: El entrenamiento con CoT completo degradó el desempeño bajo inferencia sin razonamiento (el F1 cayó a 0.828). El entrenamiento de CoT selectivo (enfocado en muestras Limítrofes) produjo los mejores resultados (0.860).
• Etapas de RG-PHO: El SFT de Casos Difíciles proporcionó una ganancia de +1.3 en F1, mientras que el DPO de Casos Difíciles proporcionó la mayor ganancia de una sola etapa de +2.7 en F1.

Significancia

El artículo afirma que DT-Guard valida la hipótesis de que la supervisión de razonamiento puede internalizarse efectivamente durante el entrenamiento y convertirse en una discriminación de seguridad eficiente durante la inferencia. Al separar el proceso de razonamiento (utilizado para la supervisión) del formato de salida (etiquetas estructuradas), el modelo logra la robustez de las guardias mejoradas por razonamiento sin las penalizaciones de latencia de generar trazas de razonamiento. Este enfoque permite que un modelo de 4B supere a baselines de 8B más grandes, ofreciendo una solución escalable para la moderación de seguridad de baja latencia en aplicaciones del mundo real.