Resumen Técnico: LatentGuard

Planteamiento del Problema

Las barreras de seguridad para Modelos de Lenguaje de Gran Escala (LLM) son críticas para los sistemas desplegados, pero enfrentan un compromiso fundamental entre eficiencia, calidad de moderación e inspectabilidad.

• Los guardas basados en clasificación son eficientes, pero a menudo proporcionan señales limitadas para inspeccionar decisiones individuales y pueden carecer de la sutileza de los enfoques basados en el razonamiento.
• Los guardas basados en razonamiento (por ejemplo, GuardReasoner) mejoran la calidad de la moderación y la explicabilidad al generar una cadena de pensamiento (CoT) explícita antes de emitir un veredicto. Sin embargo, este diseño obliga a cada llamada de moderación a generar cientos de tokens, lo que introduce una latencia y una sobrecarga computacional significativas, lo cual es prohibitivo para un despliegue de alto rendimiento en tiempo real.

Los métodos de razonamiento latente existentes, que comprimen el razonamiento en estados ocultos continuos, se han centrado principalmente en tareas matemáticas o lógicas donde el objetivo es la corrección de la respuesta. Siguen estando poco explorados para la moderación de seguridad, donde las decisiones dependen de políticas, suelen ser ambiguas y requieren una interfaz para la inspección post-hoc.

Metodología

El artículo propone LatentGuard, un marco que desacopla la predicción de seguridad rutinaria de la generación de la justificación mediante la introducción de razonamiento latente continuo en los modelos de guardia. La arquitectura consta de tres componentes principales: un modelo de guardia ($G_\theta$), un proyector latente ($P_\phi$) y un decodificador de auditoría auxiliar aislado ($D_\psi$).

1. Currículo de Razonamiento Latente Escalonado

Para la transición del razonamiento textual explícito a los estados latentes continuos, LatentGuard emplea un currículo escalonado inspirado en COCONUT. El proceso de entrenamiento comprime progresivamente las justificaciones textuales alineadas con la tarea en tokens latentes:

• Descomposición de Tareas: La tarea de seguridad se descompone en tres subtareas acopladas: la peligrosidad de la solicitud ($c_1$), la detección de rechazo ($c_2$) y la peligrosidad de la respuesta ($c_3$).
• Compresión Progresiva: En el Estadio $s$ (donde $s \in \{1, 2, 3\}$), los primeros $s$ componentes de razonamiento se reemplazan por secuencias de tokens latentes ($H_t$), mientras que los componentes restantes permanecen como texto explícito.
• Objetivo de Entrenamiento: El modelo de guardia se entrena para predecir el veredicto de seguridad estructurado ($v$) basado en la entrada mixta de estados latentes y tokens de texto restantes. La pérdida se calcula únicamente sobre los tokens de supervisión discretos (texto restante, token de fin de razonamiento y veredicto), excluyendo las posiciones latentes.

2. Inferencia Latente Adaptativa

Durante la inferencia estándar, el modelo de guardia no genera justificaciones explícitas. En su lugar, realiza un razonamiento latente adaptativo:

• El modelo genera una secuencia de estados latentes $(g_1, \dots, g_k)$ utilizando un mecanismo de retroalimentación donde el estado oculto anterior informa al siguiente.
• El proceso se detiene de forma adaptativa cuando la probabilidad de un token de fin de razonamiento supera un umbral ($\tau$) o se alcanza un presupuesto máximo ($K_{max}$).
• Posteriormente, el modelo emite directamente el veredicto de seguridad estructurado. Esto reduce el costo de razonamiento de la ruta crítica de cientos de tokens a unos pocos pasos latentes.

3. Decodificador de Auditoría Aislado Bajo Demanda

Para preservar la inspectabilidad sin comprometer la eficiencia de la inferencia, LatentGuard introduce un decodificador auxiliar aislado que no forma parte de la ruta de inferencia estándar.

• Activación Bajo Demanda: El decodificador se invoca solo cuando se solicita explícitamente una auditoría.
• Condicionamiento de Entrada: Toma los estados latentes proyectados del guardia (mediante un proyector de gradiente detenido) y el texto de la interacción de origen (específico de la tarea) como entrada.
• Salida: Genera artefactos de auditoría compactos y legibles por humanos (justificaciones) bajo demanda.
• Desacoplamiento: Debido a que el decodificador se entrena con una operación de gradiente detenido sobre los latentes del guardia, no altera la dinámica interna de razonamiento del guardia, asegurando que se preserven los beneficios de eficiencia del razonamiento latente.

Contribuciones Clave

1. Formulación de la Compresión de Justificación Latente: El artículo formula la moderación de seguridad basada en el razonamiento como una compresión de justificación latente alineada con la tarea, introduciendo un currículo escalonado para entrenar a los modelos de guardia para internalizar el razonamiento en estados continuos.
2. Marco Desacoplado: Propone un marco de salvaguarda que separa la predicción de seguridad rutinaria de la generación de la justificación. La inferencia rutinaria utiliza razonamiento latente eficiente, mientras que un decodificador aislado proporciona inspectabilidad solo cuando es necesario.
3. Evaluación Exhaustiva: Los autores evalúan el marco a través de la precisión de la moderación, el costo de razonamiento, la latencia y la utilidad de la auditoría, demostrando un intercambio favorable entre eficiencia y efectividad.

Resultados Experimentales

La evaluación se llevó a cabo en la suite de benchmarks GuardReasoner (incluyendo ToxicChat, HarmBench, OpenAI Moderation, etc.) utilizando modelos que van desde 1B hasta 8B de parámetros.

• Efectividad de la Moderación: LatentGuard-8B mejoró la puntuación F1 ponderada media de 83.95 (GuardReasoner-8B) a 84.91, demostrando que reemplazar las justificaciones explícitas con razonamiento latente no sacrifica el rendimiento.
• Eficiencia: LatentGuard redujo drásticamente los costos de la ruta crítica. Para el modelo de 8B, el presupuesto promedio de razonamiento cayó de 268.56 tokens de CoT explícitos a 1.60 tokens de razonamiento latente. La latencia de inferencia disminuyó de 0.7Vec 792s a 0.089s (una reducción de 8.9×).
• Utilidad de la Auditoría: El decodificador de auditoría opcional logró una Puntuación de Utilidad de Auditoría (AUS) de 85.75 para el modelo de 8B. Los estudios de ablación mostraron que tanto el condicionamiento del texto de origen como los estados latentes proyectados son esenciales para generar artefactos de auditoría útiles.
• Parada Adaptativa: Los experimentos confirmaron que la parada latente adaptativa permite al modelo utilizar menos pasos para ejemplos fáciles y más para los difíciles, evitando la necesidad de un presupuesto fijo que podría ser potencialmente un desperdicio.

Significado y Reivindicaciones

El artículo afirma que LatentGuard proporciona un camino práctico hacia salvaguardas de LLM eficientes e inspectables. Al trasladar el razonamiento a estados latentes continuos, resuelve el cuello de botella de latencia asociado con la generación de CoT explícita en la moderación de seguridad. Simultáneamente, al retener un decodificador de auditoría aislado, asegura que el sistema siga siendo inspectable para registros, revisión y auditoría sin forzar la generación de justificaciones en cada interacción.

Los autores posicionan este trabajo como un paso hacia sistemas de seguridad escalables donde la moderación de alta frecuencia es rápida y ligera, mientras que la capacidad de inspección profunda y legible por humanos permanece disponible para revisiones muestreadas o casos de alta prioridad. El artículo reconoce limitaciones, señalando que la decodificación de auditoría aún incurre en computación cuando se solicita y que las evaluaciones actuales son solo de texto, dejando las extensiones multimodales para trabajos futuros.