Resumen Técnico: Rejillas de Políticas Latentes (LPG)

1. Declaración del Problema

Los sistemas modernos de seguridad de IA dependen de "rejillas" (guardrails) para filtrar prompts y respuestas. Si bien las rejillas tradicionales son rápidas, están entrenadas sobre taxonomías de seguridad fijas y no pueden adaptarse a políticas dinámicas especificadas por el usuario (por ejemplo, reglas corporativas específicas o restricciones regulatorias) sin reentrenamiento. Por el contrario, las rejillas "conscientes de políticas" que aceptan políticas en lenguaje natural en el momento de la inferencia enfrentan una compensación crítica:

• Modelos sin razonamiento (por ejemplo, DynaGuard) son rápidos pero frágiles; a menudo dependen de artefactos posicionales o priores de contenido en lugar de fundamentar realmente sus veredictos en cláusulas de políticas específicas.
• Modelos con razonamiento (por ejemplo, GuardReasoner, ThinkGuard) logran una alta precisión generando cadenas explícitas de pensamiento (CoT) para analizar políticas, pero esto incurre en una latencia prohibitiva (a menudo 10 veces más lenta), lo que los hace inadecuados para la moderación en tiempo real.

El desafío central es construir una rejilla que razone fielmente sobre políticas dinámicas y heterogéneas para producir veredictos anclados a cláusulas, manteniendo al mismo tiempo la baja latencia requerida para el despliegue en producción.

2. Metodología: Rejilla de Políticas Latente (LPG)

LPG aborda esta tensión comprimiendo el proceso de deliberación en un espacio latente continuo en lugar de generar racionales textuales verbosos. El marco opera bajo el principio de que los pasos de razonamiento deben comprometerse con semánticas de políticas específicas en lugar de priores de seguridad difusos.

2.1 Plantilla de Evaluación Estructurada

En lugar de un razonamiento de forma libre, LPG impone un rastro de evaluación fijo de tres etapas:

1. Análisis de Intención: Examina el historial de conversaciones para descubrir intenciones maliciosas ocultas (por ejemplo, jailbreaks mediante juego de roles).
2. Análisis de Política: Identifica selectivamente cláusulas de políticas relevantes de un conjunto grande, fomentando la coincidencia semántica sobre la enumeración posicional.
3. Formulación del Veredicto: Produce un veredicto compacto y analizable por máquina anclado a índices de políticas violadas específicos ($P^*$).

2.2 Razonamiento Latente mediante Compresión de Pensamiento Continuo

Las etapas 1 y 2 (Análisis de Intención y Análisis de Política) se comprimen en tokens latentes continuos, mientras que la Etapa 3 (Veredicto) permanece como texto explícito para preservar la interpretabilidad.

• Reemplazo de Token Latente: La generación explícita de tokens para las dos primeras etapas se reemplaza por una secuencia de incrustaciones latentes ($e_{t+1} = \text{Proj}(h^{(L)}_t)$) que proceden en el espacio latente sin materializarse en tokens discretos.
• Espacios Latentes Alineados por Etapa: A diferencia de trabajos anteriores que utilizan un único búfer indiferenciado, LPG asigna presupuestos latentes separados para las etapas de intención y política, permitiendo que estas subtareas residan en subespacios separables.

2.3 Estrategia de Supervisión

Una innovación clave es la señal de supervisión, que difiere del razonamiento latente estilo matemático (donde la reconstrucción de tokens es suficiente). Dado que las decisiones de seguridad dependen de políticas de usuario heterogéneas e intenciones latentes, LPG emplea una pérdida multiobjetivo:

1. Pérdida de Salida del Veredicto ($L_{out}$): Entropía cruzada estándar sobre la cadena final compacta del veredicto.
2. Destilación de Estados Ocultos del Profesor ($L_{distill}$):
   • Destilación de Posición de Respuesta: Alinea los estados ocultos del estudiante y del profesor en el token de inicio del veredicto para transferir el estado computacional que produce la decisión.
   • Destilación de Límite de Etapa: Alinea el latente final de cada etapa con el estado oculto del profesor en el token de límite correspondiente.
3. Supervisión de Contenido Semántico ($L_{explain}$): En lugar de reconstruir tokens del profesor, el modelo reconstruye un resumen compacto del profesor (esencia de la intención o racional de violación de política) enrutado a través del LM base. Esto asegura que los latentes permanezcan como representaciones semánticamente significativas del contenido de la política, y no como búferes de cálculo opacos.
4. Pérdida de Razonamiento de Referencia ($L_{ref}$): Un regularizador que utiliza la secuencia completa de razonamiento explícito del profesor para prevenir el olvido catastrófico de las capacidades de razonamiento.

2.4 Corpus de Entrenamiento

LPG se entrena en una mezcla de 40k registros de conjuntos de datos fundamentados en políticas (DynaBench, GuardSet-X) y conjuntos de datos generales de seguridad. Un principio crítico de curación es que ningún ejemplo de entrenamiento ve la misma lista de políticas dos veces. Las políticas se reescriben en "libros de políticas" de una sola oración, y las listas se sintetizan y mezclan dinámicamente por ejemplo para evitar que el modelo aprenda atajos posicionales o memorice cadenas de reglas.

3. Contribuciones Clave

• Rejilla de Políticas Latente (LPG): El primer marco que aplica el razonamiento latente específicamente a la moderación de seguridad fundamentada en políticas, comprimiendo la deliberación en ~10 tokens latentes.
• Deliberación Latente Semántica: Un diseño novedoso donde las etapas latentes se alinean explícitamente con la semántica de la política (intención y relevancia de cláusula) mediante destilación del profesor y reconstrucción de resúmenes, en lugar de una simple reconstrucción de tokens.
• Veredictos Anclados a Cláusulas: Un mecanismo que fuerza al modelo a emitir índices de políticas violadas específicos, asegurando la auditabilidad y evitando la dependencia de priores de seguridad.
• Frontera de Pareto Eficiencia-Precisión: Demostración de que el razonamiento profundo de políticas puede desacoplarse de la alta latencia.

4. Resultados Experimentales

Evaluado en GuardSet-X, DynaBench (Aumentado con mezcla y contrafactuales) y puntos de referencia fuera de distribución (HarmBench, WildGuardTest, PolicyGuardBench):

• Precisión: LPG-4B logra una precisión de seguridad promedio del 84.5% y un F1 del 77.9% en puntos de referencia fundamentados en políticas, superando a la línea base dinámica más fuerte (DynaGuard-8B) y a las líneas base de razonamiento (GuardReasoner).
• Robustez: En el DynaBench aumentado (con políticas mezcladas y eliminación contrafactual de reglas), LPG mantiene un alto rendimiento, mientras que las líneas base sin razonamiento como DynaGuard sufren caídas significativas de precisión (por ejemplo, -7.4 puntos bajo mezcla), lo que indica que LPG fundamenta realmente sus decisiones en el contenido de la política.
• Latencia: LPG se ejecuta aproximadamente 11 veces más rápido que Qwen3-4B-Thinking y 5.4 veces más rápido que GuardReasoner-8B bajo evaluación de muestra única, con una latencia promedio de ~748 ms.
• Estudios de Ablación:
  • Eliminar la pérdida de destilación de posición de respuesta causa una caída de precisión de casi 20 puntos, identificándola como la señal de supervisión crítica.
  • Un barrido de presupuesto latente muestra que 10 tokens latentes (4 para intención, 6 para riesgo) se acercan al rendimiento del razonamiento explícito completo con ~5 veces menos latencia, con rendimientos decrecientes más allá de 20 tokens.
• Fuera de Distribución (OOD): LPG generaliza bien a puntos de referencia no vistos (por ejemplo, 96.4% F1 en HarmBench), superando a rejillas estáticas y líneas base dinámicas que se degradan cuando cambian los espacios de políticas.

5. Significado y Afirmaciones

El artículo afirma que LPG establece un puente práctico entre clasificadores estáticos rápidos y rejillas de razonamiento de políticas lentas pero expresivas. Su significado principal radica en demostrar que la compresión latente es un mecanismo viable para el razonamiento de políticas dinámicas.

Al mover la deliberación de los tokens superficiales a estados latentes continuos supervisados por semánticas relevantes para la decisión, LPG logra:

1. Adaptabilidad Dinámica: La capacidad de hacer cumplir políticas arbitrarias proporcionadas por el usuario sin reentrenamiento.
2. Auditabilidad: Los veredictos están explícitamente anclados a cláusulas violadas, permitiendo transparencia.
3. Viabilidad en Tiempo Real: La reducción de latencia hace viable el razonamiento consciente de políticas para aplicaciones de transmisión (por ejemplo, chatbots, uso de herramientas por agentes) donde el CoT explícito es demasiado lento.

Los autores posicionan este trabajo como un paso hacia el "razonamiento de cumplimiento latente", sugiriendo que cualquier sistema de IA que requiera adherencia en tiempo de ejecución a reglas en lenguaje natural puede beneficiarse de esta arquitectura. Señalan que, aunque el diseño actual se centra en la moderación de seguridad, los principios se extienden al cumplimiento regulatorio y a la aplicación de políticas empresariales.