Resumen Técnico: Reducción del Impuesto de Seguridad en la Alineación de Seguridad de LLM con Auto-Distilación En-Política

Definición del Problema: El Impuesto de Seguridad y la Discrepancia Fuera de Política

Los Modelos de Lenguaje Grande (LLM) a menudo sufren un "impuesto de seguridad", un compromiso donde la alineación de seguridad mejora la robustez frente a consultas dañinas pero degrada las capacidades de razonamiento general. Mientras que trabajos anteriores atribuyen esto a una discrepancia distribucional—entrenar con demostraciones de seguridad de humanos o modelos externos que difieren de la distribución de razonamiento natural del modelo objetivo—este artículo identifica una segunda fuente distinta: la discrepancia de entrenamiento fuera de política.

Incluso cuando los datos de seguridad se auto-distilan (generados por el propio modelo objetivo, como en ThinkSafe), el Ajuste Fino Supervisado (SFT) estándar sigue siendo fuera de política. Aplica supervisión de Verosimilitud Negativa (NLL) a nivel de secuencia a demostraciones fijas en lugar de a trayectorias muestreadas de la propia política actual del modelo. Los autores argumentan que esto es particularmente perjudicial para la seguridad porque las decisiones de seguridad (rechazo vs. cumplimiento) se concentran en una estrecha "ventana de token temprano" y en un conjunto específico de tokens críticos para la seguridad. El SFT fuera de política difunde los gradientes a través de toda la respuesta, fallando en apuntar específicamente a estos puntos críticos de decisión, perturbando así el razonamiento general mientras proporciona solo una supervisión de seguridad grosera.

Metodología: OPSA (Alineación de Seguridad En-Política)

El artículo propone OPSA, un marco que adapta la Auto-Distilación En-Política (OPSD) a la alineación de seguridad. El mecanismo central implica:

1. Despliegues En-Política: El modelo estudiante ($p_\theta$) genera sus propias trayectorias (despliegues) tanto para prompts dañinos como benignos.
2. Profesor con Contexto Privilegiado: Una copia congelada del modelo base ($p_{\bar{\theta}}$) actúa como profesor. Crucialmente, el profesor recibe un contexto privilegiado condicional al tipo ($c^*$) prepuesto al prompt:
   • Para prompts dañinos ($q_h$), un contexto ($I_h$) activa un comportamiento latente de rechazo, desplazando al profesor hacia respuestas seguras.
   • Para prompts benignos ($q_b$), un contexto ($I_b$) suprime el rechazo excesivo, preservando el comportamiento útil.
3. Supervisión Densa por Token: En lugar de NLL a nivel de secuencia, OPSA minimiza la divergencia Kullback-Leibler (KL) por token entre la distribución del profesor (condicionada al contexto privilegiado) y la distribución del estudiante (condicionada solo al prompt) a lo largo de los propios despliegues muestreados del estudiante:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   Esto concentra las actualizaciones en los tokens donde el profesor y el estudiante divergen, apuntando específicamente a la ventana de decisión temprana donde se determinan los comportamientos de seguridad.

Tasa de Inversión del Profesor (TFR) para la Selección de Contexto

Un desafío crítico es seleccionar un contexto privilegiado que active efectivamente el razonamiento de seguridad latente sin ser arbitrario. Los autores introducen la Tasa de Inversión del Profesor (TFR) como una métrica libre de entrenamiento para seleccionar el contexto óptimo ($c^*$). La TFR mide la fracción de consultas dañinas donde el contexto privilegiado hace que el profesor congelado invierta su respuesta codiciosa de insegura a segura. Los autores demuestran empíricamente que una TFR más alta se correlaciona monótonamente con una reducción de la nocividad post-entrenamiento, validando la TFR como un criterio fiable para la selección de contextos.

Contribuciones Clave

1. Diagnóstico Mecanístico del Impuesto de Seguridad: El artículo identifica la discrepancia de entrenamiento fuera de política como una segunda fuente del impuesto de seguridad. El análisis a nivel de token revela que las correcciones de seguridad están altamente concentradas en posiciones tempranas y tokens específicos, los cuales el SFT estándar falla en apuntar efectivamente incluso con datos en distribución.
2. Marco OPSA: La introducción de un marco de alineación de seguridad en-política que utiliza supervisión densa de KL por token en despliegues muestreados por el estudiante. Este enfoque alinea el modelo en sus propias rutas de generación, mejorando el compromiso seguridad-razonamiento.
3. Selección de Contexto mediante TFR: La propuesta de la Tasa de Inversión del Profesor como un método para construir profesores de seguridad efectivos. Esto asegura que el contexto privilegiado active un razonamiento de seguridad latente significativo en lugar de simplemente elicitar demostraciones que parezcan seguras.

Resultados Experimentales

Los autores evaluaron OPSA en dos familias de modelos de razonamiento (Qwen3 y DeepSeek-R1-Distill) y cinco escalas de parámetros (de 0.6B a 8B).

• Compromiso Seguridad-Razonamiento: Bajo prompts coincidentes y ajuste fino de parámetros completos, OPSA superó consistentemente a las líneas base fuera de política (incluyendo ThinkSafe y SafeChain).
  • Seguridad: OPSA logró una ganancia promedio en la puntuación compuesta de seguridad de +4.00 puntos sobre ThinkSafe.
  • Razonamiento: OPSA preservó y mejoró las capacidades de razonamiento, mostrando una ganancia promedio de +3.04 puntos en benchmarks de razonamiento (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • Sensibilidad a la Escala: Las ganancias más grandes se observaron en modelos más pequeños (por ejemplo, +8.85 puntos en R1-Distill-1.5B y +5.49 puntos en Qwen3-0.6B).
• Robustez Adaptativa ante Jailbreaks: OPSA demostró una robustez superior contra ataques de jailbreak adaptativos, particularmente ataques de Relleno (que intervienen en los tokens tempranos de la respuesta). En Qwen3-1.7B y Qwen3-8B, OPSA redujo las tasas de éxito de los ataques de Relleno a cero. Sin embargo, el artículo señala que los ataques de búsqueda adaptativa totalmente adaptativos (PAIR) siguen siendo una limitación, con resultados mixtos entre modelos.
• Eficiencia de Datos: Las ganancias de rendimiento de OPSA persistieron a través de tamaños de conjuntos de entrenamiento variables y ratios de datos benignos a dañinos, indicando la robustez del método frente a la escasez de datos y cambios en la composición.

Significado y Afirmaciones

El artículo afirma que reducir el impuesto de seguridad requiere controlar no solo qué demostraciones proporcionan supervisión, sino también dónde y en cuyas trayectorias se aplica esa supervisión. Al pasar de la imitación fuera de política de trazas fijas a la supervisión densa en-política de las propias rutas de generación del modelo, OPSA aborda la discrepancia estructural específica en la alineación de seguridad.

Los autores afirmodestamente que sus hallazgos sugieren que la alineación de seguridad es fundamentalmente un problema de corrección localizada en las propias trayectorias del modelo. Si bien OPSA mejora significativamente la robustez frente a ataques dirigidos a tokens tempranos de respuesta, el artículo reconoce que los ataques de búsqueda iterativa totalmente adaptativos siguen siendo un desafío, sugiriendo que la supervisión densa en-política no es una solución general para todos los escenarios adversarios. El trabajo enfatiza que la alineación de seguridad efectiva debe alinear el modelo con su propia distribución de razonamiento mientras activa capacidades de seguridad latentes a través de contextos privilegiados.