Resumen Técnico: Destilación Segura On-Policy Constitucional (COPSD)

1. Planteamiento del Problema

La Destilación On-Policy de Auto-Destilación (OPSD) ha emergido como un paradigma de post-entrenamiento eficiente para alinear modelos fundacionales, utilizando un profesor aumentado con información privilegiada para proporcionar supervisión densa a nivel de token. Aunque es efectivo en tareas de razonamiento verificables, estudios recientes indican que la OPSD sufre un severo "colapso distributivo" en estos dominios, donde los estudiantes explotan correlaciones superficiales para minimizar las penalizaciones de divergencia.

Este artículo identifica que el alineamiento de seguridad presenta un modo de falla distinto y crítico para la OPSD. A diferencia de las tareas de razonamiento donde el colapso proviene de la copia de atajos de respuestas objetivo explícitas, el alineamiento de seguridad depende de constituciones (principios) de alto nivel en lugar de respuestas explícitas. El estudio piloto de los autores revela que la seguridad OPSD colapsa debido a un efecto de "fuga geométrica":

1. Contracción del Profesor: Condicionar al profesor con constituciones de seguridad fuerza la distribución del profesor a contraerse en un manifold de respuestas cortas, excesivamente conservadoras y de baja entropía.
2. Amplificación de la KL Inversa: La divergencia KL Inversa estándar utilizada en la destilación amplifica esta contracción, penalizando cualquier token fuera del estrecho soporte del profesor.
3. Fuga Geométrica: En un espacio semántico no ortogonal donde la "seguridad" y la "expresividad" están acopladas, la presión del gradiente para evitar regiones inseguras se filtra hacia la dimensión de la expresividad. Esto resulta en una contracción pasiva de la longitud de la respuesta, la diversidad y la utilidad, incluso sin que el estudiante copie información privilegiada.

El desafío central es el "impuesto de seguridad": lograr un alineamiento de seguridad robusto a menudo requiere una reducción drástica en las capacidades de razonamiento general y la utilidad, un compromiso que los métodos existentes (como GRPO o la OPD estándar) no logran navegar eficazmente.

2. Metodología: Destilación Segura On-Policy Constitucional (COPSD)

Para abordar el entrelazamiento geométrico entre seguridad y expresividad, los autores proponen COPSD, un marco de dos etapas diseñado para recalibrar al profesor antes de la destilación.

Fase I: Inicio en Frío mediante Cross-SFT

La primera etapa se centra en construir un profesor condicionado por la constitución que preserve la huella generativa del modelo base mientras se adhiere a los principios de seguridad.

• Construcción de Datos: El corpus de entrenamiento es una mezcla de:
  1. Trayectorias Originales: Consultas y respuestas originales del modelo base, aumentadas con la constitución de seguridad $c_{safe}$. Esto ancla al profesor a la expresividad nativa del modelo.
  2. Trayectorias de Seguridad Reescritas: Respuestas de seguridad de alta calidad generadas por modelos de frontera, filtradas por jueces LLM, reescritas por el modelo base y remuestreadas para coincidir con la distribución de longitud de respuesta original.
• Objetivo: Este proceso de "Cross-SFT" entrena al profesor para internalizar los límites de seguridad sin colapsar en salidas uniformemente cortas o excesivamente cautelosas, desacoplando efectivamente el manifold de seguridad del manifold de expresividad.

Fase II: Destilación On-Policy Condicionada por la Constitución

El profesor recalibrado se integra luego en un pipeline de destilación on-policy.

• Rol del Profesor: El profesor genera señales de supervisión densas a nivel de token condicionadas tanto en la consulta $x$ como en la constitución de seguridad $c_{safe}$.
• Señal de Destilación: La política del estudiante se optimiza para minimizar la divergencia KL Inversa a nivel de token contra el profesor condicionado por la constitución.
• Estimación de Ventaja: El marco soporta dos variantes:
  1. Estándar a Nivel de Token: Depende enteramente de las señales densas de destilación para computar ventajas relativas al grupo.
  2. Híbrida Ponderada por el Resultado: Combina la señal densa a nivel de token con una recompensa externa de resultado a nivel de secuencia (por ejemplo, de un modelo de recompensa) para imponer preferencias de seguridad globales mientras se refina la asignación de crédito local.

3. Contribuciones Clave

1. Diagnóstico del Colapso Específico de Seguridad: El artículo formaliza la falla de la seguridad OPSD como una "fuga geométrica" bajo límites de seguridad en un espacio semántico no ortogonal. Demuestra que este colapso es distinto del "copiado de atajos" observado en tareas de razonamiento verificables; surge porque la presión de seguridad se desborda hacia la dimensión de la expresividad debido al acoplamiento de la seguridad y los priors lingüísticos.
2. Marco COPSD: Los autores proponen una solución de dos etapas que utiliza el Inicio en Frío mediante Cross-SFT para calibrar la distribución del profesor antes de la destilación. Este enfoque mitiga el entrelazamiento seguridad-expresividad, permitiendo que el profesor proporcione supervisión densa sin forzar al estudiante a un régimen de baja diversidad y exceso de cautela.
3. Validación Empírica: Experimentos extensos en 12 benchmarks (que cubren seguridad, seguridad situacional y razonamiento general) demuestran que COPSD logra un compromiso superior entre seguridad y utilidad en comparación con las líneas base de vanguardia (GRPO, OPD, Safe-RLHF-V).

4. Resultados Experimentales

• Seguridad vs. Utilidad: En benchmarks como BeaverTails-V y SPA-VL, las variantes de COPSD logran tasas de victoria significativamente más altas contra el modelo base tanto en seguridad como en utilidad en comparación con las líneas base. Por ejemplo, mientras que GRPO mejora la seguridad, a menudo incurre en una caída severa de la utilidad (el "impuesto de seguridad"). COPSD-Hybrid mantiene una efectividad robusta mientras alcanza fronteras de seguridad más altas.
• Preservación de Capacidades Generales: COPSD reduce sustancialmente el "impuesto de alineación" en el razonamiento general. En MathVista, COPSD limita la pérdida de razonamiento a ~2.1%, mientras que GRPO sufre una caída catastrófica del 17.5%. Las tareas simples de VQA permanecen mayormente inafectadas en todos los métodos, pero las tareas de razonamiento complejo se benefician significativamente del mecanismo de desacoplamiento de COPSD.
• Rompiendo el Techo del Profesor: A diferencia de la OPD estándar, donde el estudiante está limitado por las capacidades inherentes del profesor, los estudiantes de COPSD (entrenados con el profesor de Cross-SFT) superan significativamente tanto a su profesor específico como a los profesores de la OPD estándar en seguridad y efectividad, indicando un aprendizaje de política adaptativo.
• Dinámicas de Entrenamiento: El análisis de las dinámicas de entrenamiento muestra que mientras GRPO sufre un colapso continuo de la entropía y la OPSD estándar dispara un declive severo en la longitud de la respuesta, COPSD se estabiliza rápidamente, manteniendo una mayor entropía y longitudes de respuesta estables durante todo el entrenamiento.

5. Significado y Reivindicaciones

El artículo sostiene que el alineamiento de seguridad requiere un enfoque fundamentalmente diferente al del alineamiento de razonamiento verificable. La importancia de COPSD radica en su capacidad para:

• Desacoplar Objetivos Compitiendo: Al usar Cross-SFT para calibrar al profesor, el método rompe el acoplamiento geométrico entre las restricciones de seguridad y el comportamiento expresivo, evitando la "fuga" de la presión de seguridad hacia la reducción de la utilidad.
• Permitir la Supervisión Densa sin Colapso: Demuestra que la supervisión densa a nivel de token es viable para el alineamiento de seguridad si la distribución del profesor está debidamente anclada al estilo generativo del modelo base, evitando el colapso distributivo que afecta a los métodos actuales.
• Lograr una Mejora de Pareto: Los resultados sugieren que es posible mejorar simultáneamente la seguridad y preservar (o incluso mejorar) las capacidades de razonamiento general, desafiando la noción de que el alineamiento de seguridad debe inherentemente degradar la utilidad del modelo.

Los autores conclen que calibrar las distribuciones de los profesores es un paso necesario para un alineamiento seguro y efectivo, ofreciendo una vía para alinear modelos con constituciones de alto nivel sin sacrificar sus capacidades generativas centrales.