Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations

Resumen Técnico: CRAFT

1. El Problema: Alineación de Seguridad Superficial (SSA)

Los Modelos de Razonamiento a Gran Escala (LRMs), como Qwen3 o DeepSeek-R1, han demostrado capacidades excepcionales en tareas matemáticas y lógicas. Sin embargo, el artículo identifica un fallo crítico de seguridad conocido como Alineación de Seguridad Superficial (SSA, por sus siglas en inglés).

• Definición: Ocurre cuando un modelo genera una respuesta final segura (un rechazo o una respuesta ética), pero su traza de razonamiento interna (el proceso de pensamiento o "Chain of Thought") contiene expresiones dañinas, discriminatorias o instrucciones sobre cómo realizar un ataque.
• Riesgo: Aunque el usuario final vea una respuesta segura, el modelo ha "pensado" de manera insegura. Esto permite que la información dañina se filtre en los registros internos, exponiendo al modelo a ataques de jailbreak más sofisticados y comprometiendo la integridad del proceso de razonamiento.
• Limitación de métodos actuales: Las defensas anteriores operan principalmente a nivel de salida (filtrando la respuesta final) o mediante alineación estándar (RLHF/DPO), lo que no corrige la geometría interna del razonamiento, permitiendo que persistan trayectorias de pensamiento inseguras.

2. Metodología: El Marco CRAFT

Los autores proponen CRAFT (Contrastive Reasoning Alignment Framework), un marco de alineación de red-teaming que alinea explícitamente las representaciones latentes (ocultas) del modelo, no solo su texto de salida. CRAFT integra dos componentes principales:

A. Aprendizaje Contrastivo Latente para Razonamiento (LCLR)
Esta fase estructura el espacio latente de las trazas de razonamiento antes de aplicar el aprendizaje por refuerzo.

• Objetivo: Separar geométricamente las trazas en tres regiones distintas: Seguras, Inseguras y de Replanteamiento (Rethink).
• Mecanismo: Utiliza una función de pérdida compuesta por tres partes:
  1. Alineación Geométrica Estructurada ($L_{proto}$): Empuja las trazas seguras hacia un prototipo central ($\mu_{safe}$), las inseguras hacia otro ($\mu_{unsafe}$) y las de replanteamiento a una región intermedia.
  2. Invarianza a Nivel de Instancia ($L_{inst}$): Asegura que las representaciones latentes sean robustas a variaciones superficiales del texto (usando contrastes tipo SimCLR).
  3. Calibración de Seguridad Latente ($L_{cal}$): Alinea las representaciones latentes con puntuaciones de seguridad semánticas interpretables.

B. Refuerzo sobre Latentes de Razonamiento (R2L)
Esta fase utiliza el algoritmo GRPO (Group Relative Policy Optimization) para optimizar la política del modelo basándose en recompensas que actúan sobre el espacio latente.

• Recompensas Clave:
  1. Recompensa Semántica Latente ($R_{ls}$): Mide la distancia coseno de los estados ocultos hacia la región de seguridad, alejándolos de la inseguridad.
  2. Recompensa de Seguridad Textual ($R_{txt}$): Evalúa la seguridad de la respuesta final generada.
  3. Recompensa de Consistencia Latente-Textual ($R_{cons}$): Innovación crítica. Penaliza la discrepancia entre la seguridad percibida en el estado latente ($p_z$) y la seguridad de la salida textual ($P(S|y)$). Esto fuerza al modelo a que su "pensamiento interno" coincida con su "respuesta externa".

3. Contribuciones Clave

1. Marco de Alineación Latente: Primer enfoque que realiza alineación de seguridad directamente en el espacio de representaciones ocultas de los modelos de razonamiento, abordando la SSA de raíz.
2. Análisis Teórico: Los autores demuestran teóricamente que incorporar la recompensa de consistencia latente-textual elimina las políticas de alineación superficial. Bajo supuestos de continuidad y optimización local (GRPO), se prueba que las políticas que generan respuestas seguras con razonamiento interno inseguro no pueden ser óptimos locales.
3. Diseño Metodológico: Integración de aprendizaje contrastivo para estructurar el espacio latente con aprendizaje por refuerzo para guiar las trayectorias de razonamiento hacia regiones seguras.
4. Evaluación Empírica: Validación exhaustiva en múltiples modelos y benchmarks, demostrando mejoras significativas sin sacrificar la capacidad de razonamiento.

4. Resultados Experimentales

El marco CRAFT se evaluó en dos modelos potentes: Qwen3-4B-Thinking y DeepSeek-R1-Distill-Llama-8B, comparándolo con métodos de vanguardia como SafeChain, IPO, SafeKey y ReasoningShield.

• Mejora en Seguridad de Razonamiento: CRAFT logró un aumento promedio del 79.0% en la seguridad de las trazas de razonamiento internas.
• Mejora en Seguridad de Respuesta Final: Logró un aumento del 87.7% en la seguridad de la respuesta final, superando significativamente a los modelos base y otras defensas.
• Robustez ante Ataques: En benchmarks de jailbreak (JailbreakBench y StrongReject), CRAFT redujo drásticamente las puntuaciones de éxito de los ataques (ej. reducción del 87.7% en la puntuación StrongReject).
• Preservación del Rendimiento: A diferencia de otros métodos que degradan la capacidad de razonamiento, CRAFT mejoró el rendimiento general en un 4.7% en tareas matemáticas (AIME24, MATH-500) y de generación de código (LiveCodeBench). Esto sugiere que alinear el razonamiento interno mejora la calidad general del pensamiento del modelo.
• Análisis de Ablación: Se demostró que el módulo de consistencia ($R_{cons}$) es el más crítico; su eliminación aumentó la tasa de éxito de los jailbreaks en un 28.9%.

5. Significado e Impacto

El trabajo de CRAFT representa un cambio de paradigma en la seguridad de la IA:

• De la Superficie a la Esencia: Mueve el foco de la seguridad desde la simple filtración de la salida hacia la regulación del proceso cognitivo interno del modelo.
• Defensa Proactiva: Al estructurar el espacio latente, CRAFT hace que las trayectorias de pensamiento inseguras sean geométricamente difíciles de generar, en lugar de simplemente corregirlas al final.
• Implicaciones Futuras: La demostración de que la alineación de razonamiento interno puede mejorar tanto la seguridad como la capacidad de razonamiento sugiere que la seguridad y la inteligencia no son objetivos mutuamente excluyentes, sino que pueden potenciarse mutuamente mediante una alineación profunda.

En conclusión, CRAFT ofrece una solución robusta y teóricamente fundamentada para eliminar la hipocresía en los modelos de razonamiento, asegurando que lo que el modelo "piensa" sea tan seguro como lo que "dice".