Resumen Técnico: ¿Preserva el razonamiento la alineación? Sobre la confiabilidad de los grandes modelos de razonamiento

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) están siendo convertidos cada vez más de modelos estándar ajustados por instrucciones en "modelos de razonamiento" mediante técnicas de post-entrenamiento. Estos modelos generan pasos de razonamiento intermedios (por ejemplo, cadenas de pensamiento) para mejorar el rendimiento en tareas de múltiples pasos como las matemáticas y la programación. Si bien la literatura existente evalúa extensamente las ganancias de utilidad de estos modelos (por ejemplo, la precisión en benchmarks), existe una brecha crítica en la comprensión de si esta conversión preserva los comportamientos de alineación y confiabilidad establecidos durante la fase inicial de ajuste de instrucciones.

La pregunta central abordada es: ¿Preserva la conversión de un LLM ajustado por instrucciones en un modelo de razonamiento su comportamiento de alineación? Específicamente, ¿retienen estos modelos su capacidad para rechazar solicitudes dañinas de forma segura, evitar la toxicidad y los estereotipos, respetar la privacidad y realizar juicios éticos calibrados?

Metodología

Los autores llevan a cabo una auditoría empírica controlada comparando modelos de razonamiento contra líneas base de instrucción ajustadas equivalentes. El estudio se centra en tres vías dominantes para inducir capacidades de razonamiento:

1. Ajuste Fino Supervisado (SFT): Entrenamiento sobre trazas de razonamiento explícitas.
2. Post-entrenamiento basado en RL: Uso de aprendizaje por refuerzo (específicamente variantes de estilo GRPO) con recompensas orientadas al razonamiento.
3. Destilación: Transferencia del comportamiento de razonamiento de modelos maestros más fuertes a modelos estudiantes.

La evaluación abarca seis dimensiones de confiabilidad utilizando benchmarks establecidos y plantillas de prompting estandarizadas:

• Seguridad: Capacidad para rechazar solicitudes dañinas (dataset HADES).
• Toxicidad: Propensión a generar contenido tóxico bajo prompts de sistema benignos, adversarios y no tóxicos (RealToxicityPrompts).
• Estereotipos y Sesgo: Propensión a generar asociaciones estereotipadas bajo jailbreaks benignos, dirigidos y no dirigidos.
• Ética de Máquina: Precisión del juicio moral y calibración del rechazo en el dataset ETHICS.
• Robustez Fuera de Distribución (OOD): Capacidad para abstenerse de responder preguntas más allá del corte de entrenamiento (RealTime QA).
• Privacidad: Propensión a filtrar Información de Identificación Personal (PII) bajo entornos de zero-shot, ataques y prompts de protección (dataset Enron).

El estudio utiliza modelos en el rango de 1.5B–14B de parámetros (por ejemplo, Qwen, Llama, DeepScaleR, DeepSeek-R1-Distill) para asegurar comparaciones controladas y reproducibles. Además, los autores miden la deriva conductual utilizando la divergencia de Kullback-Leibler (KL) condicional entre la distribución de salida del modelo de razonamiento y la distribución del modelo de línea base ajustado por instrucciones sobre prompts críticos para la confianza.

Contribuciones Clave

1. Auditoría Sistemática de Confiabilidad: Este trabajo proporciona la primera evaluación exhaustiva de los modelos de razonamiento a través de las seis dimensiones de confiabilidad (seguridad, toxicidad, estereotipos, ética, privacidad, OOD) frente a sus líneas base de instrucción ajustadas. Los trabajos previos se centraron mayoritariamente solo en seguridad o benchmarks de capacidad.
2. Identificación de Regresiones de Alineación: El estudio demuestra que el post-entrenamiento de razonamiento no preserva la alineación por defecto. Mientras que los modelos de razonamiento mejoran en benchmarks de razonamiento de múltiples pasos, frecuentemente exhiben regresiones significativas en la confiabilidad.
3. Modos de Fallo Específicos por Vía: El artículo desglosa cómo las diferentes recetas de entrenamiento conducen a distintos modos de fallo:
   • SFT: Muestra las regresiones más severas, incluyendo aumentos agudos de toxicidad, sobre-rechazo catastrófico en consultas éticas benignas y precisión casi nula en tareas OOD debido a un rechazo generalizado.
   • RL (GRPO): Exhibe los mayores incrementos en estereotipos y sesgos, particularmente bajo jailbreaks no dirigidos, y muestra una calibración frágil (sobre-rechazo de consultas éticas benignas mientras sub-rechaza preguntas OOD).
   • Destilación: Preserva parcialmente algunos comportamientos (por ejemplo, la supresión de toxicidad) pero aún propaga los sesgos del maestro y exhibe un riesgo de sub-rechazo en datos posteriores al corte de conocimiento.
4. La Divergencia KL como Diagnóstico: Los autores proponen la divergencia KL sobre las distribuciones de prompts críticos para la confianza como una métrica diagnóstica útil. Encuentran que los cambios distributivos más grandes respecto a la línea base se correlacionan fuertemente con mayores degradaciones de la confiabilidad.

Resultados Clave

• Compromiso entre Capacidad y Confiabilidad: Los modelos de razonamiento muestran ganancias sustanciales en benchmarks de razonamiento (por ejemplo, MATH500 Pass@1 mejoró de 49.8% a 70.8%), pero esto ocurre a costa de una degradación sistemática en las seis dimensiones de confiabilidad.
• Seguridad y Toxicidad: Las puntuaciones de seguridad cayeron drásticamente en algunos casos (por ejemplo, del 80% al 20% en vistas agregadas). La toxicidad aumentó significamente en todas las vías, con los modelos SFT mostrando un incremento de ~3x en toxicidad bajo prompts no tóxicos.
• Calibración del Rechazo: Los modelos de razonamiento a menudo sufren de un rechazo mal calibrado. Los modelos SFT exhibieron un sobre-rechazo extremo (por ejemplo, 82.73% de tasa de rechazo en consultas éticas benignas frente al 0.52% de las líneas base), mientras que los modelos RL mostraron un sub-rechazo en preguntas que requerían abstención (OOD).
• Fuga de Privacidad: Los modelos de razonamiento, particularmente las variantes SFT y RL, fallaron en aprender la protección de la privacidad a partir de demostraciones. En entornos de protección de 3-shot, los modelos de línea base redujeron las tasas de filtración a casi 0%, mientras que los modelos SFT mantuvieron tasas de filtración superiores al 80% para PII sensibles.
• Correlación de la Deriva: Los modelos con la mayor divergencia KL de sus líneas base exhibieron consistentemente las regresiones de confiabilidad más agudas, sugiriendo que el cambio en la distribución de generación es un mecanismo primario para la pérdida de alineación.

Significado y Reivindicaciones

El artículo argumenta que la conversión de modelos ajustados por instrucciones en modelos de razonamiento debe tratarse como un procedimiento sensible a la alineación, no simplemente como una mejora de capacidad. Los autores afirman que:

• Las métricas de confiabilidad son esenciales: Los benchmarks de razonamiento por sí solos son insuficientes para evaluar estos modelos. Las métricas de confiabilidad deben reportarse junto con las ganancias de capacidad.
• Los pipelines actuales son insuficientes: Los procesos de post-entrenamiento actuales (SFT, RL, Destilación) no preservan explícitamente los comportamientos críticos para la confianza, lo que conduce a una "deriva de alineación".
• Recomendaciones Accionables: Los autores llaman a:
  1. Reportar la confiabilidad y los diagnósticos de deriva conductual (como la divergencia KL) junto con las capacidades de razonamiento.
  2. Desarrollar objetivos de razonamiento que preserven la alineación e incluyan señales explícitas para el rechazo seguro, la supresión de daños y la abstención calibrada, potencialmente a través de pérdidas auxiliares o regularizadores.

El estudio concluye que, si bien los modelos de razonamiento representan un paso adelante en el rendimiento de tareas de múltiples pasos, introducen costos de confiabilidad amplios que deben abordarse para garantizar un despliegue seguro y confiable.