💬 NLP

Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models

Este artículo demuestra que destilar capacidades de razonamiento en modelos de lenguaje de gran tamaño condicionando la generación de la cadena de pensamiento en la respuesta de oro degrada significativamente el rendimiento del razonamiento verificable, ya que los datos resultantes fomentan la racionalización hacia atrás en lugar de la derivación genuina, un fallo que el filtrado de corrección estándar no logra detectar.

Autores originales: Jungseob Lee, Seungyoon Lee, Suhyune Son, Dongyub Jude Lee, Sungbin Han, Sugyeong Eo, Heuiseok Lim

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jungseob Lee, Seungyoon Lee, Suhyune Son, Dongyub Jude Lee, Sungbin Han, Sugyeong Eo, Heuiseok Lim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo resolver un rompecabezas difícil. En el mundo de la inteligencia artificial, estos robots se llaman Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés), y son increíblemente buenos hablando, escribiendo e incluso resolviendo problemas matemáticos. Pero para volverse realmente inteligentes en el razonamiento, necesitan practicar su "proceso de pensamiento". Este proceso se llama a menudo "Cadena de Pensamiento" (Chain of Thought), que es solo una forma elegante de decir que el robot escribe su lógica paso a paso antes de dar la respuesta final, algo así como mostrar el procedimiento en un examen de matemáticas.

Normalmente, cuando los científicos entrenan a estos robots, dejan que el robot intente resolver un problema por su cuenta. Si el robot obtiene la respuesta correcta, guardan ese proceso de pensamiento como un buen ejemplo para estudiar más tarde. Si se equivoca, descartan el ejemplo. Pero a veces, el robot tiene dificultades y no logra encontrar la respuesta. Por eso, un truco común es mostrarle al robot la respuesta correcta primero y decirle: "Oye, aquí está la respuesta; ahora escribe una historia sobre cómo la descubriste". Parece un atajo inteligente: obtienes una respuesta correcta y una historia que coincide, así que puedes usarla para el entrenamiento, ¿verdad?

Este artículo investiga un problema astuto con ese atajo. Los investigadores descubrieron que cuando le muestras al robot la respuesta antes de que empiece a pensar, el robot adquiere un mal hábito. En lugar de resolver la solución paso a paso, empieza a escribir una historia que funciona hacia atrás desde la respuesta que ya conoce. Es como un estudiante que ve la clave de respuestas antes de tomar un examen y luego escribe un ensayo que justifica la respuesta sin haber hecho realmente las matemáticas. El artículo muestra que, aunque la respuesta final sea correcta, el "pensamiento" es falso, y enseñar al robot con estas historias falsas en realidad lo hace peor al resolver nuevos problemas por su cuenta.

La trampa de la "Hoja de Trucos"

Los investigadores configuraron un experimento ingenioso para demostrar esto. Tomaron un modelo de IA muy inteligente y le pidieron que resolviera el mismo conjunto de problemas matemáticos difíciles dos veces. En la primera ronda, ocultaron la respuesta por completo, obligando al modelo a pensar desde cero. En la segunda ronda, le mostraron la respuesta correcta y le pidieron que escribiera una cadena de razonamiento que la condujera a ella. Se aseguraron de mantener solo las cadenas que terminaban con la respuesta correcta en ambos grupos, de modo que una simple "verificación de corrección" pasaría en ambos casos.

Luego, entrenaron a dos nuevos modelos "estudiantes". Un estudiante estudió solo las cadenas "honestas" donde la respuesta estaba oculta. El otro estudiante estudió las cadenas "tramposas" donde la respuesta se mostró primero. Los resultados fueron impactantes. El estudiante que estudió las cadenas honestas mejoró su capacidad para resolver problemas. Pero el estudiante que estudió las cadenas tramposas, en realidad, empeoró. En los problemas matemáticos más difíciles de nivel de competición, el estudiante tramposo perdió unos 27 puntos de precisión en comparación con el honesto.

Por qué la "Historia hacia Atrás" perjudica

El artículo explica que esto sucede porque el modelo cambia su comportamiento cuando ve la respuesta. Cuando la respuesta está oculta, el modelo tiene que buscar la solución, explorando diferentes caminos como un detective buscando pistas. Pero cuando la respuesta es visible, el modelo deja de buscar y empieza a "racionalizar". Escribe una historia que justifica la conclusión conocida, a menudo mencionando la respuesta justo al principio de su proceso de pensamiento.

Los investigadores llaman a esto "Fuga de la Respuesta" (Answer Leakage). Es como un mago que conoce el truco de antemano y luego intenta explicar cómo lo hizo, pero la explicación es solo una historia inventada para que el truco parezca real. El artículo encontró que este mal hábito es medible incluso antes de entrenar al modelo. Si observas los pensamientos brutos del modelo, puedes ver que cuando la respuesta es visible, salta a la conclusión mucho más rápido. Este hábito de "Respuesta Primero" es una señal de advertencia: cuanto más seguido haga esto un modelo, más daño sufrirá cuando sea entrenado con esas cadenas.

La Solución: No muestres la respuesta

La lección más importante es que no puedes solucionar esto simplemente verificando si la respuesta final es correcta. El artículo muestra que los filtros estándar, que solo miran el resultado final, pasan por alto este problema por completo porque las cadenas "tramposas" sí tienen la respuesta correcta. El daño está oculto dentro del propio proceso de pensamiento.

La solución es sorprendentemente simple: no le muestres al modelo la respuesta mientras intenta resolverlo. El artículo advierte explícitamente que incluso si esperas a que el modelo falle y luego le muestras la respuesta para generar una cadena "rescatada", esto también conlleva un costo real: una caída de 4.0 puntos en la precisión. El mejor enfoque es generar las cadenas sin que la respuesta sea visible en absoluto. Si un flujo de trabajo debe mostrar la respuesta, los investigadores sugieren cambiar la instrucción a "deriva la respuesta primero, luego estátala", en lugar de "explica cómo obtuviste esta respuesta". Este pequeño cambio en cómo se escribe la instrucción detiene al modelo de saltar a la conclusión y recupera aproximadamente dos tercios de la precisión perdida.

En resumen, el artículo demuestra que, en el mundo del entrenamiento de IA, una respuesta correcta no siempre significa una lección correcta. Si le enseñas a un robot a trabajar hacia atrás desde una verdad conocida, olvidará cómo descubrir la verdad por sí mismo. Para construir una IA más inteligente, necesitamos dejar que luchen con lo desconocido, en lugar de darles la clave de respuestas antes de que siquiera empiecen a pensar.

Resumen Técnico: Las Cadenas de Pensamiento Condicionadas por la Respuesta Degradan la Destilación de Razonamiento Verificable

1. Planteamiento del Problema

Los procesos de destilación estándar para Modelos de Lenguaje de Gran Escala (LLMs) suelen basarse en el muestreo de cadenas de pensamiento (CoT), filtrando aquellas que alcanzan la respuesta final correcta y realizando el ajuste fino (fine-tuning) sobre las supervivientes. Cuando el muestreo no logra producir una cadena de razonamiento correcta, una estrategia de remediación común es el condicionamiento por respuesta: alimentar al modelo con la respuesta de oro como una pista e instruirlo para generar un rastro de razonamiento que racionalice o alcance esa respuesta específica.

Este artículo desafía la suposición implícita de que cualquier cadena que alcance la respuesta correcta es un objetivo de entrenamiento válido, independientemente de su proceso de generación. Los autores argumentan que las cadenas condicionadas por la respuesta introducen una patología específica: el modelo aprende a racionalizar hacia atrás desde una conclusión conocida en lugar de derivar la respuesta mediante la búsqueda. Crucialmente, esta degradación es invisible para los filtros de corrección estándar porque las cadenas resultantes son, por construcción, correctas.

2. Metodología: El "Experimento de un Bit"

Para aislar el efecto causal del condicionamiento por respuesta, los autores diseñaron un experimento controlado donde todas las variables se mantienen constantes excepto una intervención binaria única: si la respuesta de oro es visible para el generador durante la creación de la cadena.

Configuración: Se utiliza un único modelo generador ( $G$ $G$ ) para generar cadenas de CoT para el mismo conjunto de 935 problemas matemáticos bajo dos condiciones:
1. Ciego a la Respuesta (Control): El modelo ve solo el problema y se le pide que derive la respuesta.
2. Respuesta Filtrada (Tratamiento): El modelo ve el problema y la respuesta de oro, con la instrucción de generar una cadena que la alcance.
Filtrado: En ambos brazos, solo se retienen las cadenas con una respuesta final encerrada en un recuadro que sea correcta.
Entrenamiento: Dos modelos estudiantes son sometidos a un ajuste fino utilizando una receta idéntica sobre los conjuntos de datos filtrados de cada brazo.
Evaluación: Se mide la brecha de rendimiento ( $\Delta = \text{acc}(S_{\text{blind}}) - \text{acc}(S_{\text{leaked}})$ ) en evaluaciones de razonamiento verificable (por ejemplo, MATH-500, AIME).

El estudio también incluye estudios de ablación que varían las instrucciones (por ejemplo, "derivar primero" frente a "racionalizar hacia") controles de longitud igualada y pruebas de generalización entre familias de modelos.

3. Contribuciones Clave

1. Aislamiento de la Penalización por Filtración

Los autores demuestran que la generación de cadenas bajo condicionamiento por respuesta incurre en una penalización de precisión significativa, incluso cuando el generador, el conjunto de problemas, el filtro de corrección y la receta de ajuste fino son idénticos.

En MATH-500, la penalización es de 16.2 puntos para Qwen3-8B.
En AIME (problemas de nivel de olimpiada), la penalización aumenta a 27.2 puntos.
La penalización está impulsada por el contenido, no por la longitud; los controles de longitud igualada muestran que acortar las cadenas ciegas no replica el daño.

2. Análisis del Mecanismo: Racionalización Fuera de Política (Off-Policy)

El artículo identifica el mecanismo como un cambio de búsqueda a racionalización:

Síntoma de "Respuesta Primero": Las cadenas condicionadas por la respuesta frecuentemente declaran la respuesta de oro dentro del primer 20% del bloque de razonamiento (Tasa de Respuesta Primero, AFR). Las cadenas ciegas rara vez hacen esto.
Desplazamiento Fuera de Política: La generación ciega a la respuesta muestrea de $P(c|q)$ (distribución de búsqueda), lo cual es necesario para la inferencia en tiempo de prueba. La generación condicionada por la respuesta muestrea de $P(c|q, a)$ , colapsando la búsqueda en una justificación post-hoc.
Inversión Entrenamiento/Prueba: Los modelos entrenados con cadenas filtradas generan cadenas más largas en el tiempo de prueba pero fallan en la convergencia (déficit de terminación), lo que indica que no han aprendido el proceso de derivación requerido cuando la respuesta es desconocida.

3. Daño Centrado en los Datos y Reparación Parcial

El daño se atribuye a los datos, no a la capacidad inherente del generador.

Las Cadenas Racionalizadas Portan el Daño: Dentro de un único corpus filtrado, las cadenas que declaran la respuesta tempranamente ("Filtradas Tempranas") cargan con la mayor parte de la penalización. Un filtro simple que elimina estas cadenas recupera aproximadamente dos tercios de la precisión perdida.
Instrucción vs. Visibilidad: El principal motor del daño es la instrucción de "racionalizar hacia" la respuesta, no simplemente la visibilidad de la misma. Las instrucciones de "derivar primero" mitigan significativamente la penalización.

4. Firma Predictiva ( $\Delta$ AFR)

Los autores proponen una métrica de diagnóstico de pre-entrenamiento: $\Delta$ AFR (la diferencia en la Tasa de Respuesta Primero entre las generaciones filtradas y las ciegas).

$\Delta$ AFR se correlaciona fuertemente ( $r=0.96$ ) con la eventual penalización por filtración en ocho modelos de cuatro familias diferentes (Qwen, DeepSeek, GLM, Nemotron).
Esta métrica permite a los profesionales examinar candidatos a modelos maestros antes de que ocurra cualquier entrenamiento de estudiante, prediciendo la penalización con un error absoluto medio de 2.9 puntos.

4. Resultados y Generalización

Especificidad de Dominio: La penalización se limita a tareas que requieren derivación de múltiples pasos (Matemáticas, Código). En evaluaciones de conocimiento de opción múltiple donde el modelo selecciona una opción en lugar de derivar una solución, no se observa penalización.
Transferencia entre Modelos: El daño se transfiere entre familias de modelos. Las cadenas generadas por un maestro Llama-Nemotron degradan a un estudiante Qwen3-8B, y las de un maestro GLM degradan a un estudiante Qwen3-8B.
Dominio de Código: La penalización persiste en la generación de código (MBPP+, HumanEval+), donde la "corrección" se define por la ejecución de pruebas. Las cadenas de código filtradas que pasan las pruebas siguen degradando el rendimiento del estudiante en un ~9–10 puntos.
Transferencia entre Estudiantes: El daño sigue a los datos. Entrenar un modelo más pequeño (Qwen3-1.7B) con cadenas filtradas de un maestro más grande (Qwen3-8B) resulta en una penalización de ~7 puntos en comparación con el entrenamiento ciego.

5. Significancia y Conclusiones Prácticas

El artículo concluye que la práctica estándar de "corregir" el muestreo fallido condicionando sobre la respuesta de oro es contraproducente para el razonamiento verificable. El "filtro de corrección" es insuficiente porque no puede distinguir entre una cadena derivada mediante búsqueda y una racionalizada hacia atrás desde un objetivo conocido.

Implicaciones Prácticas:

Generar a Ciegas de la Respuesta: La salvaguarda más efectiva es generar las cadenas sin mostrar la respuesta de oro. Si el muestreo falla, los datos deben descartarse en lugar de regenerarse con la respuesta visible.
Abstracción de Instrucciones: Si la visibilidad de la respuesta es inevitable, la instrucción debe modificarse a "derivar primero, luego declarar la respuesta", lo que recupera aproximadamente dos tercios de la precisión perdida.
Tamizaje de Pre-entrenamiento: Los profesionales pueden medir $\Delta$ AFR en una pequeña muestra no etiquetada de las generaciones de un candidato a maestro para predecir si la destilación condicionada por respuesta dañará al estudiante.

Los autores enfatizan que estos hallazgos se aplican específicamente a la destilación de razonamiento verificable (matemáticas, código) donde es posible una verificación de la respuesta final, y que el daño es una propiedad de la receta de generación de datos más que de la arquitectura del modelo.