Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation

1. Problema e Hipótesis de Partida

El trabajo aborda una premisa implícita pero poco examinada en el desarrollo de Modelos de Lenguaje Grandes (LLMs) de razonamiento, como DeepSeek R1: la suposición de que las trazas de pensamiento (Chain-of-Thought o CoT) generadas por el modelo son simultáneamente semánticamente correctas (veraces) y interpretables para el usuario final.

Los autores cuestionan si es necesario que estas trazas intermedias sean correctas o comprensibles para humanos para que el modelo logre un alto rendimiento en la tarea final. Actualmente, las trazas se utilizan tanto como ayudas para la inferencia como señales de supervisión en la Distinción de Conocimiento (Knowledge Distillation - KD) para entrenar modelos más pequeños (SLMs). Sin embargo, los objetivos de ajuste fino (SFT) rara vez exigen que las trazas sean semánticamente válidas o interpretables, priorizando solo la precisión de la respuesta final.

2. Metodología

Para aislar y evaluar el efecto de la semántica de las trazas, los autores diseñaron un marco experimental riguroso en el dominio de Preguntas y Respuestas (QA) de Libro Abierto.

A. Descomposición de Problemas Basada en Reglas

Utilizaron una técnica de descomposición basada en reglas para dividir problemas complejos de QA en subproblemas estructurados y verificables:

1. Clasificación: Identificar el tipo de relación (ej. temporal "durante", "igual", "solapamiento").
2. Recuperación de Información (IR): Identificar el hecho específico en el texto que responde a la consulta.

Esto permitió crear conjuntos de datos de Ajuste Fino Supervisado (SFT) donde cada problema se emparejaba con:

• Trazas Correctas: Subpasos semánticamente verificados y la respuesta final correcta.
• Trazas Incorrectas: Subpasos semánticamente erróneos (categoría de pregunta incorrecta o hecho irrelevante) pero siempre con la respuesta final correcta.

B. Experimentos de Distinción de Conocimiento

Se entrenaron modelos pequeños (Llama-3.2-1B y Qwen3-1.7B) utilizando diferentes configuraciones:

1. SFT Vanilla: Solo pares Entrada-Salida (sin trazas).
2. SFT con Trazas Correctas: Entrada + Trazas verificables + Salida correcta.
3. SFT con Trazas Incorrectas: Entrada + Trazas erróneas + Salida correcta.

Además, para evaluar la interpretabilidad, se entrenaron modelos más grandes (Llama-3.1-8B, Qwen3-8B) con cuatro tipos de trazas derivadas de DeepSeek R1:

• Trazas originales de R1 (verbosas).
• Resúmenes de R1 generados por LLM.
• Explicaciones post-hoc de R1 generadas por LLM.
• Trazas verificablemente correctas (generadas algorítmicamente).

C. Estudio con Sujetos Humanos

Se realizó un estudio con 100 participantes (divididos en 4 grupos) para evaluar la interpretabilidad y la carga cognitiva de los diferentes tipos de trazas. Se utilizaron escalas Likert para medir:

• Predictibilidad, comprensibilidad, interpretabilidad y fidelidad.
• Carga cognitiva (demanda mental, esfuerzo y frustración) mediante la escala NASA-TLX.

3. Contribuciones Clave

1. Desacoplamiento de la Precisión de la Trazas y la Respuesta Final: Demostraron que la corrección semántica de las trazas intermedias no garantiza una respuesta final correcta, ni viceversa.
2. Paradoja de la Interpretabilidad: Evidenciaron que las trazas que mejoran el rendimiento del modelo (las más verbosas y complejas de R1) son las menos interpretables para los humanos, mientras que las trazas más claras y estructuradas no necesariamente mejoran la precisión del modelo.
3. Cuestionamiento de la "Alma" de las Trazas: Desafían la antropomorfización de los tokens intermedios como "razonamiento" real, sugiriendo que a menudo son patrones estructurales que el modelo aprende a reproducir sin comprender la semántica subyacente.

4. Resultados Principales

A. Correlación entre Corrección de Trazas y Precisión de la Solución

• Baja Correlación: Las trazas correctas condujeron a soluciones correctas solo en el 28% de los problemas del conjunto de prueba.
• Robustez ante el Error: Los modelos entrenados con trazas incorrectas (pero respuestas finales correctas) a menudo lograron un rendimiento igual o superior en la respuesta final en comparación con los entrenados con trazas correctas.
  • Ejemplo: En el conjunto de datos CoTemp, el SFT con trazas incorrectas obtuvo la mayor precisión final (63.88% vs 52.88% con trazas correctas para Qwen3-1.7B).
• Análisis de Matrices de Confusión: Se observó una alta tasa de Falsos Positivos (respuestas correctas generadas con trazas incorrectas). Por ejemplo, en bAbI QA, el 71.54% de los casos mostraron respuestas correctas con trazas incorrectas.
• Prueba Estadística: Una prueba de chi-cuadrado ($\chi^2$) confirmó que la precisión de la traza y la precisión de la respuesta son independientes (se aceptó la hipótesis nula).

B. Interpretabilidad vs. Rendimiento del Modelo

• Rendimiento del Modelo: El ajuste fino con las trazas originales de DeepSeek R1 (verbosas) produjo el mejor rendimiento en la tarea final.
• Percepción Humana: Sin embargo, los usuarios humanos calificaron estas trazas de R1 como las menos interpretables (puntuación media de 3.39/5) y con la mayor carga cognitiva (4.59/5 en demanda mental).
• Trazas Estructuradas: Las trazas verificablemente correctas (algorítmicas) fueron las más fáciles de entender y seguir para los humanos (puntuación media de 4.82 en predictibilidad), pero los modelos entrenados con ellas no superaron a los entrenados con trazas R1 en precisión final.

5. Significado e Implicaciones

El estudio revela una desconexión fundamental en las prácticas actuales de supervisión de LLMs:

1. La "Albatros" de la Corrección Semántica: Desde la perspectiva del rendimiento de la tarea, intentar forzar la corrección semántica y la interpretabilidad humana en las trazas de entrenamiento puede ser contraproducente ("una albatros alrededor del cuello de la precisión"). Los modelos aprenden mejor patrones estructurales que la lógica semántica estricta.
2. Necesidad de Objetivos Separados: Los autores concluyen que los objetivos de supervisión para mejorar el razonamiento del modelo (SFT) deben desacoplarse del diseño de trazas para el usuario final.
   • Para entrenar modelos, pueden ser suficientes trazas estructurales (incluso si son semánticamente débiles).
   • Para la interacción con el usuario, se requieren explicaciones separadas, resumidas o generadas post-hoc, diseñadas específicamente para la claridad humana, no para la precisión del entrenamiento.
3. Advertencia sobre la "Razonamiento": Se advierte contra la interpretación literal de las trazas de CoT como evidencia de que el modelo está "razonando" de manera humana o fiable. A menudo, el modelo está simplemente imitando la forma de la respuesta correcta sin validar la verdad de los pasos intermedios.

En resumen, el trabajo sugiere que la comunidad debe abandonar la idea de que una sola traza puede servir tanto para optimizar el rendimiento del modelo como para explicar su comportamiento a los humanos, y en su lugar adoptar arquitecturas que gestionen estos dos objetivos de forma independiente.