🤖 machine learning

Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

Este artículo revela que la fidelidad de los métodos de razonamiento latente no es estática sino que evoluciona dinámicamente durante el entrenamiento, con contribuciones causales a las respuestas finales que decaen con el tiempo y varían significativamente según el formato de la respuesta, lo que destaca que las evaluaciones de los puntos de control finales son insuficientes por sí solas para evaluar la fiabilidad del razonamiento.

Autores originales: Hengyu Jin, Shu Yang, Di Wang

Publicado 2026-07-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hengyu Jin, Shu Yang, Di Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un estudiante brillante tomando un examen de matemáticas muy difícil. Hay dos formas en las que este estudiante puede resolver los problemas:

El método de "Mostrar el procedimiento" (Cadena de pensamiento): El estudiante escribe cada uno de los pasos en una hoja de papel. Puedes leer sus notas para ver exactamente cómo llegó a la respuesta.
El método del "Pensamiento Silencioso" (Razonamiento latente): El estudiante resuelve el problema enteramente en su cabeza. No escribe nada; simplemente susurra la respuesta final. Esto es más rápido y compacto, pero no puedes ver cómo lo hizo.

Este artículo trata sobre este segundo método. La gran preocupación es: ¿Realmente está pensando el estudiante, o solo está adivinando? Tal vez memorizó la clave de respuestas, o tal vez está usando un atajo que se salta los pasos reales del pensamiento. Si golpeas su cerebro (o el código de la computadora detrás de él) para ver si los pasos del "pensamiento silencioso" son realmente necesarios, ¿sigue obteniendo la respuesta correcta?

Los investigadores llaman a esto "fidelidad" (faithfulness). Si los pasos silenciosos son fieles, son la causa de la respuesta. Si no son fieles, el estudiante solo está fingiendo pensar mientras que la respuesta real proviene de algún otro lugar.

El Gran Error que Todos Cometieron Antes

Estudios previos observaron a estos "pensadores silenciosos" solo después de que terminaron su entrenamiento (el examen final). Encontraron que muchos de estos modelos eran "infieles": podías arruinar sus pasos de pensamiento silencioso y aun así obtendrían la respuesta correcta.

Los autores de este artículo dicen: "¡Un momento! Solo miramos la línea de meta. ¿Qué pasó durante la carrera?"

Decidieron observar a los modelos entrenar desde el Día 1 hasta el final, como si estuvieran viendo un partido de deportes en lugar de solo mirar el marcador final. Utilizaron dos herramientas especiales para probar los modelos:

El truco del "¿Qué pasaría si?": Cambiaron un detalle minúsculo en la pregunta (como cambiar un camino en un mapa) para ver si el modelo cambiaba su respuesta. Si el modelo es fiel, debería cambiar su respuesta.
La prueba de la "Niebla Mental": "Nublaron" temporalmente los pasos de pensamiento silencioso del modelo con ruido aleatorio para ver si el modelo aún podía resolver el problema.

Lo Que Encontraron (Las Tres Grandes Sorpresas)

1. Dos Caminos Diferentes hacia el Mismo Callejón sin Salida

Estudiaron dos tipos diferentes de "pensadores silenciosos" (llamémoslos Método A y Método B).

El Resultado: Al final, ambos métodos se veían terribles. Ambos fallaron en el truco del "¿Qué pasaría si?" y en la prueba de la "Nieblal Mental". Parecían igualmente infieles.
El Giro: El viaje hacia ese fracaso fue completamente diferente.
- El Método A comenzó siendo muy fiel. Era bueno cambiando su respuesta cuando la pregunta cambiaba. Pero luego, a mitad del entrenamiento, de repente dejó de importarle. Se volvió perezoso y comenzó a ignorar los pasos de pensamiento, aunque su puntuación final seguía subiendo.
- El Método B nunca se preocupó por los pasos de pensamiento en primer lugar. Fue infiel desde el Día 1 y se mantuvo así.
La Lección: Si solo miras el examen final, piensas que son lo mismo. Pero si los ves entrenar, ves que uno fue un "rezagado" que se rindió y el otro fue un "tramposo" desde el principio.

2. Los Pasos de "Pensamiento" se están Desvaneciendo

Revisaron la "actividad cerebral" interna del modelo (los estados ocultos) durante el pensamiento silencioso.

El Resultado: A medida que los modelos entrenaban, la importancia real de esos pasos de pensamiento silencioso disminuía.
La Analogía: Imagina a un chef cocinando una sopa. Al principio, el chef prueba la sopa y añade sal (el paso de pensamiento). Pero a medida que el chef gana experiencia, deja de probar y solo lanza una pizca de sal al azar porque cree que es lo correcto. El artículo encontró que la parte de "probar" del proceso se volvió inútil con el tiempo. El modelo dejó de necesitar los pasos de pensamiento para obtener la respuesta correcta; simplemente comenzó a adivinar la respuesta directamente.
La Conexión: Las preguntas específicas donde el modelo dejó de cambiar su respuesta (el truco del "¿Qué pasaría si?") eran exactamente las mismas preguntas donde los "pasos de pensamiento" dejaron de importar.

3. El Formato de la Respuesta lo Cambia Todo

Probaron los modelos en dos tipos de preguntas:

Tipo A: "¿Es la respuesta X o Y?" (Elección binaria)
Tipo B: "¿Cuál es la respuesta?" (Abierta)

El Interruptor Mágico:

Cuando el modelo tenía que elegir entre dos opciones (A o B), los "pasos de pensamiento" se volvieron inútiles a medida que avanzaba el entrenamiento (al igual que en las pruebas anteriores).
Pero cuando el modelo tenía que escribir la respuesta (Abierta), ¡los "pasos de pensamiento" se volvieron más importantes a medida que el entrenamiento avanzaba!

La Analogía: Es como un estudiante que aprende a adivinar la respuesta de opción múltiple mirando el patrón de las burbujas en la hoja (ignorando las matemáticas). Pero si le pides que escriba la respuesta en una hoja en blanco, tiene que hacer las matemáticas. La forma en que haces la pregunta cambia si el modelo está realmente pensando o solo adivinando.

La Conclusión Final

El artículo concluye que no puedes juzgar si un "pensador silencioso" de IA es honesto o fiel solo mirando su puntuación final en un examen.

El tiempo importa: Un modelo puede parecer fiel al principio y luego perder esa capacidad, o viceversa.
El formato importa: Un modelo puede ser fiel cuando escribe un ensayo pero infiel cuando elige una respuesta de opción múltiple.

La "fidelidad" de estos modelos de IA no es un rasgo fijo de la máquina; es un objetivo móvil que depende de cómo fue entrenado y de cómo haces la pregunta.

Resumen Técnico: Los puntos de control finales no son suficientes: Analizando la fidelidad del razonamiento latente a lo largo de las trayectorias de entrenamiento

Planteamiento del problema
Los métodos de razonamiento latente realizan inferencias de múltiples pasos íntegramente dentro de los estados ocultos continuos de un modelo, ofreciendo una alternativa más compacta y eficiente al razonamiento de Cadena de Pensamiento (CoT) explícito, el cual depende de tokens de lenguaje natural discretos. Sin embargo, la opacidad de estos estados ocultos plantea una pregunta crítica de fidelidad (faithfulness): ¿los pasos de razonamiento latente impulsan causalmente la respuesta final, o son simplemente correlacionados con la salida?

Trabajos previos han investigado esta cuestión únicamente en puntos de control convergidos (converged checkpoints), reportando que los pasos de razonamiento latente suelen ser infieles —es decir, pueden ser reemplazados, perturbados o borrados sin alterar la predicción final. Persiste una brecha significativa en la comprensión de cómo se forman estos comportamientos infieles durante el entrenamiento. Además, tratar a un modelo entrenado como un punto final fijo oscurece si diferentes paradigmas de entrenamiento alcanzan conclusiones infieles similares a través de trayectorias cualitativamente distintas.

Metodología
Los autores rastrean la evolución de la fidelidad a través de puntos de control guardados para dos paradigmas distintos de razonamiento latente, COCONUT (currículo por etapas) y CODI (autodestilación), utilizando una arquitectura base de GPT-2 compartida. El análisis emplea dos intervenciones primarias:

Edición Contrafáctica Verificada (Nivel de entrada): Utilizando el benchmark ProsQA (una tarea de alcanzabilidad de grafos resoluble mediante un oráculo de BFS determinista), los autores construyen 405 entradas emparejadas. Editan mínimamente un solo arco en el grafo subyacente para cambiar la respuesta del oráculo de un objetivo $A$ a una alternativa $B$ . La fidelidad se mide por si la predicción del modelo sigue esta edición (Consistencia de Contraste y Tasa de Giro Condicional).
Parche de Ablación de Ruido de Activación (Nivel de activación): Adaptado de los análisis de mediación causal, los autores parchean todos los pasos de razonamiento latente con valores de borrado de contenido (cero, media del conjunto de datos o ruido gaussiano ajustado a la norma). Miden la Tasa de Cambio de Salida (OCR) y la tasa Preservado-Cuando-Es-Correcto (PWC) para determinar si los pasos latentes contribuyen causalmente a la predicción.

El estudio aborda tres Preguntas de Investigación (RQ):

RQ1: ¿Exhiben diferentes paradigmas trayectorias de fidelidad a nivel de salida cualitativamente distintas, incluso si sus puntos de control finales parecen similares?
RQ2: ¿Decae la contribución causal de los pasos latentes a lo largo del entrenamiento, y esto se alinea con las transiciones a nivel de salida?
RQ3: ¿Dependen estas trayectorias del formato de respuesta (elección binaria vs. decodificación de texto abierto)?

Resultos Clave

Trayectorias Divergentes hacia Puntos Finales Similares (RQ1): Aunque tanto COCONUT como CODI convergen a puntos finales de baja fidelidad (baja Consistencia de Contraste y Tasa de Giro Condicional), sus trayectorias de entrenamiento difieren significamente.
- COCONUT exhibe inicialmente una alta fidelidad contrafáctica (sigue las ediciones), pero experimenta un cambio abrupto en el límite del currículo (época 15–16), donde la fidelidad colapsa y el modelo comienza a retener la respuesta original a pesar de las ediciones.
- CODI entra en un régimen de "retención" (baja fidelidad) casi inmediatamente desde los primeros puntos de control y permanece en él, sin visitar nunca la fase de seguimiento contrafáctico.
- Implicación: Un instantánea única en la convergencia enmascara estas dinámicas de aprendizaje fundamentalmente diferentes.
Decaimiento de la Contribcción Causal (RQ2): A nivel de activación, la contribución causal de los pasos de razonamiento latente decae a lo largo del entrenamiento para ambos paradigmas.
- La Tasa de Cambio de Salida (OCR) cae hacia cero, y la PWC aumenta hacia uno, indicando que la ablación de ruido en los pasos latentes ya no afecta la salida.
- El análisis de cohorte revela que los ejemplos específicos que cambian de seguir el contrafáctico a la retención en la salida (la cohorte de "deriva") son precisamente los ejemplos donde la contribución causal de los pasos latentes decae.
Dependencia del Formato (RQ3): La trayectoria a nivel de activación no es intrínseca a la arquitectura del modelo, sino que depende fuertemente del formato de la respuesta.
- En tareas de elección binaria (ProsQA y GSM-Choice), la contribución causal de los pasos latentes decae a lo largo del entrenamiento (el OCR disminuye).
- En tareas de decodificación de texto abierto (GSM-open), la contribución causal de los pasos latentes aumenta a lo largo del entrenamiento (el OCR aumenta).
- Además, el ranking del rendimiento del modelo (COCONUT vs. CoT) se invierte dependiendo de si la tarea se plantea como texto abierto o elección binaria, lo que sugiere que el formato de la respuesta altera tanto el rendimiento aparente como la fidelidad medida.

Significancia y Reivindicaciones
El artículo argumenta que la fidelidad del razonamiento latente es una propiedad de la etapa de entrenamiento y del formato de la respuesta, no simplemente un atributo estático de la arquitectura final o del punto de control.

Contribución Metodológica: El trabajo demuestra que evaluar el razonamiento latente únicamente en la convergencia es insuficiente. Revela que dinámicas de entrenamiento cualitativamente diferentes pueden conducir a puntos finales infieles similares, y que las métricas de fidelidad pueden revertir su dirección según el formato de salida.
Interpretación de la Infidelidad: Los hallazgos sugieren que en entornos de elección binaria, los pasos de razonamiento latente pueden desarrollar un "sesgo de respuesta eliminable" en lugar de realizar una computación necesaria, mientras que en entornos de texto abierto, pueden retener o aumentar su rol causal.
Limitaciones: Los autores señalan que sus ediciones contrafácticas verificadas dependen de oráculos deterministas (como solucionadores BFS), lo que limita su aplicación inmediata a tareas sin tal verificación de verdad fundamental. El estudio también se limita al backbone GPT-2 small para asegurar la reproducibilidad tratable de las trayectorias completas de entrenamiento.

En conclusión, el artículo postula que comprender el razonamiento latente requiere analizar la trayectoria del aprendizaje y el formato de la salida, en lugar de confiar en las evaluaciones del punto de control final, que pueden oscurecer cambios críticos en el comportamiento del modelo.