💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

Este artículo presenta C-MTP, un método de supervisión directa más rápido para entrenar modelos de Cadena de Pensamiento continua que supera a los enfoques directos previos y iguala a los métodos indirectos más lentos en trazas de razonamiento cortas, al tiempo que revela que las técnicas actuales de CoT continua tienen dificultades significativas cuando se aplican a tareas complejas con cadenas de razonamiento más largas.

Autores originales: Varun Yerram, He He, Eunsol Choi

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Varun Yerram, He He, Eunsol Choi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo resolver un rompecabezas difícil. En el pasado, el robot simplemente soltaba la respuesta, a menudo equivocándose porque no lo pensaba bien. Entonces, los científicos descubrieron un truco de magia: si le decían al robot que primero "pensara en voz alta", escribiendo cada pequeño paso de su razonamiento, el robot se volvía mucho mejor resolviendo problemas. Esto se llama "Cadena de Pensamiento" (Chain-of-Thought). Es como un estudiante que muestra sus procedimientos en un examen de matemáticas; cuantos más pasos escriba, más probable es que obtenga la respuesta correcta.

Sin embargo, hay un inconveniente. Escribir cada uno de los pasos toma mucho tiempo y potencia de cómputo. Es como pedirle a un corredor que se detenga a escribir una entrada de diario después de cada paso que da. Esto lo ralentiza hasta el punto de la parálisis. Por eso, los investigadores empezaron a preguntarse: "¿Podemos hacer que el robot piense en un lenguaje secreto y comprimido? ¿Puede realizar todo ese pensamiento en su cabeza usando notas cortas y densas en lugar de frases largas?". Esta idea se llama "Cadena de Pensamiento Continua" (Continuous Chain-of-Thought). El objetivo es mantener el pensamiento inteligente pero perder el habla lenta y verbosa. Pero aquí está la gran pregunta: ¿Podemos realmente enseñar al robot a pensar en estas notas secretas sin perder su inteligencia?

Este artículo, titulado "Entrenando Modelos de Cadena de Pensamiento Continua: Un Cuento de Dos Regímenes", profundiza en esa pregunta. Los autores, Varun Yerram, He He y Eunsol Choi, actúan como detectives probando dos formas diferentes de enseñar este lenguaje secreto al robot. Llaman a estos dos métodos "Supervisión Directa" y "Supervisión Indirecta".

Piensa en la Supervisión Indirecta como un profesor que observa a un estudiante resolver un problema paso a paso en una pizarra. El profesor utiliza un proceso especial donde el robot predice de forma autorregresiva los pensamientos intermedios (latentes) uno por uno. Para guiar esta predicción lenta y serial, el modelo profesor (que ya ha resuelto el problema usando texto completo) comparte sus estados cerebrales internos (activaciones) con el robot estudiante. El robot aprende a imitar estos estados internos para generar su propia secuencia de pensamientos, uno tras otro, como una línea de fichas de dominó cayendo. Es preciso pero lento.

La Supervisación Directa, que los autores presentan como un nuevo método llamado C-MTP, es más como un profesor entregándole al estudiante una pila de tarjetas índice. Cada tarjeta representa un fragmento del proceso de pensamiento. El profesor dice: "Aquí está la respuesta para todo este fragmento de pensamiento; solo aprende a predecir las palabras que van en esta tarjeta". Esto permite que el robot aprenda muchos pasos al mismo tiempo, como leer una página entera de un libro en lugar de una letra a la vez. Es mucho más rápido y eficiente.

Los investigadores probaron estos dos métodos en tres niveles de dificultad, como escalar una montaña con tres campamentos.

Campamento 1: El Camino Fácil y Estructurado.
En problemas matemáticos simples donde el pensamiento es corto y ordenado (como "18 por 12 es igual a 216"), el nuevo método de Supervisión Directa (C-MTP) fue una superestrella. Fue más rápido de entrenar, necesitó menos ejemplos para aprender y, de hecho, fue mejor resolviendo problemas que nunca había visto en comparación con el viejo y lento método Indirecto. Era como un velocista que podía correr tan rápido como el maratonista pero con mucho menos entrenamiento.

Campamento 2: El Camino Verboso y Charlatán.
Cuando los problemas se volvieron un poco más complejos y el pensamiento requería explicaciones largas y charlatanas (como escribir frases completas por cada paso), la situación se invirtió. El método de Supervisión Indirecta tomó la delantera. ¿Por qué? Porque fue diseñado para comprimir pensamientos largos y desordenados en unas pocas notas cortas. El método Directo tuvo dificultades aquí porque intentaba predecir cada una de las palabras de la larga explicación, y si cometía un pequeño error, toda la cadena de pensamiento se desmoronaba. Era como intentar copiar una historia larga adivinando cada palabra; un error tipográfico arruina todo el párrafo.

Campamento 3: La Cumbre Realista y Caótica.
Finalmente, los investigadores probaron ambos métodos en los problemas más difíciles y realistas: acertijos matemáticos complejos con cientos de palabras de razonamiento, tal como lo haría un humano. Aquí es donde la historia toma un giro triste. Ambos métodos, el rápido Directo y el cuidadoso Indirecto, fracasaron estrepitosamente. Su rendimiento cayó aproximadamente un 65% en comparación con el método estándar de dejar que el robot escribiera todos sus pensamientos.

Los autores descubrieron que, en estas tareas largas y realistas, ninguno de los dos métodos podía manejar la complejidad. El método Directo seguía cometiendo pequeños errores matemáticos que se acumulaban, y el método Indirecto no podía comprimir los pensamientos largos y desordenados con suficiente precisión. Resulta que el actual "lenguaje secreto" de la Cadena de Pensamiento Continua no está listo para el mundo real todavía. El artículo sugiere que los benchmarks fáciles que usamos para probar estos robots nos están engañando, haciéndolos parecer más inteligentes de lo que realmente son cuando se enfrentan a problemas reales y desordenados.

Al final, el artículo no declara un único ganador. En cambio, nos dice que, si bien el nuevo método Directo es una herramienta fantástica y veloz para tareas simples y estructuradas, aún nos queda un largo camino por recorrer antes de que los robots puedan pensar en códigos secretos para problemas complejos del mundo real. El sueño de un robot que piense rápido y de forma inteligente sin tener que escribirlo todo sigue siendo un trabajo en progreso.

Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLMs) logran un alto rendimiento en tareas de razonamiento complejo mediante la generación de trazas extensas de Cadena de Pensamiento (Chain-of-Thought o CoT). Sin embargo, la generación autorregresiva de estas secuencias de tokens verbosos incurre en costos computacionales significativos durante la inferencia. Los métodos de Cadena de Pensamiento Continua (ContinuousCoT) buscan mitigar esto reemplazando los tokens de razonamiento discretos por una secuencia corta de representaciones latentes densas. Los enfoques existentes se dividen generalmente en dos categorías: supervisión indirecta, que entrena a los modelos para predecir de forma autorregresiva latentes que luego son decodificados o destilados (p. ej., COCONUT, CODI), y supervisión directa, que intenta mapear las trazas de razonamiento directamente a espacios latentes (p. ej., CoLaR).

Los métodos indirectos sufren de un entrenamiento secuencial lento debido a la generación de latentes autorregresiva y a menudo dependen de complejos procesos de destilación. Los métodos directos, aunque permiten un entrenamiento paralelo, históricamente han tenido dificultades con desafíos de optimización, como el modelado de distribuciones complejas sobre espacios latentes, y han mostrado una degradación de rendimiento en trazas de razonamiento verbosas o realistas en comparación con el ajuste fino (fine-tuning) estándar de CoT.

Metodología: C-MTP
Los autores presentan C-MTP (Continuous Chain-of-Thought via Multi-Token Prediction), un nuevo marco de supervisión directa diseñado para simular el razonamiento latente continuo de manera más eficiente.

Concepto Central: En lugar de modelar los latentes como distribuciones Gaussianas parametrizadas (como en CoLaR) o predecirlos de forma autorregresiva (como en los métodos indirectos), C-MTP trata un latente intermedio como una embedding de token agregada de un intervalo (span) de tokens de la traza CoT original.
Objetivo de Entrenamiento: El modelo se entrena utilizando Predicción de Múltiples Tokens (MTP). Dada una traza de razonamiento $y$ , esta se particiona en intervalos no superpuestos de $s$ tokens. Cada intervalo se comprime en un único vector latente $z_i$ promediando las embeddings de los tokens. El modelo es entonces entrenado para predecir los $s$ tokens que componen cada intervalo latente en paralelo, condicionado al prompt de entrada y a los latentes previos.
Función de Pérdida: El objetivo combina una pérdida de predicción de múltiples tokens (prediciendo los tokens dentro de cada intervalo) y una pérdida estándar de generación de respuesta. Los autores también emplean un profesor de CoT para la destilación de conocimiento ( $L_{KD}$ ) para guiar el entrenamiento, aunque los estudios de ablación muestran que C-MTP sigue siendo efectivo sin él.
Inferencia: Durante la fase de razonamiento, el modelo muestrea $s$ tokens en cada paso, agrega sus embeddings para formar el siguiente latente, y repite el proceso hasta que se genera un token de fin de pensamiento (end-of-thinking). El modelo luego cambia a la generación autorregresiva estándar para la respuesta final.

Contribuciones Clave

Marco C-MTP: Un nuevo método de supervisión directa que utiliza MTP para alinear el razonamiento latente continuo con los objetivos estándar de preentrenamiento, permitiendo un entrenamiento totalmente paralelo mediante teacher forcing.
Comparación Sistemática de Regímenes: Una evaluación empírica exhaustiva a través de tres regímenes distintos de trazas CoT:
- Estructurado: Expresiones matemáticas compactas (p. ej., GSM8k-Aug).
- Semi-Natural: Explicaciones de lenguaje natural verbosas (p. ej., GSM8k-Aug-NL).
- Realista: Trazas largas y complejas generadas por LLMs potentes (p. ej., dataset MATH).
Identificación de Limitaciones: El artículo demuestra que, si bien C-MTP sobresale en entornos estructurados, tanto los métodos de supervisión directa como los indirectos fallan al compararse con el ajuste fino de CoT estándar (CoT-SFT) en tareas de razonamiento de largo horizonte y realistas.

Resultados Experimentales

Trazas Estructuradas (GSM8k-Aug): C-MTP supera significativamente a los métodos de supervisión directa existentes (CoLaR) en todas las tasas de compresión. Iguala o supera a los métodos de supervisión indirecta (CODI) en precisión, siendo más rápido (aceleración de aproximadamente 2x en el entrenamiento) y más eficiente en muestras. C-MTP también demuestra una superior generalización a estructuras de problemas fuera de distribución en comparación con el entrenamiento secuencial de los métodos indirectos.
Trazas Semi-Naturales (GSM8k-Aug-NL): En trazas verbosas, la supervisión indirecta (CODI) supera a los métodos directos. Los autores atribuyen esto a la naturaleza de "compresión" de los métodos indirectos, que obliga al modelo a descartar tokens de relleno, mientras que los métodos directos luchan con la acumulación de errores al verse forzados a predecir trazas verbosas completas mediante teacher forcing.
Trazas Realistas (MATH): En tareas complejas con cientos de tokens de razonamiento, ambos regímenes de supervisión, directo e indirecto, colapsan, alcanzando solo ~30–35% de la precisión del CoT-SFT estándar. El análisis revela que los errores en los pasos iniciales del razonamiento (particularmente en expresiones aritméticas) se propagan de forma irreversible, conduciendo a respuestas finales incorrectas.

Significancia y Reivindicaciones
El artículo sostiene que los benchmarks actuales que dependen de trazas estructuradas o semi-naturales sobreestiman la utilidad práctica de los métodos de ContinuousCoT. Si bien C-MTP ofrece una solución más eficiente y efectiva para tareas de razonamiento estructurado, las limitaciones fundamentales de comprimir trazas de razonamiento largas y complejas en presupuestos latentes fijos permanecen sin resolver. Los autores sugieren que el progreso futuro podría requerir enfoques híbridos que cambien adaptativamente entre el razonamiento basado en tokens y el continuo, en lugar de depender únicamente de un régimen de supervisión. El trabajo subraya la necesidad de evaluar en tareas de largo horizonte y realistas para valorar verdaderamente la viabilidad del razonamiento latente.

Más como este