💬 NLP

J-CoT: Chain-of-Thought in J-Space

Este artículo presenta J-CoT, un marco de razonamiento recurrente que mejora los métodos de razonamiento latente existentes mediante la propagación de estados intermedios como coeficientes indexados por vocabulario dentro de un sistema de coordenadas "espacio-J", permitiendo así una computación eficiente sin la necesidad de justificaciones totalmente verbalizadas o de una recurrencia de estado oculto densa.

Autores originales: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Publicado 2026-07-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El lenguaje secreto de las máquinas pensantes

Imagina que estás intentando enseñarle a un robot superinteligente cómo resolver un rompecabezas difícil. En el pasado, la mejor manera de hacer esto era obligar al robot a "pensar en voz alta". Tendría que escribir cada uno de los pasos de su razonamiento en oraciones perfectas en inglés antes de poder darte la respuesta final. Esto se llama Cadena de Pensamiento (Chain-of-Thought), y funciona bien porque ralentiza al robot, permitiéndole revisar su trabajo. Pero hay un inconveniente: obligar a un robot a hablar en oraciones completas es como pedirle a un humano que susurre todo su monólogo interno a un amigo antes de que pueda siquiera terminar un pensamiento. Es lento, y desperdicia energía en gramática y narración cuando el robot solo necesita hacer algo de matemáticas o lógica.

En el otro extremo del espectro, algunos científicos intentaron dejar que el robot pensara en total silencio, pasando señales secretas e invisibles entre pasos. Esto se llama Razonamiento Latente. Es más rápido, pero es como intentar pasar una nota en clase que está escrita en un código tan denso y desordenado que nadie sabe exactamente qué información es realmente importante. El robot podría perderse en un mar de números sin una forma clara de organizar sus pensamientos.

Así que, la gran pregunta para los investigadores es: ¿Existe un punto medio? ¿Podemos darle al robot una forma de transmitir sus pensamientos de manera organizada y clara, pero sin perder tiempo convirtiendo cada pequeña idea en una oración completa? Este es el problema que el artículo "J-COT: Chain-of-Thought in J-Space" pretende resolver.

La gran idea del artículo: El "Pensamiento-J"

Los autores presentan un nuevo método llamado J-CoT (J-Chain-of-Thought). En lugar de obligar al robot a escribir una historia o pasar un bloque de datos desordenado, J-CoT utiliza un intermediario ingenioso llamado pensamiento-J (J-thought).

Imagina el cerebro del robot como una biblioteca masiva con millones de libros. Cuando el robot está pensando, normalmente extrae libros enteros (oraciones) para leer y escribir. Pero J-CoT sugiere que, entre pasos, el robot no necesita extraer el libro entero. En su lugar, solo necesita pasar una tarjeta de biblioteca con una lista de números de página y resaltados específicos.

Así es como funciona en su sistema de "espacio-J":

El Índice de Vocabulario: Imagina que cada palabra en el vocabulario del robot tiene una dirección única en su cerebro.
El Pensamiento-J: Al final de un paso de pensamiento, el robot no escribe una oración. En su lugar, observa su cerebro y dice: "Me estoy enfocando en los conceptos relacionados con estas direcciones de palabras específicas, y aquí está la fuerza de mi enfoque". Crea una lista corta de números (coeficientes) adjuntos a estas direcciones de palabras.
El Traspaso: Esta lista es el pensamiento-J. Se pasa al siguiente paso. No es una oración, por lo que es rápido. Pero debido a que está vinculado a palabras específicas, es organizado y significativo.
El Siguiente Paso: El robot toma esta lista, busca las "direcciones" en su cerebro y utiliza esa información para continuar pensando. Puede realizar entonces todo su trabajo pesado en su cerebro completo y complejo sin ser obligado a hablar hasta que esté listo para dar la respuesta final.

Lo que encontraron

Los investigadores probaron esta idea en algunas tareas muy difíciles, como resolver problemas matemáticos complejos, responder preguntas científicas y escribir código de computadora. Compararon J-CoT contra el viejo método de "pensar en voz alta" y el método del "código secreto".

Los resultados fueron bastante prometedores. Encontraron que J-CoT-Zero (una versión que no requería entrenamiento adicional) ya era tan bueno como, o a veces mejor que, los mejores métodos de "código secreto" que probaron. Logró igualar o superar a los mejores exponentes en cada una de las pruebas de referencia que intentaron, desde acertijos matemáticos hasta desafíos de programación.

Aún mejor, cuando entrenaron una versión llamada J-COT-Train para mejorar aún más en la lectura y escritura de estas "tarjetas de biblioteca", esta se convirtió en la clara ganadora. Obtuvo los puntajes más altos en todas las tareas de matemáticas, ciencia, programación y lógica que probaron. Por ejemplo, en un examen de matemáticas difícil llamado MATH-500, la versión entrenada saltó de un puntaje de 50.4% (el mejor anterior) a 54.0%.

Por qué es importante (Y qué no es)

El artículo sugiere que esta interfaz de "espacio-J" es un punto ideal. Demuestra que no necesitas obligar a un robot a hablar en oraciones completas para que piense con claridad, pero tampoco necesitas dejar que deambule en una niebla de números invisibles. Al usar esta lista indexada por vocabulario, el robot puede mantener sus pensamientos organizados sin la carga de la gramática.

Sin embargo, los autores tienen cuidado de no afirmar que esto es una solución mágica que lo resuelve todo para siempre. Señalan que sus resultados se basan en pruebas y modelos específicos. También apuntan que, si bien el "pensamiento-J" es un excelente punto medio, el robot todavía necesita realizar su computación pesada dentro de su cerebro; el pensamiento-J es solo el mensajero.

En resumen, el artículo sugiere que al cambiar cómo un robot transmite sus pensamientos de un paso a otro —de oraciones completas a una lista inteligente basada en palabras— podemos hacerlo más inteligente, más rápido y más eficiente para resolver problemas difíciles. Es como darse cuenta de que, para transmitir un mensaje en una habitación llena de gente, no necesitas gritar un párrafo o susurrar un código secreto; solo necesitas levantar un cartel con las palabras clave adecuadas.

Resumen Técnico: J-CoT: Cadena de Pensamiento en el Espacio J

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) actualmente dependen de dos paradigmas principales para el razonamiento recurrente, los cuales presentan limitaciones:

Cadena de Pensamiento (CoT) Explícita: Este enfoque utiliza el lenguaje natural como la interfaz recurrente. Aunque es efectivo, obliga a que cada estado intermedio sea serializado en tokens discretos. Esto requiere que el modelo se comprometa con formas gramaticales, continuidad discursiva y explicaciones explícitas, incluso cuando estas no son necesarias para el siguiente paso de razonamiento. Restringe el estado pasado entre ciclos a una interpretación lingüística específica.
Razonamiento Latente Denso: Métodos como Coconut propagan estados ocultos continuos entre los pasos de computación, evitando la necesidad de verbalización. Sin embargo, estos métodos pasan un vector oculto denso como un todo. Esta interfaz carece de un mecanismo explícito para seleccionar y organizar la información específica requerida por el siguiente paso de razonía, lo que puede transportar ruido irrelevante o no estructurado.

El artículo postula la necesidad de una interfaz intermedia que esté lingüísticamente fundamentada (anclada en el vocabulario del modelo) pero que sea no sentencial (que no requiera una oración decodificada), permitiendo la computación de espacio oculto completo dentro de los ciclos mientras proporciona un estado estructurado para la recurrencia.

2. Metodología: J-CoT

Los autores introducen J-CoT, un marco de razonamiento recurrente que opera dentro de un espacio J, un sistema de coordenadas indexado por vocabulario derivado de las representaciones ocultas del modelo.

2.1 Concepto Central: El J-Pensamiento (J-Thought)

En lugar de pasar tokens decodificados o vectores densos, J-CoT pasa un J-pensamiento: un estado de coeficientes indexados por vocabulario.

Construcción del Espacio J: El método construye un diccionario para cada capa $\ell$ mediante la retroproyección de las direcciones del vocabulario de la capa final a través del Jacobiano descendente promediado. Esto crea un índice de vocabulario compartido a través de diferentes geometrías de capa.
Extracción y Reconstrucción:
- Escritura (Extracción): En una capa de escritura designada, el modelo extrae coeficientes no negativos sobre el diccionario del espacio J desde posiciones "portadoras" específicas mediante una descomposición de red elástica (elastic-net). Esto forma la matriz del J-pensamiento $A_t$ .
- Lectura (Reconstrucción): En una capa de lectura designada, estos coeficientes se reconstruyen en el flujo residual utilizando el diccionario de la capa de lectura. Una compuerta de lectura aprendida regula la integración de este estado con la línea base condicionada por el prompt.
Posiciones Portadoras: El modelo añade $M$ posiciones portadoras no lingüísticas al input. Estas posiciones participan en la auto-atención estándar y en los cálculos de feed-forward, pero nunca se decodifican. Sirven como las ubicaciones de lectura/escritura para el J-pensamiento.

2.2 Mecanismo Recurrente

El ciclo J-CoT opera de la siguiente manera:

Inicialización: El prompt y los embeddings portadores neutrales se propagan a la capa de lectura.
Lectura: El J-pensamiento anterior se reconstruye en la capa de lectura y se integra mediante una compuerta en las activaciones portadoras.
Computación: Los portadores y el prompt se propagan a través de las capas intermedias del Transformer (desde la capa de lectura hasta la capa de escritura) utilizando representaciones ocultas densas y sin restricciones.
Escritura: En la capa de escritura, se extraen nuevos coeficientes de las activaciones portadoras para formar el siguiente J-pensamiento.
Terminación: La recurrencia se detiene cuando el J-pensamiento se estabiliza (bajo cambio en la norma de Frobenius) o se alcanza un presupuesto máximo de ciclos. El estado final condiciona la decodificación autorregresiva de la respuesta.

2.3 Configuraciones

J-CoT-Zero: Una configuración libre de entrenamiento que utiliza componentes de interfaz fijos (embeddings preentrenados medios, fuerza de lectura unitaria). No requiere optimización específica para J-CoT.
J-CoT-Train: Una variante entrenable que optimiza los embeddings portadores y la compuerta de lectura manteniendo congelados el Transformer subyacente y los diccionarios de la lente J.

3. Contribuciones Clave

Marco J-CoT: Introducción de un marco de razonamiento recurrente que transporta un estado de J-pensamiento indexado por vocabulario a través de ciclos, cerrando la brecha entre el razonamiento lingüístico explícito y la recurrencia latente densa.
Mecanismo de Lectura-Escritura Nativo del Modelo: Desarrollo de un mecanismo que utiliza las coordenadas del espacio J para transportar el estado sin racionales decodificados o recurrencia de estado oculto completo, permitiendo al modelo preservar información difícil de expresar en lenguaje natural mientras mantiene una interfaz estructurada.
Validación Empírica: Evaluación exhaustiva a través de razonamiento matemático, QA científica, generación de código y razonamiento de rutas estructuradas, demostrando que J-CoT iguala o supera a los fuertes baselines.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el backbone Qwen3-8B-Base (y se escaló a modelos más grandes) en ocho benchmarks: GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench y CRUXEval.

Rendimiento vs. Baselines:
- J-CoT-Train alcanzó las puntuaciones más altas en todas las tareas evaluadas, superando al baseline de razonamiento latente más fuerte (SIM-Coconut) con un promedio de 2.7 puntos porcentuales (50.2% vs. 47.5%).
- J-CoT-Zero (libre de entrenamiento) igualó o superó a SIM-Coconut en cada benchmark, mejorando el puntaje promedio a 47.9% sin ninguna optimización específica de J-CoT.
- Ambas variantes de J-CoT superaron significativamente al CoT lingüístico estándar y a los baselines de PS+.
Escalabilidad: J-CoT exhibe un escalamiento positivo tanto con la capacidad del modelo (de 7B a 405B parámetros) como con la profundidad del razonamiento (presupuestos de ciclo adaptativos). Los modelos más grandes se benefician más de los ciclos de razonamiento adicionales.
Espectro de Interfaz: Un experimento de interpolación entre estados latentes densos ( $\lambda=0$ ), J-pensamientos ( $\lambda=0.5$ ) y estados lingüísticos explícitos ( $\lambda=1$ ) reveló una tendencia no monotónica. El rendimiento alcanzó su punto máximo en la configuración J-CoT ( $\lambda=0.5$ ), lo que sugiere que ofrece un equilibrio óptimo entre preservar caminos de razonamiento alternativos (a diferencia del CoT explícito) y reducir la persistencia de caminos inválidos (a diferencia de los estados latentes densos).
Ablaciones: Eliminar la lectura del J-pensamiento o colapsar el J-pensamiento a un solo portador degradó significativamente el rendimiento, validando la necesidad del diseño de múltiples portadores e indexado por vocabulario.

5. Significado y Reivindicaciones

El artículo afirma que J-CoT demuestra la viabilidad de las interfaces recurrentes nativas del modelo como una alternativa superior tanto a los estados intermedios totalmente verbalizados como a los totalmente densos.

Fundamentación Lingüística sin Verbalización: Los resultados apoyan la hipótesis de que un sistema de coordenadas indexado por vocabulario (espacio J) permite la extracción y reutilización de computaciones internas sin la sobrecarga de generar texto intermedio fluido.
Eficiencia y Estructura: Al evitar el compromiso con una interpretación lingüística específica en cada paso, J-CoT permite al modelo transportar hacia adelante computaciones inciertas o distribuidas de manera más efectiva que el CoT explícito, mientras que el indexado por vocabulario proporciona un mecanismo de selección ausente en los métodos latentes densos.
Potencial Libre de Entrenamiento: El fuerte rendimiento de J-CoT-Zero sugiere que el Transformer preentrenado ya contiene un sistema de coordenadas de espacio J utilizable, requiriendo ninguna optimización adicional para aprovechar esta capacidad recurrente.

Los autores concluyen que J-CoT motiva el estudio de tales interfaces, ofreciendo un camino para un razonamiento más eficiente y estructurado en los grandes modelos de lenguaje.