💬 NLP

Latent Reasoning with Supervised Thinking States

Este artículo propone "Thinking States", un método de razonamiento latente que integra procesos de pensamiento directamente en el procesamiento de los tokens de entrada, logrando un rendimiento comparable al de la cadena de pensamiento (CoT) pero con una latencia significativamente menor y una mejor capacidad de extrapolación.

Autores originales: Ido Amos, Avi Caciularu, Mor Geva, Amir Globerson, Jonathan Herzig, Lior Shani, Idan Szpektor

Publicado 2026-02-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ido Amos, Avi Caciularu, Mor Geva, Amir Globerson, Jonathan Herzig, Lior Shani, Idan Szpektor

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El problema: El "Pensador que habla demasiado" 🗣️🧠

Imagina que tienes que resolver un problema matemático complejo. Tienes dos formas de hacerlo:

El método tradicional (Chain-of-Thought o CoT): Es como un estudiante que, para no perderse, escribe cada pequeño paso en una hoja de papel gigante. "Primero sumo 2+2, que es 4. Luego multiplico 4 por 5...". El problema es que, si el problema es muy largo, la hoja de papel se vuelve infinita, tardas una eternidad en escribir y gastas muchísima tinta (en el mundo de la IA, esto significa mucho tiempo de procesamiento y mucho dinero en electricidad).
El método rápido (Sin razonamiento): Es como alguien que intenta dar la respuesta de golpe, sin pensar. Es muy rápido y no gasta tinta, pero casi siempre se equivoca en problemas difíciles porque no se detuvo a procesar la información.

¿Existe un punto medio? Aquí es donde entra el nuevo método de este estudio: "Thinking States" (Estados de Pensamiento).

La solución: "El susurro mental" 🤫✨

Los investigadores han inventado una forma de que la Inteligencia Artificial razone mientras lee, pero sin tener que escribir todo ese texto largo en la pantalla.

Imagina que, en lugar de escribir cada paso en una hoja de papel, el estudiante tiene una "voz interior". Mientras lee la pregunta, se dice a sí mismo pequeñas notas mentales rápidas: "Ok, esto es una multiplicación..." o "Recuerda que el número era 15".

Estas notas no se escriben en el papel final, sino que se quedan en su "memoria de corto plazo" para ayudarle a entender la siguiente frase.

¿Cómo funciona técnicamente (pero en lenguaje humano)?

El sistema utiliza tres componentes que funcionan como un equipo de cocina:

El Lector (El LLM): Es el chef principal que lee la receta (la pregunta).
El Bloc de Notas Mental (Thinking Block): Es un asistente que escucha al chef y escribe notas muy breves en un post-it.
La Compresión (Compression Block): Como no podemos tener miles de post-its volando, este asistente toma todas las notas y las "comprime" en una sola cápsula de información súper potente que el chef puede absorber de un vistazo antes de seguir leyendo.

El resultado: La IA razona profundamente (como si estuviera escribiendo todo el proceso), pero lo hace de forma "latente" (interna), lo que la hace mucho más rápida y eficiente.

¿Por qué es esto un gran avance? 🚀

El estudio demuestra tres cosas increíbles:

Es más inteligente que los métodos anteriores: Otros intentos de hacer que la IA "piense en secreto" eran como intentar enseñar a alguien a pensar sin darle instrucciones claras. Este método usa "profesores" que le dicen exactamente qué debe pensar en cada paso, lo que lo hace mucho más preciso.
Es un rayo de velocidad: Es mucho más rápido que el método de "escribir todo el razonamiento" (CoT). Es como si pudieras resolver un examen mentalmente en lugar de tener que redactar un ensayo por cada pregunta.
Tiene "memoria de elefante" para secuencias largas: En tareas de seguimiento (como seguir una serie de movimientos de una moneda), este método no se pierde, incluso si la secuencia es más larga de lo que vio durante su entrenamiento. Es como si el "susurro mental" le permitiera mantener el hilo de la historia sin importar cuánto dure.

En resumen... 📝

En lugar de obligar a la IA a "pensar en voz alta" (lo cual es lento y costoso), los investigadores han enseñado a la IA a "pensar para sus adentros" de una manera organizada y súper comprimida. Es el equivalente a pasar de un cuaderno de notas infinito a tener una mente ágil y concentrada.

Resumen Técnico: Razonamiento Latente con Estados de Pensamiento Supervisados

1. El Problema: El Costo de la Eficiencia en el Razonamiento

El razonamiento mediante Cadena de Pensamiento (Chain-of-Thought, CoT) ha permitido que los Grandes Modelos de Lenguaje (LLMs) resuelvan tareas complejas, pero introduce un problema crítico: el costo de inferencia. Generar largas secuencias de razonamiento en lenguaje natural aumenta significativamente la latencia y el uso de cómputo.

Existen intentos previos para mitigar esto mediante el "razonamiento latente" (representar el pensamiento como vectores continuos en lugar de palabras), pero estos enfrentan dos obstáculos:

Dificultad de supervisión: Al ser vectores continuos, es difícil saber si el "pensamiento" es correcto sin usar técnicas costosas como la Backpropagation Through Time (BPTT).
Limitación de expresividad: Algunos métodos intentan comprimir el razonamiento en la representación de la consulta, pero carecen de la capacidad de "profundidad" que ofrece el CoT tradicional.

2. Metodología: El Modelo Thinking States

Los autores proponen una arquitectura que permite razonar mientras se procesa la entrada, sin necesidad de añadir tokens de pensamiento al contexto final, manteniendo así una longitud de contexto fija.

Componentes clave:

División por bloques (Chunking): La secuencia de entrada se divide en fragmentos (chunks) no superpuestos.
Bloque de Pensamiento ( $T$ ): Un decodificador Transformer ligero que genera una secuencia de razonamiento en lenguaje natural a partir de las representaciones de un bloque de tokens.
Bloque de Compresión ( $C$ ): Un codificador que transforma esa secuencia de lenguaje natural (de longitud variable) en un estado de pensamiento ( $S$ ) de tamaño fijo.
Recurrencia y Recurrencia de Capas Profundas a Superficiales: El estado $S$ se inyecta en las representaciones de los tokens del siguiente bloque en una capa inicial (shallow layer) del modelo base. Esto permite que el pensamiento influya en todo el procesamiento posterior del LLM.

Innovación en el Entrenamiento (Supervisión con Lenguaje Natural):
A diferencia de otros métodos latentes, Thinking States utiliza anotaciones en lenguaje natural. Durante el entrenamiento, se emplea Teacher-Forcing:

Se utiliza el razonamiento real (de un modelo maestro o reglas) para construir los estados objetivo.
Esto permite que el entrenamiento sea totalmente paralelo, evitando el uso de BPTT y reduciendo drásticamente el costo computacional.

3. Contribuciones Principales

Mecanismo de razonamiento recurrente: Permite al modelo "pensar" internamente mientras lee la entrada, sin aumentar la longitud del contexto.
Entrenamiento eficiente y paralelo: Al usar lenguaje natural para supervisar los estados, se evita la complejidad de optimizar vectores continuos mediante BPTT.
Arquitectura de inyección de estado: El diseño de inyectar estados comprimidos en capas iniciales permite una mayor expresividad sin el costo de tokens adicionales.

4. Resultados Experimentales

El modelo fue evaluado en tareas de seguimiento de estados (state-tracking), preguntas de múltiples saltos (Multi-Hop QA) y problemas matemáticos (GSM8K).

Generalización de longitud: En tareas de seguimiento de estados (como Paridad o Asignación de Variables), Thinking States superó significativamente al CoT en su capacidad de extrapolar a secuencias mucho más largas de las vistas en el entrenamiento.
Precisión y Velocidad:
- En Multi-Hop QA, igualó o superó la precisión de CoT con una latencia mucho menor.
- En GSM8K (matemáticas), superó a otros métodos de razonamiento latente (como Coconut o iCoT) y logró una aceleración de aproximadamente 2.66x respecto a CoT.
Eficiencia de entrenamiento: El tiempo de entrenamiento se mantiene casi constante independientemente de la profundidad del razonamiento, mientras que los métodos basados en BPTT crecen linealmente en costo.

5. Significancia y Conclusiones

El trabajo demuestra que es posible alcanzar un razonamiento de alto nivel sin el costo prohibitivo de generar tokens de texto intermedios. La capacidad de transformar lenguaje natural en estados latentes comprimidos permite un equilibrio óptimo entre interpretabilidad (podemos ver qué está "pensando" el bloque $T$ ) y eficiencia computacional.

Este enfoque abre la puerta a modelos que pueden asignar cómputo de manera dinámica y ofrece una base sólida para futuros entrenamientos mediante Aprendizaje por Refuerzo (RL), donde el modelo podría optimizar sus propios estados de pensamiento internos.