The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models

1. Problema y Motivación

El razonamiento mediante Cadena de Pensamiento (CoT) discreta es el estándar actual para que los Modelos de Lenguaje Grandes (LLMs) resuelvan problemas complejos. Recientemente, se ha propuesto el CoT Latente (pensamiento en espacio continuo) como una alternativa más expresiva. La hipótesis central detrás de este enfoque es la superposición: la capacidad de un modelo para mantener múltiples candidatos de solución o caminos de razonamiento simultáneamente dentro de una única representación vectorial continua, antes de comprometerse con una respuesta final.

Aunque existen argumentos teóricos que sugieren que el espacio latente permite esta superposición (ofreciendo una ventaja fundamental sobre el CoT discreto, que debe elegir un token a la vez), no hay evidencia empírica sólida de que los LLMs actuales realmente utilicen esta capacidad. El objetivo del artículo es investigar si la superposición ocurre realmente en modelos que utilizan CoT latente o si es simplemente una ilusión.

2. Metodología

Los autores investigan esta cuestión a través de tres regímenes experimentales complementarios, utilizando técnicas de interpretabilidad como Logit Lens (para proyectar estados ocultos intermedios al espacio de vocabulario) y sondeo a nivel de entidades (para rastrear la evolución de la creencia sobre las respuestas correctas):

1. Régimen Libre de Entrenamiento (Training-Free):

   • Se utiliza el método "Soft Thinking" (Zhang et al., 2025).
   • Se construyen "pensamientos latentes" como combinaciones convexas (promedios ponderados) de los embeddings de los tokens del vocabulario, basándose en la distribución de logits del modelo.
   • Se analizan modelos preentrenados (QwQ-32B, Qwen2-1.5B) en tareas matemáticas (MATH500, AIME2024, GSM8K).

2. Régimen de Ajuste Fino (Fine-Tuned):

   • Se utiliza el método Coconut (Hao et al., 2024).
   • Se toma un modelo base (GPT-2) y se ajusta finamente mediante un currículo escalonado para que genere pensamientos latentes continuos en lugar de tokens discretos.
   • Se evalúa en la tarea sintética ProsQA (búsqueda en grafos).

3. Régimen de Entrenamiento desde Cero (From-Scratch):

   • Se entrena un modelo pequeño (estilo GPT-2) exclusivamente con pensamientos latentes para resolver la tarea, sin preentrenamiento en lenguaje natural ni exposición a CoT discreto.

3. Contribuciones y Resultados Clave

A. Los modelos preentrenados colapsan la superposición (Régimen Libre de Entrenamiento)

• Hallazgo: Cuando se inyectan tokens "blandos" (superpuestos) en modelos preentrenados, las representaciones internas se comportan casi idénticamente a los tokens discretos.
• Evidencia:
  • Los perfiles de entropía a través de las capas son indistinguibles entre el CoT latente y el discreto; la incertidumbre colapsa a cero en las primeras capas, igual que en el CoT estándar.
  • La divergencia KL y la similitud coseno entre las representaciones de un token "blando" y su token discreto correspondiente (argmax) son extremadamente altas.
  • Conclusión: Los modelos preentrenados no mantienen múltiples soluciones en paralelo. En su lugar, proyectan la entrada superpuesta hacia la interpretación discreta más cercana (el token con mayor probabilidad) casi inmediatamente.

B. Los modelos ajustados finamente aprenden atajos, no superposición (Régimen Fine-Tuned)

• Hallazgo: El modelo Coconut ajustado finamente logra una alta precisión (96.6%) incluso sin utilizar tokens latentes (solo con la pregunta de entrada).
• Evidencia:
  • El análisis de la evolución de la creencia de las entidades muestra que el modelo no realiza un razonamiento paso a paso. La entidad "objetivo" (la respuesta final) domina la distribución de probabilidad desde el paso 0.
  • Conclusión: El modelo ha aprendido un atajo: extrae la respuesta directamente de la representación de la pregunta y la copia a través de los tokens latentes, en lugar de explorar múltiples caminos de razonamiento en superposición.

C. La superposición solo emerge en modelos entrenados desde cero (Régimen From-Scratch)

• Hallazgo: Únicamente los modelos pequeños entrenados desde cero con CoT latente muestran signos genuinos de superposición.
• Evidencia:
  • En estos modelos, la probabilidad de la "siguiente entidad correcta" es alta, pero se mantiene una probabilidad significativa para otros vecinos posibles durante los pasos intermedios.
  • La entropía se mantiene más alta en las capas intermedias en comparación con los modelos preentrenados.
  • Importancia: Sin los tokens latentes, el rendimiento de estos modelos cae drásticamente (de ~94% a ~13%), demostrando que los pensamientos latentes son funcionales y necesarios para el razonamiento.

4. Explicación de las Diferencias

Los autores proponen dos fenómenos complementarios que explican por qué la superposición falla en la mayoría de los casos:

1. Sesgo de Predicción del Siguiente Token: Los modelos preentrenados en lenguaje natural aprenden a comprometerse con un token específico en las últimas capas. Cuando se les presenta una superposición, el objetivo de entrenamiento (predicción discreta) fuerza al modelo a colapsar esa superposición hacia la interpretación más probable.
2. Importancia de la Capacidad (Capacity): Incluso en modelos entrenados desde cero, si la capacidad del modelo es demasiado grande (más capas), tienden a aprender atajos en lugar de utilizar la superposición. La superposición es frágil y requiere una arquitectura suficientemente restringida para emerger como la solución óptima.

5. Significado y Conclusiones

• Desmitificación: El artículo desafía la noción de que el CoT latente ofrece automáticamente una ventaja de "superposición" en los LLMs actuales. Para modelos preentrenados y ajustados finamente, la superposición es una ilusión; el modelo simplemente colapsa la representación continua a una discreta.
• Condiciones para la Superposición: La superposición genuina es un fenómeno que solo ocurre bajo condiciones muy específicas: entrenamiento desde cero en tareas sintéticas y con una capacidad de modelo limitada.
• Implicaciones Futuras:
  • El valor del razonamiento latente podría no ser la superposición, sino la flexibilidad: la capacidad de representar computaciones intermedias que no corresponden a tokens de lenguaje natural, evitando el cuello de botella de la discretización.
  • Se sugiere que la exploración paralela significativa podría requerir superposición a un nivel de abstracción más alto (estrategias de razonamiento completas) en lugar de a nivel de token.

En resumen, el trabajo ofrece una explicación unificada de cuándo y por qué surge la superposición en el razonamiento de CoT continuo, identificando que la mayoría de los enfoques actuales (preentrenados o ajustados) no logran aprovechar esta capacidad teórica debido a sesgos de entrenamiento y limitaciones de arquitectura.