Resumen Técnico: El Razonamiento Latente Geométrico Induce Generaciones más Cortas en los LLM

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) actualmente resuelven problemas complejos generando largas cadenas de tokens de razonamiento explícitos (por ejemplo, Cadena de Pensamiento o CoT). Aunque es efectivo, este enfoque incurre en una carga computacional significativa, es sensible a la longitud de la generación y obliga a que los pasos intermedios de razonamiento se conviertan en tokens de lenguaje natural discretos. Esta rigidez obliga a los modelos a comprometerse prematuramente con tokens de vocabulario específicos en cada paso, lo que potencialmente oscurece la verdadera computación interna.

Si bien el "razonamiento latente" ofrece una alternativa continua al desplazar la computación intermedia hacia espacios de representación continuos, los métodos existentes enfrentan desafíos fundamentales. Los enfoques que alimentan estados ocultos sin restricciones de vuelta al modelo sufren de desajustes en el espacio de embeddings, mientras que aquellos que dependen de módulos auxiliares o destilación de conocimiento introducen fricciones arquitectónicas y dependencias de entrenamiento complejas. Un desafío central sigue siendo: determinar la estructura óptima para los estados continuos intermedios que se alinee con la geometría preentrenada del modelo.

Metodología: Razonamiento Latente Geométrico (GLR)

Los autores proponen el Razonamiento Latente Geométrico (GLR), que redefine el razonamiento latente como un problema de aproximación de trayectorias geométricas dentro del espacio de embeddings de tokens preentrenado del modelo.

Concepto Central

En lugar de aprender un espacio latente sin restricciones, el GLR plantea la hipótesis de que existen estados intermedios útiles en las vecindades locales de las trayectorias inducidas por tokens discretos. El método trata la CoT textual estándar como una trayectoria discreta a través del espacio de embeddings y aprende a aproximar estas transiciones utilizando vectores continuos.

Arquitectura y Entrenamiento

1. Cabeza de Transición Latente: Se añade una capa lineal ligera ($g_\phi$) al modelo de lenguaje. Esta toma el estado oculto actual ($h_{i-1}$) y predice un vector de desplazamiento continuo ($\Delta \hat{e}_i$) en el espacio de embeddings.
2. Objetivo de Entrenamiento: El modelo se entrena mediante un procedimiento de dos pasadas sobre trazas de CoT textual:
   • Primera Pasada: El modelo procesa la secuencia discreta original para recolectar desplazamientos de embeddings exactos ($\Delta e_i = e_i - e_{i-1}$) entre tokens de razonamiento consecutivos.
   • Segunda Pasada: Los tokens de razonamiento discretos se reemplazan por estados latentes continuos generados mediante la aplicación del output de la cabeza de transición al estado latente anterior.
   • Función de Pérdida: La pérdida total combina la Entropía Cruzada (CE) estándar sobre los tokens de la respuesta final con un Error Cuadrático Medio (MSE) con descuento de posición sobre las transiciones latentes. El factor de descuento ($\gamma$) reduce la penalización para las posiciones de razonamiento posteriores, permitiendo que el modelo se desvíe más de la traza de texto original a medida que el razonamiento progresa. Crucialmente, no se aplica CE a nivel de token en las posiciones de reemplazo latente, ya que estos estados no están destinados a ser verbalizables de forma independiente.
3. Inferencia: En la inferencia, el modelo inicia el razonamiento con un número fijo de pasos latentes continuos ($K$). Para cada paso, la cabeza de transición predice una actualización, y el embedding continuo resultante se retroalimenta al modelo. Tras $K$ pasos, el modelo reanuda la decodificación autoregresiva estándar para generar la respuesta final.

Contribuciones Clave

• Formulación Geométrica: El artículo formula el razonamiento latente como un problema de aproximación de trayectorias geométricas dentro del espacio de embeddings de tokens preentrenado, ofreciendo una alternativa estructurada a la retroalimentación de estados ocultos sin restricciones.
• Método GLR: Introducción de un método que aprende actualizaciones continuas en el espacio de embeddings a partir de trayectorias de CoT textual utilizando un objetivo de transición simple con descuento de posición.
• Reducción Emergente de la Longitud: Demostración de que el GLR induce generaciones sustancialmente más cortas en benchmarks de razonamiento matemático sin un objetivo o penalización de longitud explícita.
• Compromiso Precisión-Longitud: Identificación de un compromiso controlable gobernado por el número de pasos latentes ($K$), exponiendo un nuevo mecanismo de inferencia para asignar computación entre actualizaciones latentes continuas y generación de texto explícito.

Resultados Experimentales

Los autores evaluaron el GLR utilizando modelos Qwen3 (0.6B y 1.7B) en seis benchmarks de razonamiento matemático (GSM8K, MATH500, MultiArith, AMC23, OlympiadBench y SVAMP), comparándolo contra una línea base de Ajuste Fino Supervisado de Cadena de Pensamiento (CoT-SFT) estándar.

• Rendimiento bajo Presupuesto Constreñido: Bajo presupuestos de generación estrictamente limitados (por ejemplo, $\le$ 256 pasos), el GLR supera significativamente al CoT-SFT. Por ejemplo, en MATH500 con un presupuesto de 512 pasos, el CoT-SFT alcanzó una precisión cercana a cero, mientras que el GLR-10 resolvió más del 40% de los problemas. Esto sugiere que las transiciones latentes reemplazan los prefijos de razonamiento explícito redundantes, permitiendo que el modelo reanude la decodificación desde un estado de razonamiento más avanzado.
• Reducción de la Longitud de Generación: Para las respuestas correctas, el GLR requiere sustancialmente menos pasos de generación totales que el CoT-SFT. En MATH500, la mediana de la longitud de generación para CoT-SFT fue de $\sim$2,000 tokens, mientras que presupuestos latentes moderados (GLR-10, GLR-20) redujeron esto a $\sim$350 pasos. Esta reducción es emergente y no fue optimizada explícitamente mediante una penalización de longitud.
• Generalización: La reducción de las trazas de razonamiento redundantes se observó en diversos benchmarks, incluyendo aritmética simple (SVAMP), donde el GLR redujo las longitudes medianas de generación de $\sim$500–700 tokens a $\sim$100 pasos.
• Dinámicas Latentes: Un estudio de ablación con $K=0$ (desactivando el despliegue latente durante la inferencia pero manteniendo el backbone entrenado con GLR) mostró que el modelo revertía a generaciones explícitas largas. Esto confirma que la reducción de longitud es impulsada por el uso de desplazamientos continuos aprendidos durante la inferencia, no simplemente por la receta de entrenamiento o el enmascaramiento de la pérdida.
• No Monotonicidad: La relación entre los pasos latentes ($K$) y la precisión es no monotónica. Valores moderados de $K$ producen el mejor compromiso, mientras que excesivos pasos latentes (por ejemplo, $K=80$ o $100$) pueden degradar la precisión debido a la acumulación de deriva geométrica, donde los errores en la cabeza de transición alejan el estado latente de la trayectoria de razonamiento inducida por los tokens.

Significancia y Reivindicaciones

El artículo sostiene que los espacios de embeddings de tokens preentrenados pueden soportar estados de razonamiento intermedios útiles más allá de los tokens discretos. Al reemplazar el razonamiento explícito temprano con pasos latentes continuos, el GLR permite alcanzar respuestas correctas con sustancialmente menos pasos de generación totales.

Los autores posicionan al GLR como una base geométrica con principios para un razonamiento eficiente en términos de tokens. Expone un nuevo compromiso entre el presupuesto de computación latente, la longitud de salida y la precisión, proporcionando un mecanismo simple para controlar el costo y la forma del razonamiento en tiempo de prueba. El trabajo sugiere que las trayectorias continuas actúan como estados de razonamiento intermedios compactos, evitando eficazmente las transiciones discretas redundantes que a menudo son necesarias para un texto legible pero que aportan poco contenido de razonamiento.