Resumen Técnico: TYLER (Razonamiento Latente Tipado)

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) actuales dependen del prompting de Cadena de Pensamiento (Chain-of-Thought o CoT) para resolver tareas de razonamiento complejo. Aunque es efectivo, el CoT externaliza la computación intermedia como tokens de texto discretos, lo que introduce redundancia, aumenta los costos de inferencia e impone una interfaz rígida donde el razonamiento debe articularse completamente antes de la respuesta final.

El razonamiento latente ofrece una alternativa al mantener la computación intermedia en representaciones continuas. Sin embargo, los métodos de razonamiento latente existentes sufren dos limitaciones primarias:

1. Falta de Diferenciación Funcional: Los enfoques actuales suelen tratar los tokens latentes como un portador de computación uniforme y no diferenciado. No logran distinguir entre los diferentes roles funcionales de los pasos de razonamiento, tales como la orientación global, las actualizaciones de estado local o la abstracción procedimental.
2. Control Rígido o Externo: Los métodos existentes emplean ya sea una posición predefinida para la computación latente (posición fija) o dependen de disparadores externos/señales de incertidumbre para decidir cuándo invocar la computación latente. No permiten que el propio LLM decida dinámicamente cuándo pensar, qué tipo de computación realizar o cuánto presupuesto computacional asignar durante la decodificación autorregresiva.

2. Metodología: Marco de Trabajo TYLER

Los autores proponen TYLER (Razonamiento Latente Tipado), un marco que redefine el razonamiento latente como un problema de computación en línea, tipada y con presupuesto. La innovación central es una política que intercala la decodificación de tokens visibles con la invocación de operadores latentes especializados.

.1 Operadores Latentes Tipados

TYLER introduce tres operadores latentes distintos, cada uno diseñado para un rol computacional específico:

• $O_g$ (Orientación Global): Soporta la planificación global y la orientación del problema.
• $O_s$ (Actualización de Estado Local): Soporta actualizaciones al estado de razonamiento en evolución.
• $O_p$ (Abstracción Procedimental): Captura patrones procedimentales reutilizables.

En lugar de un único espacio latente, estos operadores mapean el contexto de razonamiento actual a secuencias de tokens latentes condicionados por el operador.

2.2 Arquitectura y Decodificación

El marco extiende la interfaz de decodificación autorregresiva estándar:

• Invocación de Operadores: El vocabulario del modelo se extiende con tokens especiales ($u_g, u_s, u_p$) correspondientes a los tres operadores. En cada paso de decodificación, el modelo elige entre emitir un token de texto visible o invocar uno de los operadores tipados.
• Síntesis Latente: Cuando se invoca un operador, un Módulo de Síntesis Latente genera una secuencia de tokens latentes. Este módulo utiliza capas LoRA (Adaptación de Bajo Rango) añadidas al backbone (manteniendo los parámetros originales congelados) y utiliza tokens de consulta específicos del operador y cabezales de proyección para sintetizar tokens compatibles con el espacio de incrustación (embedding) de entrada del LLM.
• Integración de Contexto: Los tokens latentes sintetizados se anexan al contexto como computación "silenciosa", guiando la decodificación visible subsiguiente sin ser expuestos al usuario.

2.3 Procedimiento de Entrenamiento en Dos Etapas

TYLER se entrena en dos etapas distintas:

1. Etapa 1 (Optimización de la Síntesis Latente): El backbone del LLM permanece congelado. Se optimizan el Modelo de Síntesis Latente y los componentes específicos del operador (tokens de consulta, cabezales de proyección). El modelo aprende a sintetizar tokens latentes que apoyen eficazmente la predicción del siguiente token visible. Se utilizan reglas heurísticas basadas en la estructura de los datos de CoT (por ejemplo, inicio de respuesta, límites de pasos, bloques de código) para asignar tipos de operadores a posiciones específicas en las trazas de entrenamiento.
2. Etapa 2 (Optimización de la Invocación de Operadores): Los parámetros de síntesis latente se congelan. El backbone del LLM se ajusta (vía LoRA) para aprender una política de invocación de operadores consciente del presupuesto. Esta etapa utiliza Optimización de Política Relativa de Grupo (GRPO). La función de recompensa combina el rendimiento de la tarea con una penalización por exceder un presupuesto de llamadas latentes predefinido ($B_O$). Se introduce un objetivo auxiliar anclado al operador para estabilizar el aprendizaje en posiciones de invocación dispersas, asegurando que la política aprenda a seleccionar el tipo de operador y el momento correctos.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Formulación: Formula el razonamiento latente como un problema de computación en línea, tipada y con presupuesto, permitiendo que los LLM aprendan cuándo invocar la computación latente, qué operación realizar y cuánto presupuesto asignar.
2. Marco de Trabajo (TYLER): Introduce un marco que intercala la decodificación visible con tres operadores latentes tipados (Orientación Global, Actualización de Estado, Abstracción Procedimental), permitiendo roles funcionales diferenciados en el espacio latente.
3. Validación Empírica: Experimentos extensos demuestran que TYLER mejora la precisión sobre bases sólidas, se generaliza a través de diversos dominios de razonamiento (matemáticas, ciencia, teoremas) y exhibe una capacidad de adaptación continua superior con menor olvido en comparación con métodos existentes.

de Resultados Experimentales

Los experimentos se realizaron en tres modelos base (Qwen2.5-1.5B, SmolLM3-3B, Qwen3-4B) a través de cuatro benchmarks: GSM8K, MATH-500, GPQA-Diamond y TheoremQA.

• Ganancias de Rendimiento: TYLER logra mejoras consistentes. En SmolLM3-3B, mejora la precisión promedio en 14.49 puntos sobre CoT y 4.30 puntos sobre la base más fuerte (MemGen). En Qwen3-4B, mejora en 9.22 puntos sobre CoT y 3.13 puntos sobre la base previa más fuerte (GRPO).
• Generalización Trans-Dominio: A pesar de haber sido entrenado principalmente en trazas matemáticas (OpenR1-Math), TYLER se generaliza efectivamente a razonamientos científicos (GPQA) y orientados a teoremas (TheoremQA), lo que sugiere que los operadores latentes aprendidos se transfieren entre dominios.
• Aprendizaje Continuo: En un entorno de adaptación secuencial (Código $\to$ Ciencia $\to$ Matemáticas $\to$ Teoremas), TYLER alcanza el mayor rendimiento final con el menor puntaje de olvido ($F=2.3$), superando a SFT, GRPO y MemGen. Esto indica un mejor equilibrio entre estabilidad y plasticidad.
• Estudios de Ablación:
  • Eliminar la naturaleza "tipada" (compartir operadores) o intercambiar los roles de los operadores degrada significativamente el rendimiento, confirmando la necesidad de la diferenciación funcional.
  • Los esquemas de invocación aleatorios o fijos funcionan peor que la política aprendida, probando el valor del enrutamiento adaptativo.
  • La pérdida "anclada al operador" es crucial para estabilizar el rendimiento en escenarios de invocación dispersos.
• Eficiencia: TYLER logra una mayor precisión con menor latencia y menos tokens totales en comparación con CoT y otros baselines latentes. Aumentar el presupuesto latente más allá de 5 llamadas produce rendimientos decrecientes.

5. Significado y Reivindicaciones

El artículo afirma que TYLER representa un cambio de ver el razonamiento latente simplemente como una forma comprimida de CoT a verlo como un mecanismo de computación que permite a los modelos elegir entre la decodificación visible y la computación silenciosa y especializada.

• Especialización Funcional: Los resultados sugieren que los operadores latentes pueden adquirir roles funcionales distintos y diferenciados (planificación, seguimiento de estado, abstracción) en lugar de colapsar en una representación homogénea.
• Asignación Adaptativa de Recursos: El marco demuestra con éxito que un LLM puede aprender a asignar su presupuesto computacional interno dinámicamente basándose en la dificultad de la tarea y la etapa de razonamiento, en lugar de depender de esquemas o disparadores externos rígidos.
• Robustez: El método muestra robustez a través de diferentes escalas de modelos y dominios, manteniendo las ganancias de rendimiento incluso cuando los datos de entrenamiento son de un dominio específico (matemáticas) pero la evaluación es multidominio.

Los autores señalan limitaciones, incluyendo la dependencia de la supervisión heurística de fronteras en la Etapa 1, la evaluación actual en benchmarks de razonamiento con evaluación tipo verificador, y la reducida auditabilidad del razonamiento "silencioso" en comparación con el CoT explícito. Posicionan a TYLER como una contribución de investigación hacia la computación latente controlable más que como un sistema desplegado.