Latent Chain-of-Thought Improves Structured-Data Transformers

Resumen Técnico: La Cadena de Pensamiento Latente Mejora los Transformadores de Datos Estructurados

Enunciado del Problema
Los avances recientes en modelos de lenguaje grandes (LLM) han demostrado que escalar la computación en tiempo de prueba, particularmente mediante el razonamiento de Cadena de Pensamiento (CoT), puede mejorar significativamente las capacidades de razonamiento, superando a veces al simple escalado de parámetros. Si bien mecanismos como "Coconut" (alimentar estados ocultos de vuelta como incrustaciones) y la profundidad recurrente (aplicar iterativamente bloques transformadores compartidos) se han explorado en el lenguaje natural, sigue sin estar claro si estos beneficios se transfieren a dominios de datos estructurados. Los modelos más avanzados para predicción tabular (p. ej., TabPFN, TabICL) y pronóstico de series temporales (p. ej., Chronos, TimesFM) operan actualmente mediante un único pase forward sobre observaciones estructuradas. Este artículo investiga si introducir una cadena de pensamiento latente—múltiples rondas de computación latente antes de la predicción—puede mejorar el rendimiento en estos entornos de datos estructurados.

Metodología
Los autores proponen un esquema recurrente para transformadores de datos estructurados que permite múltiples rondas de computación antes de generar una predicción final. El mecanismo central opera de la siguiente manera:

1. Pase Inicial: Un transformador $f_\theta$ procesa la entrada (tokens de contexto y de consulta) para producir estados ocultos.
2. Compresión: Los estados ocultos en las posiciones de consulta ($H_q$) se comprimen mediante una pequeña Red Neuronal Perceptrón Multicapa (MLP) $\phi_\theta$ en "tokens de retroalimentación" ($Z$).
3. Recurrencia: Estos tokens de retroalimentación se añaden a la secuencia de entrada original. Luego, el transformador se ejecuta nuevamente sobre esta secuencia aumentada.
4. Iteración: Este proceso se repite durante $R$ recurrencias. La predicción final se decodifica a partir de los estados ocultos en las posiciones originales de consulta después del $R$-ésimo pase.

El estudio evalúa este enfoque en dos dominios:

• Predicción Tabular: Utilizando la arquitectura de tres etapas de TabICL (transformadores de aprendizaje en contexto, por filas y por columnas). La recurrencia se aplica específicamente en la etapa de aprendizaje en contexto, donde los tokens de retroalimentación se añaden a la secuencia de incrustaciones de filas.
• Pronóstico de Series Temporales: Utilizando un transformador de pronóstico basado en parches. Los estados ocultos de consultas futuras se comprimen y se añaden a la secuencia de entrada antes de volver a ejecutar la pila del transformador.

Diseño Experimental y Líneas Base
Para aislar las contribuciones específicas de la CoT latente, los autores entrenan modelos desde cero en conjuntos de datos individuales y los comparan con tres líneas base distintas:

1. Línea Base de Misma Profundidad: Un transformador estándar sin recurrencia ($R=0$) y con el mismo número de capas. Esto controla la cantidad de parámetros.
2. Línea Base Más Profunda: Un transformador con el doble de capas ($2L$) entrenado sin recurrencia. Esto iguala la profundidad efectiva del pase forward y los FLOPs de un modelo CoT con $R=1$, pero duplica la cantidad de parámetros, aislando las ganancias de la profundidad/capacidad frente a la recurrencia.
3. Líneas Base en Bucle: Modelos que comparten pesos entre pases (profundidad recurrente) pero no añaden tokens de retroalimentación a la entrada. Estas incluyen bucles de un solo bloque con pesos atados y bucles al estilo de Universal-Transformer sobre pilas de múltiples bloques. Esto aísla la contribución de los tokens explícitos de CoT frente a la mera recurrencia con pesos atados.

Resultados Clave
El enfoque se evaluó en 36 conjuntos de datos: 9 del benchmark LTSF-9 de series temporales y 27 de un subconjunto de OpenML utilizado en las evaluaciones de TabPFN.

• Mejoras de Rendimiento: La CoT latente superó a la línea base de misma profundidad en 8/9 conjuntos de datos de series temporales (ganancia promedio de +10.99% en pérdida de cuantil) y 22/27 conjuntos de datos tabulares (ganancia promedio de +5.31% en precisión).
• Comparación con Líneas Base Más Profundas: Los modelos CoT superaron a las líneas base más profundas y no recurrentes en un promedio de 21.01% (series temporales) y 4.75% (tabular). Las líneas base más profundas a menudo tuvieron un rendimiento peor que la línea base original de misma profundidad en tareas de series temporales, lo que sugiere sobreajuste en conjuntos de datos más pequeños.
• Comparación con Líneas Base en Bucle: Los modelos CoT superaron a los modelos en bucle con pesos atados (que carecen de tokens de retroalimentación) en un 7.74% (series temporales) y un 3.82% (tabular).
• Escalado de Profundidad:
  • Series Temporales: El rendimiento mejoró en todas las profundidades probadas ($R \in \{1, 2, 4, 8\}$), sin una tendencia monótona clara, aunque las ganancias se estabilizaron. Cabe destacar que un modelo entrenado con $R=4$ se generalizó a $R=8$ durante la evaluación.
  • Tabular: El rendimiento mostró una tendencia no monótona; una sola recurrencia ($R=1$) degradó ligeramente el rendimiento, pero recurrencias adicionales ($R=2, 4$) recuperaron y superaron la línea base.

Significancia y Afirmaciones
El artículo afirma que la cadena de pensamiento es un eje útil para escalar la computación en tiempo de prueba para datos estructurados, distinto de simplemente aumentar la profundidad del modelo o la cantidad de parámetros. Los resultados demuestran que:

1. Mecanismo de Mejora: Las ganancias no se deben únicamente al aumento de la computación o al atado de pesos. El mecanismo específico de comprimir los estados ocultos de las posiciones de consulta en tokens de retroalimentación y reprocesarlos es crítico. El bajo rendimiento de las líneas base en bucle sugiere que el beneficio proviene de la capacidad de "escribir" una computación intermedia en una secuencia a la que los pases subsiguientes pueden atender, en lugar de solo el refinamiento iterativo de un estado oculto.
2. Transferibilidad: El paradigma de CoT latente, previamente exitoso en el modelado de lenguaje, se transfiere con éxito a tareas de pronóstico tabular y de series temporales.
3. Limitaciones: Los autores señalan que sus hallazgos se basan en modelos entrenados desde cero; la eficacia de la CoT latente en modelos fundacionales preentrenados a gran escala sigue siendo una pregunta empírica abierta. Además, la implementación actual utiliza una profundidad de recurrencia fija por modelo en lugar de un mecanismo adaptativo por entrada, y la interacción con el desplazamiento de distribución no se ha explorado.