Resumen Técnico: CoLT – Cadena de Pensamientos Latentes

1. Planteamiento del Problema

Si bien la Cadena de Pensamiento (CoT, por sus siglas en inglés) ha mejorado significativamente las capacidades de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) en tareas visuales complejas, el paradigma predominante basado en texto enfrenta tres limitaciones críticas:

1. Latencia de Inferencia: La generación de cadenas de razonamiento extensas en lenguaje natural es autorregresiva y consume muchos tokens, lo que a menudo requiere cientos o miles de tokens, constituyendo el principal cuello de botella computacional durante la inferencia.
2. Restricciones de Expresividad: El razonamiento basado en texto es inherentemente determinista. Una vez que un paso de razonamiento se compromete a una forma específica de lenguaje natural, colapsa la rica distribución de trayectorias de resolución potenciales en una única realización superficial, eliminando vías de razonamiento alternativas.
3. Propagación de Errores: Los errores cometidos en los pasos iniciales del razonamiento pueden propagarse y acumularse en los pasos subsiguientes, un fenómeno particularmente perjudicial en cadenas de razonamiento largas.

Los intentos existentes de "razonamiento latente" (razonamiento en espacios de representación continua) han tenido dificultades con la inestabilidad del entrenamiento y la generación de vectores semánticamente sin sentido. Además, los enfoques recientes de razonamiento visual latente que dependen de imágenes auxiliares para la supervisión introducen altos costos de anotación y problemas de escalabilidad.

2. Metodología: Marco de Trabajo CoLT

Los autores proponen CoLT (Chain of Latent Thoughts), un marco que permite a los MLLM razonar a través de una cadena de representaciones de pensamiento latente ($h_1, \dots, h_K$) en lugar de verbosos tokens de texto. El marco reemplaza el proceso estándar de generación de texto con $K$ pasos latentes discretos (donde $K \ll L$, el número de tokens de texto), evitando el cuello de botella de la generación de texto mientras preserva la exploración de múltiples rutas en el espacio latente.

Para abordar el desafío de un entrenamiento estable y significativo del razonamiento latente, CoLT introduce una estrategia de supervisión integral que comprende tres mecanismos complementarios:

A. Representación del Pensamiento Latente

En lugar de generar tokens de texto, el modelo produce vectores de estado oculto en posiciones de razonamiento designadas. Estos vectores se reintroducen en el modelo de lenguaje como embeddings de entrada para los pasos subsecuentes, manteniendo la naturaleza autorregresiva del modelo sin extender el vocabulario.

B. Supervisión de Decodificador Externo

Un decodificador externo ligero ($D_\phi$), que comparte el mismo tokenizador y vocabulario que el modelo base, proporciona supervisión a nivel de paso en dos direcciones:

• Decodificación hacia Adelante (Forward Decoding): El decodificador toma el pensamiento latente precedente $h_k$ como entrada y es entrenado para decodificar el contenido de razonamiento textual del siguiente paso ($r_{k+1}$). Esto asegura que los pensamientos latentes codifiquen información suficiente para reconstruir el razonamiento explícito.
• Decodificación hacia Atrás (Backward Decoding): El decodificador recibe los pasos de razonamiento textual precedentes ($r_{k-1}$) y produce estados ocultos ($\tilde{h}_k$) que están alineados con el pensamiento latente $h_k$ del modelo. Esto ancla el espacio latente a la estructura semántica de las cadenas de razonamiento explícitas.

C. Supervisión Interna a Nivel de Paso

Una cabeza de proyección ligera ($f_\theta$) fomenta transiciones coherentes entre pasos latentes consecutivos. Predice la representación del siguiente paso ($\hat{h}_{k+1}$) a partir del actual ($h_k$), regularizando la cadena latente mediante la consistencia paso a paso.

D. Objetivo de Entrenamiento

La función de pérdida total combina la pérdida de la tarea estándar (generación de la respuesta final) con las tres señales de supervisión:
$$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$$
El entrenamiento se lleva a cabo en dos etapas:

1. Ajuste Fino Supervisado (SFT): El modelo base y el decodificador se entrenan con anotaciones de CoT (del conjunto de datos OneThinker) utilizando la pérdida combinada para aprender pensamientos latentes estructurados.
2. Aprendizaje por Refuerzo (RL): Se aplica la Optimización de Política Relativa de Grupo (GRPO) sobre muestras de CoT. En esta etapa, el decodificador auxiliar y la supervisión interna se eliminan, permitiendo que el modelo actualice los pensamientos latentes libremente basándose en recompensas basadas en resultados.

Durante la inferencia, el decodificador externo y la cabeza de proyección se descartan, lo que no incurre en sobrecarga computacional adicional.

3. Contribuciones Clave

• Marco Novedoso: Introducción de CoLT, que enseña a los MLLM a razonar mediante vectores latentes en lugar de tokens de texto, logrando un razonamiento efectivo con tan solo 3 pasos.
• Mecanismo de Estabilización: Un marco de supervisión basado en principios que utiliza un decodificador externo ligero (modos hacia adelante y hacia atrás) y predicción interna para evitar el colapso de las representaciones latentes en semánticas sin sentido.
• Eficiencia de Anotación: A diferencia de los métodos de razonamiento visual latente, CoLT opera enteramente dentro del espacio latente del modelo de lenguaje, sin requerir anotaciones de imágenes auxiliares o codificadores especializados.
• Eficiencia: El método elimina la necesidad de una generación de texto verbosa durante la fase de razonamiento, reduciendo significativamente el tiempo de inferencia.

4. Resultados Experimentales

Los experimentos se realizaron en ocho benchmarks multimodales diversos (SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D y MMT-Bench) utilizando un backbone Qwen3-VL-8B.

• Desempeño: CoLT supera a los métodos existentes de razonamiento latente (p. ej., CODI, SIM-CoT) y a los enfoques de razonamiento visual latente (p. ej., LVR). Específicamente, supera a la base de comparación latente más fuerte (SIM-CoT) en un +5.1% en precisión promedio y a la base de comparación visual latente más fuerte (LVR) en un +5.5%.
• Comparación con CoT de Texto: CoLT logra un +3.4% más de precisión promedio en comparación con el CoT basado en texto, con ganancias significativas en ChartQA (+9.6%) y TextVQA (+6.1%).
• Eficiencia: CoLT reduce el tiempo de inferencia en 10.1× y el tiempo de decodificación de texto en 22.6× en comparación con los métodos de texto CoT, manteniendo una mayor precisión.
• Robustez: Bajo ruido visual (desenfoque gaussiano, oclusión) y ruido de texto (errores ortográficos, eliminación de palabras clave), CoLT demuestra una robustez superior, con una degradación de la precisión significativamente menor que las bases de Respuesta Directa y de Texto CoT.
• Estudios de Ablación:
  • Las tres señales de supervisión (hacia adelante, hacia atrás, interna) no son redundantes; la combinación completa produce el rendimiento óptimo.
  • Un decodificador ligero de 0.6B es suficiente para una supervisión efectiva; los decodificadores más grandes proporcionan ganancias insignificantes.
  • El número óptimo de pasos latentes es $K=3$; el rendimiento decae ligeramente con pasos excesivos.

5. Significado y Reivindicaciones

El artículo afirma que CoLT representa un cambio fundamental en la forma en que los modelos multimodales realizan el razonamiento. Al pasar de la generación de texto explícito a vectores de pensamiento latente, CoLT aborda la ineficiencia inherente y los límites de expresividad del CoT basado en texto. Los autores enfatizan que su método logra una eficiencia superior (hasta 22.6× de aceleración) sin sacrificar, y a menudo mejorando, la calidad del razonamiento.

La importancia radica en la capacidad de realizar el "pensamiento" en un espacio continuo que es tanto interpretable (verificado mediante la visualización de la decodificación hacia adelante) como robusto al ruido de entrada. El marco demuestra que el razonamiento visual complejo puede interiorizarse en representaciones latentes compactas, eliminando la dependencia de costosas anotaciones auxiliares y la latencia de la generación token por token. Los autores concluyen que este enfoque ofrece un camino escalable hacia agentes de alta inteligencia que puedan razonar de manera eficiente.