Resumen Técnico: Razonamiento Latente Alineado con la Visión para Modelos de Lenguaje Grande Multimodales

1. Declaración del Problema

A pesar de los avances significativos en los Modelos de Lenguaje Grande Multimodales (MLLM) para tareas como la descripción de imágenes y la respuesta a preguntas visuales (VQA), estos modelos luchan con problemas que requieren un razonamiento extenso de múltiples pasos. El principal cuello de botella es la dilución progresiva de la información visual durante la generación de contextos largos. A medida que se alarga la secuencia de texto generada, la capacidad del modelo para retener y explotar las señales visuales disminuye, obstaculizando la aplicación de las leyes de escalado en tiempo de prueba observadas en los modelos de lenguaje puro.

Los enfoques existentes para mejorar el razonamiento a menudo dependen de:

• Métodos centrados en el texto: Ajuste fino supervisado (SFT) o aprendizaje por refuerzo que se centra en cadenas de pensamiento lingüísticas (CoT), pero que sufren de atenuación de la señal visual a lo largo de secuencias largas.
• Reintroducción estática de la visión: Interleaving de tokens visuales o generación de imágenes. Sin embargo, estos métodos suelen tratar las características visuales como un contexto inicial fijo o dependen de características estáticas de una sola vista, lo que conduce a una pérdida gradual del contexto visual a medida que avanza el razonamiento.

2. Metodología: Razonamiento Latente Alineado con la Visión (VaLR)

Los autores proponen el Razonamiento Latente Alineado con la Visión (VaLR), un marco diseñado para generar dinámicamente tokens latentes alineados con la visión antes de cada paso de razonamiento. Este enfoque crea "puntos de control visuales" que anclan el proceso de razonamiento en señales perceptuales dentro del espacio latente, evitando el deterioro de la información visual.

Mecanismo Central

VaLR opera alternando entre dos modos durante la inferencia:

1. Modo de Lenguaje: Genera tokens de texto estándar para la respuesta.
2. Modo Latente: Genera "tokens de razonamiento latente" no textuales que no son directamente visibles, pero que sirven como pasos intermedios de razonamiento.

Crucialmente, durante el modo latente, el modelo se entrena para alinear sus estados intermedios ocultos con representaciones visuales densas extraídas de codificadores de visión externos preentrenados (por ejemplo, DINOv2/v3, CLIP, SigLIP, $\pi^3$).

Pipeline de Entrenamiento

VaLR emplea una estrategia de aprendizaje curricular en dos etapas:

• Etapa 1 (SFT Estándar): El modelo se ajusta fino en conjuntos de datos generales de VQA con CoT para establecer capacidades fundamentales de razonamiento multimodal. El codificador de visión se congela y solo se entrena la columna vertebral del lenguaje.
• Etapa 2 (Entrenamiento de Tokens Latentes con REPA): El modelo se entrena para insertar $K$ tokens latentes antes de cada paso de razonamiento en lenguaje. Se introduce una función de pérdida de Alineación de Representaciones (REPA) para alinear las características intermedias del MLLM con las características de codificadores de visión externos.
  • Objetivo de Alineación: La función de pérdida maximiza la similitud del coseno entre las características intermedias proyectadas del MLLM y las características visuales por parches extraídas del cuadro de imagen correspondiente por el codificador de visión.
  • Alineación Multi-codificador: El marco admite la alineación con múltiples codificadores de visión simultáneamente para capturar fortalezas complementarias (por ejemplo, comprensión semántica de CLIP, apariencia detallada de DINO y estructura espacial 3D de $\pi^3$).

Cabe destacar que los codificadores de visión externos solo se utilizan durante el entrenamiento. En tiempo de prueba, el modelo se basa en el anclaje visual aprendido dentro de sus tokens latentes sin requerir los codificadores externos.

3. Contribuciones Clave

• Anclaje Visual Dinámico: A diferencia de los métodos que utilizan características visuales estáticas, VaLR asigna dinámicamente detalles visuales en cada etapa de razonamiento, asegurando la preservación de la información a lo largo del razonamiento de contexto largo.
• Escalado en Tiempo de Prueba: El marco permite que los MLLM exhiban un comportamiento de escalado en tiempo de prueba, donde el rendimiento mejora con cadenas de razonamiento más largas, un fenómeno previamente no observado en MLLM debido a la atenuación de la señal visual.
• Diseño Agnóstico al Modelo: VaLR puede adaptarse a varios codificadores de visión (DINO, SigLIP, CLIP, $\pi^3$) y funciona eficazmente incluso con los codificadores de visión independientes del MLLM original.
• Currículo en Dos Etapas: Un pipeline de entrenamiento estructurado que primero establece capacidades de razonamiento y luego las refina con alineación visual, facilitando una comprensión robusta de contextos largos.

4. Resultados Experimentales

Se realizaron evaluaciones extensas en múltiples puntos de referencia, incluidos VSI-Bench (razonamiento espacial 3D), BLINK, MMVP, MMStar y MathVista.

• Razonamiento de Contexto Largo (VSI-Bench): VaLR superó significativamente a las líneas base existentes. Específicamente, en VSI-Bench, VaLR mejoró la precisión del modelo base Qwen2.5-VL de 33.0% a 52.9%, una ganancia de 19.9 puntos porcentuales. También superó a modelos de razonamiento sólidos como R1-OneVision y Ocean-R1.
• Tareas de Percepción: VaLR demostró un rendimiento superior en puntos de referencia de percepción (BLINK, MMVP, V*), logrando resultados de vanguardia entre modelos abiertos y superando a modelos de API como GPT-4o en configuraciones específicas.
• Análisis de la Longitud de Razonamiento: A diferencia de los modelos base que alcanzan su punto máximo en longitudes de razonamiento intermedias y luego se degradan (las tasas de alucinación aumentan), VaLR mostró una mejora monótona del rendimiento a medida que aumentaba la longitud del razonamiento, confirmando su capacidad para mantener el anclaje visual a lo largo de cadenas extendidas.
• Estudios de Ablación:
  • Eliminar el componente de alineación de representaciones (REPA) resultó en caídas significativas del rendimiento, confirmando la necesidad de la alineación visual.
  • El uso de múltiples codificadores (VaLR-M) produjo efectos sinérgicos, particularmente para tareas espaciales 3D, en comparación con las variantes de un solo codificador.
  • El método demostró una alta escalabilidad de datos, logrando un rendimiento comparable a los modelos SFT estándar con significativamente menos muestras de entrenamiento (convergencia más rápida).

5. Significado y Afirmaciones

El artículo afirma que VaLR aborda una limitación crítica en los MLLM actuales: la incapacidad de sostener el contexto visual durante un razonamiento complejo de múltiples pasos. Al inyectar tokens latentes alineados con la visión, el método mitiga eficazmente la dilución de las señales visuales, permitiendo una planificación y razonamiento robustos a largo plazo.

Los autores enfatizan que este trabajo facilita el despliegue de MLLM en aplicaciones complejas que requieren comprensión de contexto largo, como Agentes de Uso Informático (CUA) y modelos de Visión-Lenguaje-Acción (VLA). La capacidad de lograr un verdadero escalado en tiempo de prueba en el dominio multimodal sugiere un camino hacia agentes autónomos más fiables y capaces que puedan razonar sobre secuencias extendidas sin perder de vista el entorno visual.