Resumen Técnico: UniVLR

Enunciado del Problema

Se espera cada vez más que los Modelos de Lenguaje Grandes Multimodales (MLLM) "piensen con imágenes", particularmente en escenarios intensivos en percepción como la resolución de problemas geométricos y la comprensión visual de alta resolución. Los enfoques actuales para el razonamiento visual generalmente caen en dos categorías, ambas con limitaciones:

1. Razonamiento Visual Basado en Herramientas: Estos métodos intercalan una Cadena de Pensamiento (CoT) textual explícita con imágenes auxiliares generadas externamente (por ejemplo, recortes, bocetos). Aunque son efectivos, este paradigma sufre de la rigidez de las herramientas predefinidas, la latencia derivada de las llamadas externas y la inestabilidad en las imágenes generadas.
2. Razonamiento Latente Visual Existente: Para evitar herramientas externas, los métodos recientes generan tokens visuales latentes de forma autoregresiva. Sin embargo, la mayoría de los métodos existentes aún adoptan un diseño intercalado, alternando entre CoT textual explícita y tokens visuales latentes. Los autores identifican dos fallas críticas en este diseño:
   • Ineficiencia: El paradigma intercalado aún requiere segmentos de texto explícito completos entre los pasos latentes visuales, lo que no logra reducir sustancialmente los costos de generación en comparación con la CoT basada en texto estándar.
   • Atención Fragmentada: Dado que el texto y los tokens latentes aparecen en formas heterogéneas, los modelos a menudo dependen de tokens de texto cercanos mientras fallan en atender consistentemente a las imágenes auxiliares anteriores. El análisis muestra que los tokens CoT subsiguientes exhiben una atención dispersa y difusa hacia las imágenes auxiliares, lo que significa que la evidencia visual no se integra plenamente en el proceso de razonamiento.

La pregunta central planteada es si la CoT textual explícita debe permanecer como un canal de razonamiento separado, o si puede visualizarse y organizarse dentro de un espacio de trabajo perceptual compartido junto con las imágenes auxiliares.

Metodología: UniVLR

Los autores proponen UniVLR (Razonamiento Latente Visual Unificado), un marco que trata el razonamiento textual y la evidencia visual auxiliar como un espacio de trabajo visual compartido. En lugar de preservar la CoT textual como una ruta independiente durante la inferencia, UniVLR renderiza las trazas de razonamiento y las imágenes auxiliares en un lienzo visual unificado, comprime esta representación en tokens visuales latentes compactos y razona exclusivamente a través de estos latentes durante la inferencia.

1. Renderizado de Lienzo Visual Unificado

UniVLR convierte las trazas de razonamiento heterogéneas en una única representación visual utilizando una función de renderizado $\Phi(\cdot)$:

• Construcción: Para una instancia de entrenamiento con razonamiento textual $R$ e imágenes auxiliares $U$, la función los compone en un lienzo unificado $c = \Phi(R, U)$.
• Renderizado Adaptativo: El sistema aplica estrategias ligeras para garantizar la compacidad y la legibilidad. El texto se renderiza con tamaños de fuente y saltos de línea adaptativos, mientras que las imágenes auxiliares se redimensionan y resaltan con señales visuales (por ejemplo, cuadros, flechas).
• Extracción de Objetivos: El lienzo unificado es procesado por el codificador de visión del MLLM base para extraer un mapa de características 2D. Este mapa se agrupa luego de forma adaptativa (utilizando agrupamiento 2D consciente de la relación de aspecto) en una secuencia de longitud fija de objetivos latentes $\tilde{Z} = [\tilde{z}_1, \dots, \tilde{z}_K]$.

2. Alineación Latente de Dos Etapas

El modelo se entrena mediante un currículo de dos etapas para alinear sus estados internos con estas representaciones visuales unificadas:

• Etapa I: Anclaje Latente Visual: El modelo se entrena para generar tokens latentes continuos de forma autoregresiva utilizando únicamente imágenes visuales auxiliares como objetivos de alineación. Esto establece una interfaz de razonamiento continuo básica entre el MLLM y el espacio de incrustación visual.
• Etapa II: Alineación Unificada Texto-Visión: El modelo se ajusta finamente utilizando los objetivos del lienzo unificado (que contienen tanto texto renderizado como imágenes auxiliares). Esta etapa enseña al modelo a representar trazas de razonamiento explícitas y evidencia visual a través del mismo canal latente visual.
• Objetivo: El objetivo de entrenamiento combina el modelado de lenguaje estándar (para la respuesta final y los tokens de control) con una pérdida de regresión normalizada ($L_{align}$) que alinea los tokens latentes predichos con las incrustaciones visuales objetivo. La pérdida incluye componentes tanto de error cuadrático medio (MSE) como de similitud coseno.

3. Inferencia Autoregresiva Continua

En el momento de la inferencia, la función de renderizado, el codificador de visión y los objetivos del profesor se descartan. El modelo opera de la siguiente manera:

1. Recibe el prompt multimodal original $(Q, I)$.
2. Al generar el token <|univlr_start|>, cambia al modo de razonamiento latente.
3. Genera autoregresivamente $K$ tokens visuales latentes continuos, alimentando cada token predicho de vuelta como entrada para el siguiente paso.
4. Al generar <|univlr_end|>, vuelve al vocabulario discreto para decodificar la respuesta final en lenguaje natural.
   Críticamente, no se genera CoT textual explícita intermedia durante la fase de razonamiento.

Contribuciones Clave

1. Paradigma Unificado: UniVLR introduce un paradigma donde el razonamiento textual y la evidencia visual auxiliar se unifican en un único canal latente visual, eliminando la necesidad de tokens de texto y latentes intercalados.
2. Eficiencia: Al eliminar la generación de texto explícito durante el razonamiento, UniVLR reduce significativamente el número de tokens generados mientras mantiene o mejora la precisión del razonamiento.
3. Atención Mejorada: El diseño unificado induce una atención más densa y enfocada en las imágenes auxiliares en comparación con los diseños intercalados, ya que el modelo procesa toda la evidencia de razonamiento a través de la misma vía visual.
4. Entrenamiento de Dos Etapas: El currículo propuesto (anclaje seguido de unificación) estabiliza el aprendizaje del razonamiento latente continuo, evitando el colapso de la representación.

Resultados Experimentales

Los experimentos se realizaron en benchmarks de percepción y razonamiento del mundo real (V*, HRBench4K/8K, MME-RealWorld-Lite) utilizando Qwen2.5-VL-7B como modelo base.

• Rendimiento: UniVLR supera a los métodos anteriores de razonamiento latente visual (Monet, LVR, SkiLa, CoVT) y a las líneas base de razonamiento textual. En promedio, mejora la precisión del razonamiento en un 5.4% en comparación con las mejores líneas base.
• Eficiencia: UniVLR logra estas ganancias utilizando sustancialmente menos tokens generados. Reduce el número de tokens de razonamiento generados en 15.2 veces en comparación con los métodos intercalados (utilizando solo 12 tokens latentes frente a 190–270 tokens de texto).
• Análisis de Representación Latente:
  • Anclaje Visual: Las distribuciones de los estados ocultos de los tokens latentes de UniVLR se alinean más estrechamente con las representaciones de tokens de imagen que con las de tokens de texto, confirmando que el modelo utiliza un canal anclado visualmente.
  • Contenido de Información: El análisis de perturbación (poner a cero o añadir ruido a los estados latentes) provoca caídas significativas en la precisión, demostrando que los tokens latentes portan información de razonamiento relevante para la tarea y no son meros marcadores de posición.
• Estudios de Ablación:
  • Estrategia de Renderizado: Se encontró que el renderizado de diseño vertical y el ajuste adaptativo son críticos para manejar la lógica compleja.
  • Filtrado de Datos: El filtrado riguroso de los datos de entrenamiento (eliminando muestras resolubles sin razonamiento visual o aquellas con objetivos ruidosos) fue esencial para un entrenamiento estable de la Etapa II.
  • Forzamiento del Profesor: El forzamiento completo del profesor latente durante el entrenamiento produjo mejores resultados que el muestreo programado, lo que sugiere que estabilizar la variedad latente es más importante que reducir el sesgo de exposición en este entorno continuo.
• Generalización: UniVLR no exhibe olvido catastrófico en tareas multimodales generales (TextVQA, POPE, MME-traducción) y de hecho mejora el rendimiento en la alucinación de objetos (POPE) y la comprensión de imágenes ricas en texto (TextVQA).

Significado y Afirmaciones

El artículo afirma que UniVLR impulsa el razonamiento latente visual hacia un paradigma más unificado y eficiente para el pensamiento multimodal. Al demostrar que la CoT textual explícita puede absorberse en un canal latente visual unificado, el trabajo sugiere que los MLLM pueden realizar razonamientos complejos y de múltiples pasos sin la sobrecarga de la generación de texto verbose o las llamadas a herramientas externas.

Los autores enfatizan que, aunque el método mejora la eficiencia y el rendimiento, conlleva compensaciones: el proceso de razonamiento latente es menos directamente inspeccionable que la CoT textual explícita, lo que podría hacer que la depuración y la auditoría sean más desafiantes. Además, el método depende de las capacidades de reconocimiento óptico de caracteres (OCR) y comprensión de diseño del codificador de visión. El trabajo posiciona a UniVLR no como un reemplazo para el razonamiento basado en herramientas en tareas que requieren mediciones exactas o búsquedas exhaustivas, sino como un paso significativo hacia la interiorización de la deliberación visual dentro de un espacio latente compacto y unificado.