Resumen Técnico: Los Tokens de Percepción Imaginativa Mejoran el Razonamiento Espacial en Modelos de Lenguaje Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) actuales sobresalen en el reconocimiento de objetos y atributos, pero tienen dificultades significativas con el razonamiento espacial, particularmente cuando la información requerida no es directamente observable en la entrada. Muchas tareas espaciales requieren percepción imaginativa: simular puntos de vista no observados, trazar trayectorias a través de espacios ocluidos o integrar vistas parciales en un mapa espacial coherente.

Los enfoques existentes intentan cerrar esta brecha utilizando representaciones visuales intermedias (por ejemplo, pensamientos visuales, mapas de profundidad o tokens de cajas delimitadoras). Sin embargo, estos métodos se centran principalmente en refinar estructuras que ya son visibles en la entrada o en extraer atributos perceptivos. No logran abordar el desafío central de construir representaciones espaciales que no se observan directamente, lo cual a menudo requiere predecir la estructura espacial faltante implícita por la evidencia, en lugar de simplemente describir lo que se ve. Además, forzar el cómputo espacial a través de la cadena de pensamiento (CoT) textual suele resultar en un desajuste de modalidad, ya que la serialización de restricciones geométricas y transformaciones de punto de vista en lenguaje es propensa a errores e ineficiente.

2. Metodología

2.1. Concepto Central: Tokens de Percepción Imaginativa (IPT)

Los autores proponen los Tokens de Percepción Imaginativa (IPT), una forma de representación perceptiva intermedia que exterioriza lo que un VLM percibiría bajo una configuración espacial alternativa manteniéndose consistente con la entrada observada. A diferencia de los intermedios estándar que describen estructuras visibles, los IPT representan nuevas vistas espaciales (por ejemplo, una vista desde una nueva coordenada o un mapa cenital que integra múltiples vistas) que deben ser inferidas.

2.2. Tareas y Conjuntos de Datos

Para estudiar esta capacidad, los autores formulan tres tareas que requieren percepción imaginativa, construyendo conjuntos de datos de aproximadamente 20,000 ejemplos cada uno, que abarcan entornos simulados (AI2-THOR, Habitat) y del mundo real:

1. Toma de Perspectiva (PET): Dada una vista en primera persona y una posición objetivo, predecir la escena desde el nuevo punto de vista (por ejemplo, "Después de moverme a 'X' y girar a la izquierda, ¿el objeto está a mi izquierda o a mi derecha?"). La verdad de campo es una imagen de un nuevo punto de vista.
2. Rastreo de Trayectoria (PT): Dado un mapa cenital y vistas frontales en puntos de control, identificar objetos visibles en un punto medio a lo largo de un camino. La verdad de campo es una imagen de vista lateral (renderizado en primera persona desde el punto medio).
3. Conteo Multivista (MVC): Dados múltiples fotogramas en primera persona, determinar el recuento total de un objeto específico integrando las vistas para resolver oclusiones y duplicados. La verdad de campo es un mapa de vista de pájaro (BEV) cenital.

Cada conjunto de datos incluye pares de imaginaciones intermedias de verdad de campo y respuestas finales, acompañados de evaluaciones de referencia filtradas por humanos.

2.3. Arquitectura del Modelo y Entrenamiento

Los autores utilizan BAGEL, un transformador unificado de solo decodificador que soporta de forma nativa la comprensión y generación multimodal entrelazada.

• Arquitectura: BAGEL emplea un diseño de Mezcla de Expertos de Transformadores (MoT) con expertos separados para la comprensión (tokens SigLIP2 ViT) y la generación (tokens latentes FLUX VAE).
• Objetivo de Entrenamiento: El modelo se entrena con una pérdida multitarrea ($L_{total}$) que comprende:
  1. Pérdida de Flujo de Emparejamiento (Flow-Matching) ($L_{fm}$): El modelo aprende a predecir el campo de velocidad para transformar el ruido Gaussiano en la representación latente objetivo de la vista no observada (el IPT).
  2. Pérdida de Modelado de Lenguaje ($L_{lm}$): El modelo minimiza la log-verosimilitud negativa de los tokens de la respuesta final, condicionados al contexto observado y a los tokens imaginativos de verdad de campo.
• Modos de Inferencia:
  • Modo de Imaginación: El modelo genera la imagen intermedia, la vuelve a codificar y la utiliza como contexto para predecir la respuesta.
  • Modo de Solo Respuesta: El modelo predice la respuesta directamente sin generar una imagen en el momento de la inferencia, basándose en las representaciones internas aprendidas durante el entrenamiento.

3. Resultados Clave

3.1. Rendimiento en Tareas Espaciales

Utilizando el esqueleto BAGEL, la supervisión de IPT mejora significativamente el razonamiento espacial en todas las tareas en comparación con las líneas base:

• Conteo Multivista (MVC): El IPT mejora la precisión en un 3.4% sobre el entrenamiento de solo etiquetas (67.3% vs. 63.9%) y supera al CoT textual (62.3%).
• Toma de Perspectiva (PET): El IPT alcanza un 96.8% de precisión en los datos de AI2-THOR dentro del dominio, superando al entrenamiento de solo etiquetas (97.5% es el máximo, pero el IPT es competitivo) y superando significativamente al CoT textual (83.1%). En los datos fuera del dominio (Habitat), el IPT alcanza un 87.0%, superando al de solo etiquetas (82.0%).
• Rastreo de Trayectoria (PT): El entrenamiento mixto (IPT + solo etiquetas) logra los mejores resultados, alcanzando un 66.7% en datos sintéticos y un 58.6% en evaluaciones del mundo real, superando tanto al de solo etiquetas como al CoT textual.

3.2. Comparación con la Cadena de Pensamiento (CoT) Textual

El artículo encuentra que el CoT textual es a menudo perjudicial en estas tareas. Por ejemplo, en PET, el CoT reduce el rendimiento al 83.1% frente al 96.8% del IPT. Los autores atribuyen esto a un desajuste de modalidad: forzar el cómputo espacial (cambios de punto de vista, oclusiones) a través del lenguaje introduce ruido y compite con la capacidad de predicción de la respuesta. En contraste, los IPT representan estas relaciones directamente en la modalidad visual.

3.3. Inferencia y Generalización

• Representaciones Internas: Crucialmente, las mejoras en el rendimiento persisten incluso cuando el modelo no genera una imagen en el momento de la inferencia (Modo de Solo Respuesta). Esto sugiere que el entrenamiento con supervisión de IPT ayuda a los modelos a desarrollar representaciones espaciales internas más fuertes.
• Aprendizaje por Transferencia: Los modelos entrenados con IPT muestran una mejora en la transferencia a benchmarks externos (por ejemplo, SAT, MessyTable) y otras tareas espaciales (ScanNet, MindCube), lo que indica que el razonamiento espacial aprendido se generaliza más allá de los objetivos de tokens específicos.
• Ablación de Resolución: Los tokens latentes de mayor resolución (Latent-64, 1024x1024) producen imaginaciones más nítidas y espacialmente fieles, lo que se correlaciona con una mayor precisión en las tareas posteriores.

4. Significado y Reivindicaciones

El artículo afirma que los Tokens de Percepción Imaginativa proporcionan una señal de supervisión fundamentada para el razonamiento sobre la estructura no observada. Las principales contribuciones y afirmaciones son:

1. Nueva Representación Intermedia: Los IPT son distintos de los intermedios visuales previos porque predicen configuraciones espaciales no observadas en lugar de refinar las visibles.
2. Alineación de Modalidades: Supervisar a los modelos con predicciones visuales intermedias es más efectivo que el CoT textual para tareas espaciales, evitando los cuellos de botella de la serialización de restricciones geométricas en lenguaje.
3. Generalización: El entrenamiento con supervisión imaginativa produce un razonamiento espacial generalizado más fuerte e intermedios más interpretables alineados con la geometría subyacente de la tarea, incluso sin la generación explícita de imágenes durante la inferencia.
4. Evaluación de Referencia: Este trabajo introduce los primeros conjuntos de datos diseñados explícitamente para entrenar y evaluar el razonamiento espacial intermedio basado en la visión, resaltando una "brecha de perspectiva" y la necesidad de una imaginación espacial constructiva en los VLM.

Los autores concluyen que, si bien los modelos unificados actuales a menudo sacrifican la robustez de la comprensión en favor de la capacidad de generación, la integración de la supervisión de la percepción imaginativa permite a los modelos alcanzar un rendimiento competitivo con modelos cerrados potentes en tareas complejas de razonamiento espacial.