Resumen Técnico: Razonamiento Visual Fiel y Anclado mediante Tokens de Proximidad Aprendidos

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han alcanzado un éxito significativo en la Pregunta-Respuesta Visual (VQA), pero operan bajo un paradigma de "caja negra", mapeando entradas directamente a respuestas sin exponer los procesos de toma de decisiones. Esta falta de transparencia dificulta su despliegue en dominios críticos.

Para abordar esto, los enfoques de Razonamiento Visual Anclado (GVR) intentan acoplar razonamientos textuales con información de anclaje visual, típicamente en forma de coordenadas de cajas delimitadoras textuales $(x, y, w, h)$. Sin embargo, el artículo argumenta que los métodos actuales basados en coordenadas sufren de una "brecha semántico-espacial" fundamental. Al tratar las ubicaciones espaciales como cadenas de texto arbitrarias, estos métodos carecen de un vínculo semántico aprendible con las características visuales subyacentes. En consecuencia, los modelos suelen "alucinar" coordenadas que no corresponden a la evidencia visual real, desacoplando efectivamente el proceso de razonamiento de la percepción visual. Además, los protocolos de evaluación existentes dependen predominantemente de la precisión de la respuesta final, lo que enmascara estas inconsistencias de razonamiento y permite que los modelos adivinen correctamente basándose en sesgos lingüísticos en lugar de evidencia visual.

2. Metodología: El Marco de Trabajo Composer

Los autores presentan Composer, un MLLM diseñado para imponer un razonamiento anclado, fiel y paso a paso, cerrando la brecha semántico-espacial.

2.1. Anclaje Visual mediante Tokens de Proximidad Aprendidos

A diferencia de los métodos tradicionales que regresan coordenadas textuales, Composer emplea un novedoso mecanismo basado en tokens de proximidad aprendidos (learned proxy-tokens).

• Mecanismo: La imagen se descompone en $N$ tokens visuales $V = \{v_1, v_2, \dots, v_N\}$. Un conjunto correspondiente de $N$ tokens de proximidad aprendibles $R = \{<r_1>, \dots, <r_N>\}$ se añade al vocabulario del LLM.
• Indexación: La secuencia de entrada entrelaza estos tokens ($S = [r_1, v_1, r_2, v_2, \dots, Q]$), estableciendo una correspondencia estricica de 1 a 1 entre cada token de proximidad y su característica visual.
• Operaciones Basadas en Conjuntos: Las regiones visuales se tratan como conjuntos discretos y direccionables de tokens de proximidad. Esto permite al modelo realizar operaciones implícitas basadas en conjuntos (intersección, unión, verificación de subconjuntos) directamente en el espacio latente visual. Por ejemplo, el razonamiento espacial (ej. "¿está el objeto A a la izquierda del objeto B?") se reduce a verificar la intersección de sus respectivos conjuntos de tokens de proximidad ($S_A \cap S_{left} \neq \emptyset$).
• Razonamiento Recursivo: El modelo puede referirse a los tokens de proximidad generados en pasos de razonamiento previos, "reduciendo" efectivamente el espacio de búsqueda visual a índices relevantes.

2.2. Estrategia de Entrenamiento

Composer se entrena utilizando una estrategia de datos de dos etapas:

1. Preentrenamiento de Alineación: El modelo se dota de capacidades de localización finas mediante diversas tareas de visión y lenguaje (descripción de imágenes, comprensión de expresiones de referencia y razonamiento espacial visual). Las anotaciones de cajas delimitadoras de conjuntos de datos como COCO y RefCOCO se mapean al vocabulario de tokens de proximidad.
2. Razonamiento de Múltiples Pasos (ComposerGCoT): Para abordar la falta de supervisión intermedia en los conjuntos de datos estándar, los autores sintetizaron ComposerGCoT. Este conjunto de datos se deriva de GQA mediante la destilación de grafos de escena y programas funcionales en cadenas de razonamiento visualmente ancladas y discretas. Cada paso está anotado con respuestas intermedias y anclaje visual, lo que resulta en 163K cadenas de razonamiento para 55K imágenes.

2.3. Salida Estructurada para la Evaluación

Para permitir una evaluación rigurosa, Composer genera cadenas de razonamiento estructuradas utilizando etiquetas ligeras de estilo XML (ej. <objectRecognition>, <spatialLocation>, <attributeColor>) encapsuladas dentro de un bloque <thought>. Este formato permite la verificación independiente de la validez lógica y la precisión espacial de cada paso del razonamiento, más allá de la simple respuesta final.

3. Contribuciones Clave

1. Modelo Composer: Un MLLM que utiliza tokens de proximidad aprendidos para indexar el espacio latente de la imagen, reemplazando la regresión de coordenadas arbitrarias con punteros discretos y semánticamente manipulables.
2. Conjunto de Datos ComposerGCoT: Un conjunto de datos especializado y sintetizado que proporciona supervisión detallada para cada paso de la cadena de razonamiento, permitiendo una evaluación holística de la consistencia del razonamiento y la fidelidad del anclaje.
3. Protocolo de Evaluación: Un marco que evalúa los modelos a través de tres ejes: precisión de la respuesta, consistencia del razonamiento (precisión de la secuencia de tareas) y precisión del anclaje visual (IoU).

4. Resultados Experimentales

Los autores evaluaron Composer frente a un modelo base basado en coordenadas (B-Composer) y su variante de tokens de proximidad (P-Composer) en el conjunto de validación de ComposerGCoT.

• Consistencia del Razonamiento: Existe una fuerte correlación entre las rutas de razonamiento correctas y las respuestas finales correctas. Para P-Composer, el 76.08% de las rutas de razonamiento correctas condujeron a respuestas correctas, lo que sugiere que los pasos de razonamiento impulsan la predicción en lugar de servir como justificaciones post-hoc.
• Precisión del Anclaje: P-Composer supera significativamente a B-Composer en la precisión del anclaje visual.
  • IoU General: Mejora en +2.7 puntos (57.9% vs. 55.2%).
  • IoU Estricto @0.95: Mejora en +9.0 puntos (15.4% vs. 6.4%).
• Desglose de Capacidades: P-Composer alcanzó la mayor precisión en posicionamiento espacial (84.8%) y relaciones espaciales (79.2%), mientras que el rendimiento fue menor en el atributo de color (66.5%), probablemente debido a la naturaleza abierta de la atribución de color en comparación con las opciones espaciales restringidas.
• Precisión de la Respuesta: Composer logró una paridad de rendimiento con su contraparte basada en coordenadas en la precisión de la respuesta final, demostrando que el nuevo mecanismo de anclaje no compromete el desempeño de la tarea.

5. Significado y Reivindicaciones

El artículo sostiene que los tokens de proximidad aprendidos discretos capturan la semántica espacial de manera más efectiva que las típicas coordenadas textuales. Al establecer un vínculo explícito y aprendible entre el razonamiento lingüístico y las características visuales, Composer promueve una interpretabilidad fiel.

Los autores afirman que este enfoque representa un camino prometedor hacia MLLMs confiables y fiables. El trabajo demuestra que es posible mantener una alta precisión en las respuestas mientras se mejora significativamente la fidelidad del anclaje visual, abordando así la "brecha semántico-espacial" que actualmente afecta a los sistemas de razonamiento visual anclado. El estudio enfatiza que la evaluación rigurosa debe ir más allá de la precisión de la respuesta final para diagnosticar si los modelos están "en lo correcto por las razones correctas".