Resumen Técnico: ROVER

Enunciado del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) han avanzado significativamente en el razonamiento visión-lenguaje, particularmente a través de paradigmas de Cadena de Pensamiento (CoT). Sin embargo, los enfoques existentes para el razonamiento multimodal anclado enfrentan limitaciones estructurales:

1. Limitaciones Centradas en la Región: Los métodos actuales de "CoT visual" a menudo dependen de inyectar Recortes de Interés (RoIs) o características específicas de RoI en el flujo de razonamiento. Este diseño tiende a aislar regiones, debilitando la comprensión holística de la escena del modelo y su capacidad para modelar relaciones interobjetos. Además, el costo de decodificación escala con el tamaño espacial y el número de RoIs, haciendo que el procesamiento de alta resolución y multiobjeto sea costoso.
2. Desafíos de Selección Adaptativa: Los enfoques alternativos que involucran selección o poda adaptativa de características visuales a menudo requieren supervisión de grano fino, heurísticas complejas o se limitan a escenarios de imagen única, obstaculizando la escalabilidad para el razonamiento multimodal.
3. Complejidad de la Aumentación con Herramientas: Los métodos que utilizan herramientas externas o programas ejecutables para adquirir evidencia de manera iterativa a menudo incurren en alta latencia, complejidad y fragilidad de ejecución.

Existe la necesidad de un mecanismo eficiente en la decodificación que trascienda las regiones aisladas para facilitar la comprensión holística de la escena y el modelado de relaciones interobjetos sin incurrir en sobrecargas de decodificación de longitud variable.

Metodología: ROVER

Los autores proponen ROVER (Enrutamiento de Evidencia Visual Centrada en Objetos para Razonamiento Multimodal Anclado), un plugin ligero y aprendible diseñado para enrutar evidencia visual global durante la generación autoregresiva. ROVER opera adjuntando un triplete de tokens de longitud constante al flujo de razonamiento tras cada predicción de anclaje de objeto.

Componentes Principales

1. Interfaz de Activación e Inserción:

   • ROVER inicia el enrutamiento al detectar un evento de anclaje válido (por ejemplo, <obj>...</obj><box>...</box>).
   • En lugar de inyectar parches de imagen de longitud variable, adjunta un triplete fijo de tokens Enlace/Clasificar/Tejer (LSW) ($T_k \in \mathbb{R}^{3 \times d}$) a la secuencia de incrustaciones de entrada. Esto asegura una sobrecarga de decodificación constante (3 tokens) por objeto anclado, independiente del tamaño espacial del objeto.

2. Primitivas de Enrutamiento (El Triplete de Tokens):

   • Token de Enlace ($t_{Link}$): Absorbe el contexto de decodificación en evolución, encapsulando compactamente el estado actual del razonamiento.
   • Token de Clasificar ($t_{Sift}$): Destila señales intramodales. Utiliza un mecanismo de Atención Diferencial Centrada en Objetos para agregar contexto complementario de regiones no-RoI mientras suprime distractores irrelevantes.
   • Token de Tejer ($t_{Weave}$): Integra evidencia consciente del historial. Enruta y combina información relevante de objetos previamente anclados a través de diferentes imágenes.

3. Módulos de Enrutamiento:

   • Clasificar (vía DiffAttn): Dado un cuadro delimitador de objeto, el módulo calcula una consulta RoI compacta mediante agrupación promedio. Luego emplea Atención Diferencial para consultar el contexto complementario (parches fuera del cuadro) mientras suprime distractores. El operador de atención se define como:
     $$\text{DiffAttn}(Q, K, V) = \left(\text{softmax}\left(\frac{Q_1 K_1^\top}{\sqrt{d_h}}\right) - \lambda \cdot \text{softmax}\left(\frac{Q_2 K_2^\top}{\sqrt{d_h}}\right)\right)V$$
     Esto permite al modelo extraer contexto de la escena (por ejemplo, semáforos cerca de un coche que frena) sin volver a codificar toda la imagen.
   • Tejer (vía VWS): Mantiene un Espacio de Trabajo Visual (VWS), una memoria unificada y ordenada por historia ($W_k$) compartida entre todos los eventos de enrutamiento. El token Tejer atiende a este VWS utilizando enmascaramiento autoregresivo para integrar evidencia histórica a través de objetos e imágenes, imitando las "fijaciones de retorno" en la cognición visual humana.

4. Pipeline de Entrenamiento:

   • Los autores integran ROVER en Qwen2.5-VL-7B y emplean un pipeline unificado Interleaved SFT-to-GRPO.
   • SFT Interleaved: Entrena al modelo para emitir patrones de anclaje precisos y respuestas específicas de la tarea, insertando automáticamente el triplete LSW al completar el anclaje.
   • GRPO Interleaved: Utiliza Optimización de Política Relativa por Grupos para optimizar las recompensas de la trayectoria (precisión de la respuesta) mientras excluye los tokens de enrutamiento insertados del cálculo de la pérdida para garantizar actualizaciones de política estables.

Contribuciones Clave

1. Plugin ROVER: Un mecanismo ligero y aprendible que implementa el enrutamiento global de evidencia visual centrada en objetos adjuntando un triplete de tokens de longitud constante después de cada predicción de anclaje, evitando la sobrecarga de la inyección de RoI de longitud variable.
2. Arquitectura Novel: La introducción de un mecanismo de Atención Diferencial Centrada en Objetos para destilar señales complementarias mientras se suprimen distractores, acoplado a un Espacio de Trabajo Visual (VWS) para el enrutamiento consciente del historial a través de objetos e imágenes.
3. Marco de Entrenamiento: Un pipeline de entrenamiento unificado interleaved SFT-to-GRPO que produce ganancias consistentes tanto en tareas de razonamiento anclado de imagen única como multimodal en configuraciones controladas.

Resultados Experimentales

El método fue evaluado en VideoEspresso (razonamiento multimodal) y MM-GCoT (razonamiento anclado de imagen única), adhiriéndose estrictamente a los conjuntos de datos originales y protocolos de evaluación.

• VideoEspresso: ROVER logró el mejor rendimiento en un entorno controlado, superando el mejor punto de referencia anterior en +8.6% en precisión de respuesta. También demostró una fuerte transferibilidad, mejorando el modelo base en +4.7% en promedio en diversos puntos de referencia (por ejemplo, Mantis, V-Star, TreeBench) a pesar de haber sido ajustado finamente exclusivamente en VideoEspresso.
• MM-GCoT: El método logró resultados de vanguardia, mejorando la precisión de respuesta en +4.8% y la precisión de anclaje en +14.6% sobre la línea base.
• Eficiencia: En comparación con los métodos de remuestreo de RoI, ROVER redujo los tokens de salida totales en 57.9% mientras mejoraba la calidad del razonamiento, demostrando una eficiencia de decodificación superior.
• Estudios de Ablación: Los experimentos confirmaron que la Atención Diferencial (Clasificar) mejora significativamente la precisión de anclaje al suprimir distractores, y que el VWS (Tejer) es crucial para integrar evidencia histórica a través de múltiples imágenes.

Significado y Afirmaciones

El artículo afirma que ROVER aborda la compensación entre la comprensión holística de la escena y la eficiencia de decodificación en el razonamiento anclado. Al alinearse conceptualmente con el marco cognitivo de doble proceso (agregación rápida del frontend seguida de razonamiento deliberado del backend), ROVER permite a los MLLMs:

• Revisar y reorganizar la evidencia visual dinámicamente sin el costo de volver a codificar grandes parches de imagen.
• Modelar relaciones interobjetos y mantener un contexto global a través de múltiples imágenes mediante el Espacio de Trabajo Visual.
• Lograr una generalización robusta a diversos dominios multimodales (incluyendo transferencia cero-shot a puntos de referencia como TreeBench y HallBench) sin requerir ajuste fino específico de la tarea o herramientas externas complejas.

Los autores posicionan a ROVER no como un reemplazo para la percepción visual, sino como un mecanismo de enrutamiento estructurado que conecta los detalles locales con el razonamiento global, ofreciendo una solución escalable para tareas complejas de razonamiento visual de múltiples saltos.