Resumen Técnico: iVGR – Internalización del Razonamiento Visualmente Anclado para MLLMs mediante Aprendizaje por Refuerzo

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado avances significativos en el razonamiento general, pero presentan dificultades con la percepción de grano fino en escenas visuales de alta resolución o complejas. Aunque el Razonamiento de Cadena de Pensamiento Visualmente Anclado (Visually Grounded Chain-of-Thought o CoT) ha surgido como un paradigma prometedor para mejorar la percepción al anclar explícitamente el razonamiento a regiones visuales (mediante recortes dinámicos o cajas delimitadoras), su eficacia durante la fase de inferencia sigue siendo poco explorada.

Un análisis empírico en este trabajo revela un hallazgo contraintuitivo: obligar a la generación de cajas de objetos explícitas o herramientas de recorte durante la inferencia a menudo degrada el rendimiento en comparación con el CoT textual estándar.

• Los enfoques basados en herramientas (por ejemplo, DeepEyes) que invocan herramientas de recorte externas sufren cuando la localización del recorte es deficiente, introduciendo ruido visual que perjudica la predicción de la respuesta.
• Los enfoques de anclaje explícito (por ejemplo, TreeVGR) que requieren generar cajas delimitadoras dentro del CoT rinden consistentemente por debajo del CoT textual en todos los intervalos de calidad de localización.

Los autores plantean la hipótesis de que la capacidad de localización visual puede ser internalizada en el proceso de razonamiento textual. La generación obligatoria de coordenadas explícitas durante la inferencia introduce una interferencia innecesaria, distrayendo al modelo de su objetivo principal: la predicción de la respuesta.

2. Metodología: iVGR

Para abordar esto, los autores proponen iVGR (Internalizing Visually Grounded Reasoning), un nuevo marco de aprendizaje por refuerzo (RL) diseñado para transferir las capacidades de localización desde un flujo anclado hacia un flujo de razonamiento puramente textual.

Estrategia de Entrenamiento de Doble Flujo

El núcleo de iVGR es un mecanismo de entrenamiento de doble flujo donde, para cada consulta de entrenamiento, la política del MLLM genera dos flujos distintos de ejecuciones (rollouts):

1. Flujo Anclado (Grounded Stream): Se le pide al modelo que prediga explícitamente cajas delimitadoras (<box>[x1, y1, x2, y2]</box>) al referirse a objetos. Este flujo es recompensado por su formato, precisión de la respuesta y calidad de localización (IoU).
2. Flujo Textual (Textual Stream): El modelo realiza un razonamiento de lenguaje natural estándar sin restricciones de anclaje explícito.

Recompensa de Consistencia

La innovación crítica es la Recompensa de Consistencia, que alinea el flujo textual con el razonamiento de alta calidad del flujo anclado.

• Selección de Referencia: Un "Archivo de Ejecuciones" (Rollout Archive) mantiene el CoT anclado de mayor calidad (basado en IoU y precisión) encontrado hasta el momento para cada consulta.
• Alineación Semántica: Un juez LLM externo evalúa la consistencia semántica entre el CoT textual y la referencia anclada archivada. El juez asigna una puntuación (0.0 a 1.0) basada en si la descripción textual coincide con los hechos visuales establecidos en la referencia anclada (por ejemplo, omitir detalles, añadir alucinaciones o contradecir hechos).
• Optimización: El flujo textual se optimiza para maximizar esta recompensa de consistencia, aprendiendo efectivamente a "ver" y localizar objetos de forma implícita dentro de su texto sin emitir coordenadas.

Escalado de Tiempo de Prueba Asistido por Herramientas

Aunque el modelo está entrenado para internalizar el anclaje, iVGR conserva la flexibilidad de utilizar herramientas externas. En el tiempo de prueba, se propone un flujo de trabajo donde el modelo primero genera un CoT anclado para extraer las cajas delimitadoras. Estas cajas se utilizan para recortar la imagen (incluyendo un "recorte de unión" de todas las regiones), y el modelo realiza el razonamiento sobre estas entradas de múltiples vistas utilizando un CoT textual estándar.

3. Contribuciones Clave

• Análisis Empírico: El artículo demuestra que el anclaje visual explícito durante la inferencia a menudo perjudica el rendimiento, lo que sugiere que las capacidades de localización pueden transferirse implícitamente al CoT textual.
• Marco iVGR: Una estrategia de doble flujo basada en aprendizaje por refuerzo que utiliza una recompensa de consistencia para internalizar el anclaje visual en el razonamiento textual, eliminando la necesidad de la generación explícita de coordenadas durante la inferencia.
• Escalabilidad y Compatibilidad: El método se valida en modelos Qwen2.5-VL y Qwen3-VL, mostrando mejoras significativas en benchmarks de grano fino y de razonamiento general, manteniendo la compatibilidad con flujos de trabajo asistidos por herramientas.

4. Resultados Experimentales

Se realizaron experimentos extensos en benchmarks de VQA de grano fino (V*, HR4K, HR8K) y tareas de razonamiento general (MME-RW-Lite, POPE, RealWorldQA, etc.).

• Ganancias de Rendimiento: iVGR supera significativamente a los baselines existentes. En el modelo Qwen2.5-VL-7B, iVGR logra una mejora promedio del 6.5% en los benchmarks, con ganancias sustanciales en tareas de grano fino (por ejemplo, +10.4% en HR8K).
• Comparación con SOTA: Supera tanto a los métodos basados en herramientas (como DeepEyes) como a los métodos de anclaje explícito (como TreeVGR) sin requerir herramientas externas durante la fase de inferencia primaria.
• Evidencia de Internalización: El análisis de las puntuaciones de atención muestra que el flujo textual de iVGR presta atención a los tokens de la imagen con mayor fuerza que incluso la variante de solo flujo anclado, confirmando que el modelo ha internalizado con éxito el anclaje visual.
• Sinergia de Herramientas: Cuando se equipa con el escalado de tiempo de prueba asistido por herramientas propuesto (usando recortes), el rendimiento mejora aún más (por ejemplo, +1.5% en HR4K para Qwen3-VL-8B), demostrando la flexibilidad del método.

5. Significado y Reivindicaciones

El artículo afirma que iVGR ofrece un paradigma más eficiente y robusto para el razonamiento visual de grano fino. Al internalizar la capacidad de localización, el modelo evita el ruido y la interferencia causados por la generación obligatoria de coordenadas explícitas durante la inferencia.

Los autores posicionan a iVGR como un método que:

1. Desacopla la capacidad de localización visual de la necesidad de formatos de salida explícitos.
2. Mejora la percepción de grano fino sin sacrificar la flexibilidad del razonamiento textual estándar.
3. Mantiene la compatibilidad con herramientas externas, permitiendo un enfoque híbrido donde las herramientas pueden aprovecharse en el tiempo de prueba si se requiere una mayor precisión.

El trabajo sugiere que el futuro del razonamiento visualmente anclado no reside en forzar a los modelos a emitir coordenadas, sino en entrenarlos para razonar con una comprensión implícita e internalizada del espacio visual.