Resumen Técnico: Aprendizaje por Refuerzo Anclado para el Razonamiento Visual (ViGoRL)

Enunciado del Problema

Las tareas de razonamiento visual varían significativamente en su estructura, a menudo requiriendo que los modelos dirijan la atención visual, interpreten entradas perceptuales y anclen el razonamiento abstracto en evidencia espacial. Si bien el Aprendizaje por Refuerzo (RL) sobre cadenas de pensamiento ha avanzado los modelos de lenguaje en dominios basados en texto (matemáticas, programación), su aplicación a Modelos Visuales-Lingüísticos (VLM) enfrenta desafíos únicos. Los autores identifican que los VLM estándar suelen operar de manera de extremo a extremo, prediciendo respuestas en una sola pasada hacia adelante sin adaptar las estrategias computacionales a la escena de entrada.

Crucialmente, el artículo argumenta que las aplicaciones ingenuas del RL a los VLM no logran inducir comportamientos cognitivos útiles. En lugar de aprender a explorar regiones sistemáticamente, establecer subobjetivos o verificar hipótesis, la optimización estándar del RL en VLM base tiende a colapsar hacia "atajos". Estos atajos maximizan las recompensas inmediatas de la tarea produciendo un razonamiento abstracto y desanclado que trata la visión como un contexto estático en lugar de una entrada referenciada activamente. En consecuencia, los modelos no desarrollan los mecanismos de atención espacial necesarios para el razonamiento visual complejo, como localizar objetos pequeños en entornos abarrotados o navegar interfaces web.

Metodología: ViGoRL

Los autores proponen ViGoRL (Aprendizaje por Refuerzo Anclado Visualmente), un marco diseñado para anclar explícitamente cada paso de razonamiento a coordenadas visuales específicas. La hipótesis central es que los modelos "ven mejor" y "piensan mejor" cuando el razonamiento textual se acopla con un anclaje espacial, imitando la toma de decisiones visuales humana donde la mirada se desplaza selectivamente para recopilar información relevante para la tarea.

El enfoque consiste en una tubería de dos etapas seguida de una extensión de múltiples turnos:

1. Inicio Cálido mediante Búsqueda en Árbol de Monte Carlo (MCTS)

Para superar la limitación de que los VLM base carecen de comportamientos inherentes de razonamiento visual (por ejemplo, retroceso, exploración de regiones), los autores utilizan MCTS para generar trazas de razonamiento de alta calidad y ancladas.

• Modelo Docente: Se utiliza un modelo docente congelado de alta capacidad (Qwen2.5-VL-72B) para expandir nodos en el árbol de búsqueda.
• Nodos Anclados: Cada paso de razonamiento se define como una tupla $n_t = \langle s_t, (x_t, y_t) \rangle$, donde $s_t$ es un pensamiento en lenguaje natural y $(x_t, y_t)$ es una coordenada que ancla el pensamiento a una región de la imagen.
• Proceso de Búsqueda: El algoritmo MCTS (Selección, Expansión, Simulación, Retropropagación) explora sistemáticamente diversas regiones de la imagen y caminos de razonamiento. Fomenta explícitamente comportamientos como la exploración amplia (ramificación para cubrir regiones diversas) y el retroceso (abandonar ramas fallidas).
• Linealización: Los árboles de búsqueda resultantes se linealizan en ejemplos de entrenamiento, incluyendo tanto cadenas exitosas directas como "cadenas corregidas" que demuestran retroceso (por ejemplo, "Espera, eso parece incorrecto...").
• Ajuste Fino Supervisado (SFT): El modelo base se ajusta finamente sobre estas trazas generadas por MCTS para impulsar la capacidad de generar razonamiento estructurado y anclado.

2. Aprendizaje por Refuerzo con GRPO

Tras el SFT, el modelo experimenta Aprendizaje por Refuerzo utilizando Optimización de Política Relativa por Grupos (GRPO).

• Diseño de Recompensa: La función de recompensa incentiva dos cosas: (1) la corrección de la respuesta final ($r_{task}$) y (2) la validez del formato de salida, requiriendo específicamente que todas las referencias de coordenadas sean válidas ($r_{fmt}$). Esto asegura que el modelo aprenda a mantener el anclaje durante todo el proceso de razonamiento.
• Objetivo: El proceso de RL refina los comportamientos anclados aprendidos durante el SFT, reforzando secuencias que conducen a respuestas correctas mientras mantiene la restricción de anclaje espacial.

3. RL de Múltiples Turnos con Retroalimentación Visual

Para tareas que requieren inspección visual detallada (por ejemplo, elementos pequeños de GUI), los autores introducen una formulación de múltiples turnos.

• Microscopio Interactivo: Después de predecir una coordenada, el modelo puede emitir una llamada a herramienta para solicitar un recorte de alta resolución de esa región.
• Bucle de Retroalimentación: El entorno devuelve la imagen recortada, que se convierte en la entrada para el siguiente turno de razonamiento.
• Entrenamiento: El modelo se entrena en diálogos de múltiples turnos donde aprende a hacer zoom iterativamente cuando es necesario. La recompensa incluye un bono de diversidad para fomentar la exploración de coordenadas distintas en lugar de repetir la misma región.

Contribuciones Clave

1. Identificación de Modos de Fallo del RL: El artículo demuestra que el RL estándar en VLM sin incentivos de anclaje explícito conduce a un razonamiento desanclado, fallando en inducir comportamientos como la configuración de subobjetivos visuales o el retroceso.
2. Marco ViGoRL: Una tubería novedosa que combina un inicio cálido basado en MCTS (para inyectar priores de razonamiento anclado) y GRPO (para refinar estos comportamientos), que vincula explícitamente los pasos de razonamiento con coordenadas de imagen.
3. Retroalimentación Visual de Múltiples Turnos: Un mecanismo que permite a los modelos hacer zoom dinámicamente en regiones de la imagen durante el razonamiento, mejorando significativamente el rendimiento en tareas detalladas.
4. Análisis Conductual: Evidencia empírica que muestra que el razonamiento anclado amplifica comportamientos cognitivos como la exploración de regiones, la verificación visual y el retroceso, los cuales están ausentes en las líneas base estándar.

Resultados Experimentales

ViGoRL fue evaluado en diversas pruebas de referencia, incluyendo razonamiento espacial (SAT-2, BLINK, RoboSpatial), búsqueda visual (V*Bench) y anclaje web (ScreenSpot, VisualWebArena).

• Razonamiento Espacial: En SAT-2, ViGoRL-3B logró una precisión del 62.9%, una mejora de 12.9 puntos sobre GRPO Vanilla y una mejora de 16.8 puntos sobre el modelo base. Se observaron ganancias similares en BLINK y RoboSpatial.
• Anclaje Web: En ScreenSpot-Pro (anclaje de GUI de alta resolución), ViGoRL-3B alcanzó el 31.1%, superando al modelo base en 21.8 puntos y a GRPO Vanilla en 2.1 puntos.
• Búsqueda Visual: En V*Bench, el ViGoRL-7B de múltiples turnos logró una precisión del 86.4%, superando a modelos propietarios como GPT-4o (66.0%) y a pipelines avanzados que utilizan herramientas como Sketchpad-GPT-4o (80.3%).
• Interacción Web en Vivo: En VisualWebArena (entrada solo visual), ViGoRL superó al estado del arte anterior (ICAL) para el mismo tamaño de modelo, a pesar de carecer de acceso al texto HTML.
• Estudios de Ablación: Eliminar el anclaje explícito o el inicio cálido de MCTS degradó significativamente el rendimiento, confirmando que tanto la inicialización de comportamientos anclados como el refinamiento por RL son críticos.
• Evaluación Humana: Los evaluadores humanos encontraron que las predicciones ancladas del modelo eran espacialmente precisas (72.8% de precisión) y útiles para comprender los pasos de razonamiento, particularmente cuando la predicción era correcta.

Significado y Afirmaciones

Los autores afirman que el RL anclado visualmente es un paradigma sólido para dotar a los modelos de razonamiento visual de propósito general. Argumentan que el anclaje no es meramente una herramienta de visualización, sino un principio central arquitectónico y algorítmico. Al entrenar modelos para razonar con referencia deíctica (señalar, hacer zoom, verificar), el enfoque alinea el comportamiento del modelo con estrategias cognitivas humanas (rutinas visuales, atención espacial).

El artículo concluye que anclar explícitamente los pasos de razonamiento a coordenadas espaciales obliga a los modelos a participar en una cognición estructurada y alineada con el humano. Este andamiaje permite a los modelos descomponer problemas complejos en pasos manejables y perceptualmente anclados, lo que conduce a una mejor generalización en configuraciones fuera de distribución y a una mayor interpretabilidad. El trabajo sugiere que los sistemas futuros deben tratar el anclaje como un mecanismo central para el razonamiento en lugar de una señal auxiliar.