Resumen Técnico: Pensamiento Visual Iterativo (IVT)

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) actuales sobresalen en tareas de localización espacial de un solo paso, como la Comprensión de Expresiones Referenciales (REC), donde predicen coordenadas de cajas delimitadoras directamente a partir de descripciones textuales. Sin embargo, estos modelos carecen de un mecanismo inherente para observar y corregir sus propias predicciones. Mientras que los humanos resuelven tareas espaciales mediante un proceso de bucle cerrado de hipotetizar, verificar contra la evidencia visual y refinar, los VLMs operan bajo un paradigma de "paso único".

El artículo identifica una brecha crítica de "autocorrección": el hecho de pedir ingenuamente a un VLM que itere sobre sus propias predicciones renderizadas conduce a un fallo catastrófico. En experimentos, aplicar el pensamiento visual iterativo sin un entrenamiento específico causó que la precisión en IoU ≥ 0.5 (Acc@0.5) colapsara del 79.6% al 48.7% (una caída de 31 puntos porcentuales). Esto revela que, si bien los VLMs poseen fuertes capacidades de localización, no pueden interpretar nativamente las visualizaciones de sus propios errores para realizar una autocorrección.

Metodología: Pensamiento Visual Iterativo (IVT)

Los autores proponen el Pensamiento Visual Iterativo (IVT), un marco de bucle cerrado donde el modelo predice una caja delimitadora, observa la predicción renderizada como una superposición de color sobre la imagen original y utiliza este feedback visual para refinar iterativamente su salida.

El flujo de entrenamiento emplea una receta de dos fases para cerrar la brecha de autocorrección:

Fase 1: Calentamiento mediante SFT (Ajuste Fino Supervisado)

El Aprendizaje por Refuerzo (RL) directo falla inicialmente porque el modelo base no tiene el concepto de autocorrección espacial y tiende a producir predicciones degeneradas e idénticas en cada paso. Para abordar esto, los autores introducen una estrategia de síntesis de datos:

• Síntesis Basada en la Predicción del Estudiante: En lugar de utilizar cajas de verdad fundamental artificialmente perturbadas, el pipeline utiliza las propias predicciones iniciales realistas del modelo estudiante (Paso 0) como punto de partida para las trayectorias de error. Esto evita el "sandbagging del paso 0", donde los modelos aprenden a producir intencionalmente predicciones iniciales deficientes para imitar los datos de entrenamiento.
• Trazas de Razonamiento del Profesor: Un VLM profesor genera trazas de razonamiento correctivo. El profesor observa la predicción inicial del estudiante (o la superposición renderizada de pasos previos) y escribe una traza de razonamiento que identifica errores espaciales (por ejemplo, "desplazado", "demasiado grande") y explica la corrección necesaria.
• Entrenamiento: El modelo estudiante es ajustado mediante estas trayectorias utilizando pérdida de entropía cruzada, aprendiendo la estructura del pensamiento visual iterativo: interpretar superposiciones renderizadas, generar razonamiento fundamentado y producir cajas válidas.

Fase 2: Ajuste Fino con GRPO

Una vez que el modelo comprende la estructura del refinamiento mediante SFT, se aplica la Optimización de Política Relativa de Grupo (GRPO) para estabilizar el proceso de múltiples pasos.

• Función de Recompensa: Se utiliza una recompensa simple: la Intersección sobre la Unión (IoU) del paso final más un pequeño bono de formato para el parseo de la caja delimitadora válida. Esta simplicidad evita la inestabilidad observada con funciones de recompensa complejas de múltiples componentes.
• Objetivo: GRPO optimiza las trayectorias de resultados utilizando ventajas relativas de grupo, fomentando que el modelo mantenga o mejore las predicciones a través de los pasos de refinamiento en lugar de degradarlas.

Contribuciones Clave

1. El Marco IVT: Un sistema de razonamiento espacial de bucle cerrado donde los VLMs predicen, observan la predicción renderizada y se autocorrigen. El artículo demuestra que esta capacidad no es nativa; sin un entrenamiento explícito, el refinamiento iterativo causa una severa degradación del rendimiento.
2. Síntesis de Datos Autorreferencial: Una estrategia que aprovecha las propias predicciones del modelo base como fuentes realistas de error para el entrenamiento SFT, eliminando la necesidad de trazas de corrección anotadas por humanos.
3. Entrenamiento Asimétrico de Dos Fases: El artículo establece que el SFT es el habilitador principal de las ganancias de precisión, enseñando al modelo la estructura del pensamiento iterativo. GRPO actúa como un estabilizador, reduciendo la degradación del rendimiento por paso pero no impulsando el salto inicial de precisión.
4. Prueba de Escalabilidad: Los autores demuestran que la autocorrección espacial puede instilarse con un conjunto de datos modesto de 2,400 muestras entrenadas en un único GPU, superando a los baselines de un solo paso.

Resultados Experimentales

Los experimentos se realizaron en un benchmark mixto de 505 muestras de prueba de RefCOCOg, Ref-Adv-S y Ref-L4, utilizando el modelo Qwen3-VL-4B-Instruct.

• La Brecha de Autocorrección: El modelo base con IVT no entrenado cayó de un 79.6% a un 48.7% en Acc@0.5.
• Impacto de SFT: Tras el calentamiento con SFT mediante IVT, el modelo superó al modelo base de un solo paso en todas las métricas:
  • Acc@0.5: 82.0% (+2.4pp)
  • Acc@0.7: 74.1% (+3.2pp)
  • Acc@0.9: 48.3% (+2.8pp)
• Impacto de GRPO: Añadir GRPO al SFT redujo ligeramente la precisión general comparado con SFT+IVT por sí solo (Acc@0.5: 80.6% vs 82.0%), pero mejoró significativamente la estabilidad del refinamiento.
  • La degradación media de IoU por paso cayó de 0.140 (solo SFT) a 0.029 (SFT+GRPO), una reducción de 5 veces.
  • Sin SFT, el uso de GRPO por sí solo resultó en un "estancamiento degenerado" donde el modelo simplemente copiaba su primera predicción en cada paso.

Significado y Reivindicaciones

El artículo afirma que la autocorrección espacial es una capacidad aprendible que debe enseñarse explícitamente, ya que no emerge naturalmente en los VLMs base incluso con retroalimentación visual. El trabajo destaca una distincción fundamental entre la "capacidad de localización" (encontrar un objeto una vez) y la "capacidad de autocorrección" (refinar iterativamente los errores basados en la retroalimentación visual).

El ciclo propuesto de predecir-renderizar-refinar ofrece un nuevo paradigma para el razonamiento espacial que imita el ciclo de "actuar-observar-corregir" de los agentes con cuerpo físico (embodied agents). Además, el proceso iterativo proporciona interpretabilidad, ya que las trazas de razonamiento y las superposiciones renderizadas en cada paso hacen que el proceso de decisión espacial del modelo sea transparente, contrastando con la naturaleza de "caja negra" de las predicciones de un solo paso. Los autores señalan que, aunque la implementación actual se centra en la localización de un solo objeto, el marco es agnóstico a la representación y se extiende naturalmente a la segmentación, puntos clave (keypoints) y razonamiento de múltiples objetos.