Resumen Técnico: ReGround

Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLM) sufren frecuentemente de degradación del anclaje visual (visual grounding decay) durante el razonamiento de múltiples pasos. A medida que las cadenas de razonamiento se alargan, la dependencia del modelo en los sesgos lingüísticos (language priors) aumenta mientras que su atención a los tokens de la imagen disminuye. Los autores identifican una firma consistente de esta degradación: a través de 2,510 muestras reexaminadas, la entropía de atención sobre los tokens de la imagen típicamente disminuye significativamente durante la primera ronda de razonamiento (Ronda 1) y no logra recuperarse sin intervención.

Si bien trabajos previos han documentado esta degradación, persiste una brecha crítica: la simple reinyección de evidencia visual no garantiza la corrección. El artículo postula que la calidad diagnóstica es el factor determinante. Sin un autodiagnóstico dirigido, el reexamen visual puede conducir al "segundo pensamiento perjudicial" (harmful second-guessing), donde el modelo anula respuestas correctas o no logra recuperarse de los errores. Por el contrario, un reexamen efectivo requiere tanto la reinyección de la imagen como una señal diagnóstica significativa y dirigida.

Metodología: El Marco ReGround

ReGround es un marco de dos etapas, libre de herramientas (tool-free), diseñado para enseñar a los VLM a diagnosticar autónomamente fallos de anclaje y reexaminar selectivamente la evidencia visual. No requiere modificaciones arquitectónicas ni herramientas externas (por ejemplo, herramientas de recorte o zoom).

Etapa 1: Ajuste Fino Supervisado de Inicio en Frío (SFT)

El marco construye un conjunto de datos de entrenamiento especializado utilizando un Disparador de Reexamen Secuencial y un Autodiagnóstico Visual:

1. Política de Disparador de Reexamen: No todas las muestras requieren reexamen. El sistema filtra las respuestas iniciales mediante tres pasos:

   • ¿Es Correcto?: Si la respuesta es incorrecta, el reexamen se dispara incondicionalmente.
   • ¿Está Anclado?: Si la respuesta es correcta, un modelo juez (Qwen2.5-VL-72B) evalúa si el razonamiento está verdaderamente anclado utilizando cuatro criterios: cobertura de atributos visuales, eliminación de alternativas, ausencia de vacilación (hedging) y anclaje visual. Las respuestas correctas pero no ancladas disparan el reexamen.
   • ¿Es Verificable?: Se aplica un disparador estocástico ($\epsilon$) a las respuestas correctas y ancladas para enseñar al modelo que el reexamen también puede servir como verificación.
   • No-ReGround: Las muestras que pasan todas las comprobaciones sin un disparador estocástico se mantienen como trayectorias de un solo turno para evitar el disparo excesivo.

2. Autodiagnóstico Visual y Reinyección: Una vez disparado, el sistema genera una señal diagnóstica dentro de una etiqueta <reground>. Se utilizan tres modos de reinyección de información:

   • Corrección: Identifica puntos probables de percepción visual errónea para redirigir la atención.
   • Anclaje (Grounding): Fuerza al modelo a anclar el lenguaje especulativo a coordenadas espaciales o elementos concretos sin revelar la respuesta.
   • Verificación: Reinyecta la imagen de forma holística para doble verificar la cadena lógica.

3. Arranque de Capacidades (Capability Bootstrapping): Durante la construcción de los datos, una variante de modelo más fuerte (por ejemplo, 72B) genera las señales diagnósticas. El modelo de política (por ejemplo, 7B) aprende a generar estas señales de forma autónoma durante el SFT. La variante más fuerte se descarta tras el entrenamiento.

4. Formato de Trayectoria: Los datos se formatean en una plantilla de múltiples turnos: Razonamiento Inicial $\rightarrow$ <reground> (Diagnóstico + Reinyección) $\rightarrow$ Razonamiento Revisado $\rightarrow$ Respuesta Final.

Etapa 2: Aprendizaje por Refuerzo (GRPO)

La política se refina utilizando Optimización de Política Relativa de Grupo (GRPO) con una función de recompensa asimétrica para calibrar el comportamiento de disparo:

• Recompensa de Re-anclaje ($R_{reg}$): Recompensa la presencia estructural de un intervalo <reground> válido.
• Recompensa de Exactitud ($R_{acc}$): Recompensa las respuestas finales correctas, pero incluye un término de interacción negativa. Esto penaliza el beneficio marginal de la corrección si el modelo disparó un reexamen innecesariamente, desalentando el adivinado ciego.
• Penalización de Formato ($R_{form}$): Penaliza errores de sintaxis.

Este modelado de recompensa crea una distribución asimétrica: la recompensa más alta va para la recuperación exitosa (re-anclaje + correcto), mientras que el "fallo ciego" (sin re-anclaje + incorrecto) es penalizado. Esto incentiva al modelo a aprender cuándo reexaminar y cómo usar el reexamen de manera efectiva.

Contribuciones Clave

1. Evidencia Empírica de Degradación y Recuperación: Los autores demuestran que la entropía de atención se estrecha en el 98.0% de los pasos de razonamiento, pero se recupera tras la reinyección de la imagen en el 94.4% de los casos.
2. La Calidad Diagnóstica como Cuello de Botado: El artículo establece que un reexamen genérico puede degradar el rendimiento, mientras que un autodiagnóstico dirigido recupera el 79–90% de las ganancias proporcionadas por una señal de un oráculo (modelo más fuerte).
3. Análisis de la Política de Disparo: El estudio revela que el disparo excesivo daña las respuestas correctas, mientras que un disparo conservador pierde ganancias recuperables. Una política equilibrada es esencial.
4. Un Marco Práctico y Libre de Herramientas: ReGround mejora el rendimiento en múltiples benchmarks sin herramientas externas ni cambios arquitectónicos, basándose únicamente en la reinyección de la imagen y el autodiagnóstico.

Resultados Experimentales

Los experimentos se realizaron en ocho benchmarks (incluyendo MathVista, MathVision, MathVerse, HallusionBench, MMBench, etc.) utilizando dos backbones de VLM (Qwen2.5-VL-7B y Qwen3-VL-8B).

• Ganancias de Rendimiento: En Qwen2.5-VL-7B, ReGround logró el mejor rendimiento en cinco de los ocho benchmarks, con mejoras significativas en tareas de razonamiento matemático (por ejemplo, +3.8 en MathVista, +4.5 en MathVerse) y una ganancia sustancial de +6.8 en HallusionBench (enfocado en alucinaciones visuales).
• Transferencia entre Backbones: Aplicar la misma receta de entrenamiento a Qwen3-VL-8B produjo ganancias consistentes en los ocho benchmarks sin necesidad de reajuste de hiperparámetros.
• Eficiencia: ReGround incurre en una sobrecarga de inferencia moderada (1.62× tokens totales, 1.76× latencia) en comparación con el baseline, pero supera a los baselines aumentados con herramientas como Thyme tanto en velocidad como en exactitud.
• Estudios de Ablación:
  • Mecanismo: La reinyección visual es esencial; la reflexión basada solo en texto produce ganancias insignificantes.
  • Composición de Datos: Eliminar las muestras de "No-ReGround" causa que la tasa de disparo se dispare a ~85% y degrada la exactitud, confirmando la necesidad de ejemplos negativos.
  • Calidad de la Señal: Las señales genéricas (por ejemplo, "mira de nuevo") pueden perjudicar el rendimiento. El autodiagnóstico dirigido es la variable clave.

Significado y Reivindicaciones

El artículo sostiene que la calidad diagnóstica, más que el mero acto de reexaminar la evidencia visual, es el factor central para un reexamen visual exitoso. ReGround demuestra que los VLM pueden aprender a identificar autónomamente cuándo han perdido el anclaje visual y qué evidencia específica deben revisar, siempre que sean entrenados con señales diagnósticas de alta calidad y una política de disparo equilibrada.

Los autores posicionan a ReGround como un mecanismo complementario y libre de herramientas que aborda el modo de fallo específico de la "deriva del anclaje visual" en el razonamiento de múltiples pasos. Al aislar el impacto de la guía diagnóstica del formato de reexamen, el trabajo sugiere que las mejoras futuras en el razonamiento anclado deberían centrarse en mejorar la capacidad del modelo para el autodiagnóstico y el direccionamiento de evidencia visual específica, en lugar de depender únicamente de herramientas externas o de mayores escalas de modelos.