Resumen Técnico: H-GRPO para el Razonamiento Visual Anclado

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) enfrentan actualmente una desconexión crítica entre la alta precisión en benchmarks y el razonamiento visual fiel. Aunque los modelos suelen lograr un alto rendimiento, frecuentemente dependen de correlaciones superficiales, ignoran la evidencia visual relevante o alucinan hechos intermedios. Este problema se ve exacerbado cuando los VLMs son post-entrenados mediante Aprendizaje por Refuerzo (RL); optimizar únicamente la corrección de la respuesta final puede amplificar el razonamiento de tipo "atajo" (shortcut) en lugar de fomentar la deducción basada en evidencia.

Los métodos actuales basados en RL (por ejemplo, R1-VL, Vision-R1) supervisan principalmente el razonamiento textual o los resultados finales sin anclar los pasos intermedios en evidencia visual localizada. Por el contrario, los métodos de anclaje (por ejemplo, Visual-RFT, ViGoRL) tratan la localización como algo auxiliar en lugar de integral al proceso de razonamiento. Además, los conjuntos de datos actuales carecen de anotaciones a gran escala que capturen conjuntamente la estructura de razonamiento, las respuestas intermedias y la evidencia espacial específica. Un desafío clave al entrenar tales modelos es que las rutas de razonamiento válidas no son únicas; diferentes modelos pueden resolver la misma pregunta visual utilizando diferentes pasos intermedios o de orden distinto. La comparación estándar a nivel de secuencia penaliza el razonamiento correcto simplemente porque se desvía de un orden de referencia fijo.

2. Metodología

2.1 Descomposición del Razonamiento Anclado

El marco propuesto obliga al modelo a descomponer una consulta visual global en una secuencia de subtareas atómicas y verificables. En lugar de una inferencia monolítica, el modelo genera una salida estructurada $y$ que consiste en:

• Tripletas Intermedias ($\tau_i$): Una secuencia $\{ \tau_1, \dots, \tau_m \}$ donde cada triplete contiene:
  • $q_i$: Una sub-pregunta.
  • $a_i$: Una respuesta intermedia.
  • $b_i$: Un cuadro delimitador de evidencia espacial ($[x_{min}, y_{min}, x_{max}, y_{max}]$) que localiza el soporte visual para la respuesta.
• Ruta de Razonamiento ($r$): Una síntesis en lenguaje natural de las tripletas.
• Respuesta Final ($a_{final}$): La respuesta concisa a la pregunta original.

2.2 Síntesis de Datos (GVRS)

Para abordar la falta de datos de entrenamiento, los autores construyeron el conjunto de datos Grounded Visual Reasoning Synthesis (GVRS).

• Pipeline: Un conjunto de referencia de alta calidad de 40 ejemplos fue redactado por GPT-4o y refinado mediante verificación humana (human-in-the-loop). La precisión espacial se mejoró utilizando SAM3 para el refinamiento de los cuadros.
• Escala: Utilizando un prompt de sistema optimizado seleccionado mediante puntuación de recompensa, se generaron 10,000 muestras de entrenamiento a partir de cuatro fuentes: Visual7W, Visual-CoT, A-OKVQA y ERQA.
• Validación: Un subconjunto fue validado manualmente por expertos para asegurar la consistencia lógica, la corrección semántica y la precisión espacial.

2.3 H-GRPO: Optimización de Política Relativa de Grupo Húngara

La innovación central es H-GRPO, un marco de RL invariante a la permutación diseñado para manejar rutas de razonamiento no únicas.

• Emparejamiento Invariante a la Permutación: En lugar de comparar las cadenas de razonamiento generadas y de referencia en un orden fijo, H-GRPO formula la evaluación como un problema de emparejamiento bipartito entre el conjunto de tripletas predichas ($\hat{D}$) y las tripletas de referencia ($D^*$).

• Métrica de Similitud: Se construye una matriz de similitud $S$ donde cada entrada $S_{ij}$ combina:

  • Existencia y compatibilidad de los cuadros delimitadores.
  • Similitud de coseno de Sentence-BERT para las sub-preguntas ($sim_q$) y las sub-respuestas ($sim_a$).
  • Intersección sobre Unión (IoU) para el solapamiento espacial.

• Algoritmo Húngaro: El asignamiento óptimo uno a uno se encuentra utilizando el algoritmo húngaro para maximizar la puntuación de similitud total ($S_{HS}$).

• Función de Recompensa: La recompensa total $R$ es un compuesto de:

  1. Recompensa de Formato ($R_{format}$): Asegura que la salida siga la estructura de la tripleta (sub-preguntas, respuestas, ruta de razonamiento, respuesta final).
  2. Recompensa de Razonamiento Húngaro ($R_{HS}$): Una recompensa densa a nivel de proceso derivada de la puntuación de emparejamiento, con un umbral para suprimir el razonamiento débil.
  3. Recompensa de Respuesta Final ($R_{answer}$): Se activa solo si el razonamiento está suficientemente anclado (es decir, si $R_{HS}$ supera un umbral).

  La fórmula es: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$.

Esta formulación asegura que el modelo reciba recompensas fuertes solo cuando la respuesta final es correcta y se deriva de pasos intermedios semánticamente alineados y visualmente anclados, independientemente del orden en que se generen dichos pasos.

3. Contribuciones Clave

1. Protocolo de Descomposición de Razonamiento Anclado: Una representación novedosa de los pasos de razonamiento como tripletas (sub-pregunta, sub-respuesta, evidencia espacial), forzando la exteriorización explícita de la evidencia visual.
2. Pipeline Escalable de Síntesis de Datos: Un método para generar trazas de razonamiento ancladas paso a paso sin necesidad de una anotación manual extensiva, creando el conjunto de datos GVRS.
3. Marco H-GRPO: Un algoritmo de RL invariante a la permutación que utiliza el emparejamiento húngaro para alinear las tripletas predichas y de referencia, permitiendo trayectorias de razonamiento flexibles mientras se impone la consistencia de la evidencia.
4. Protocolo de Evaluación Unificado: Una suite de métricas exhaustiva que mide la corrección de la respuesta, la fidelidad del anclaje, la alineación paso a paso y la dependencia de la evidencia visual.

4. Resultados Experimentales

El método fue evaluado en backbones de VLM de código abierto (Qwen2.5-VL-3B y SmolVLM-2.2B) a través de benchmarks in-domain y fuera de la distribución (OOD).

• Rendimiento In-Domain: H-GRPO logró los mejores resultados en A-OKVQA y Visual7W para el backbone SmolVLM-2.2B (73.4% y 77.2%, respectivamente), superando el SFT y el GRPO vanilla. Para Qwen2.5-VL-3B, H-GRPO igualó o superó ligeramente el rendimiento de SFT/GRPO, particularmente en Visual7W.
• Generalización Fuera de la Distribución (OOD): H-GRPO demostró una generalización superior en tareas de razonamiento espacial y geométrico. Logró las puntuaciones más altas en RealWorldQA, RoboSpatial (70.2%) y MMStar. La mejora en MMMU fue moderada, lo que sugiere que el método es más efectivo para tareas visualmente ancladas que para el razonamiento puramente intensivo en conocimiento.
• Interpretabilidad: Evaluado mediante LLM-as-a-Judge, las trazas de razonamiento de H-GRPO obtuvieron las puntuaciones más altas en todas las dimensiones (Relevancia, Coherencia, Consistencia, Claridad, Interpretabilidad), superando significativamente a R1-VL, ViGoRL y Reason-RFT.
• Análisis Cualitativo: Los ejemplos mostraron que el modelo logra anclar con éxito el razonamiento de categoría, espacial y de acción en regiones específicas de la imagen (por ejemplo, identificando a un chef mediante una chaqueta blanca y un mostrador de comida), reduciendo el riesgo de alucinaciones sin sustento.

5. Significado y Afirmaciones

El artículo afirma que H-GRPO aborda el compromiso entre la precisión del razonamiento y la fidelidad del anclaje. Al exigir que cada paso lógico intermedio esté anclado a una región visual específica, el marco produce rutas de razonamiento que son:

• Verificables: Los humanos y las funciones de recompensa pueden inspeccionar la evidencia visual para cada paso.
• Fieles: La respuesta final emerge como una consecuencia lógica de hechos visuales verificados en lugar de una suposición estadística.
• Flexibles: La recompensa invariante a la permutación permite diversos órdenes de razonamiento válidos, evitando la penalización de la lógica correcta que simplemente sigue una secuencia distinta a la de referencia.

Los autores señalan que, si bien H-GRPO mejora significativamente el rendimiento en tareas de localización y razonamiento espacial, no compensa totalmente las brechas de conocimiento de dominio requeridas para el razonamiento abstracto o científico (por ejemplo, MMMU). Concluyen que el trabajo futuro debe extender el anclaje supervisado al razonamiento simbólico, basado en gráficos y de contexto largo para alcanzar plenamente el potencial de la deducción visual basada en evidencia.