Resumen Técnico: EASE (Atención Espacial Anclada en la Evidencia) para RLVR Multimodal

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un paradigma estándar para mejorar los Modelos de Lenguaje-Visión (VLM) mediante la optimización de recompensas de resultado derivadas de respuestas finales. Sin embargo, los autores identifican una limitación crítica en el RL basado únicamente en resultados: este no logra supervisar el proceso de adquisición de evidencia visual.

Cuando un VLM responde correctamente a una pregunta, una recompensa de resultado no distingue entre una respuesta fundamentada en evidencia visual relevante y una derivada de sesgos lingüísticos, de los datos o de golpes de suerte. Esto crea un "problema de asignación de crédito de percepción", donde el modelo no es penalizado por ignorar las regiones visuales que justifican la respuesta. En consecuencia, los modelos pueden producir texto plausible mientras permanecen débilmente anclados a la imagen, lo que aumenta los riesgos de alucinación, particularmente en tareas que requieren percepción fina, conteo de objetos o razonamiento en múltiples regiones.

2. Metodología: EASE

Los autores proponen EASE (Evidence-Anchored Spatial Attention - Atención Espacial Anclada en la Evidencia), un marco que aumenta el RLVR multimodal con la supervisión del proceso de evidencia visual. EASE opera bajo el principio de que las trayectorias de alta recompensa no solo deben producir respuestas correctas, sino también demostrar una atención alineada con la evidencia visual que respalda dichas respuestas.

Mecanismo Central

• Anotación de Evidencia: El método utiliza cuadros delimitadores anotados (regiones de evidencia) de los datos de entrenamiento. Estas anotaciones se tratan como etiquetas de entrenamiento privilegiadas utilizadas únicamente para construir una distribución objetivo auxiliar; no se proporcionan como entrada durante la inferencia.
• Distribución Objetivo Suavizada: EASE convierte los cuadros de evidencia anotados en una distribución objetivo suave y suavizada sobre los tokens visuales. Cada cuadro se modela como un componente gaussiano centrado en el punto medio del cuadro, con una covarianza que asegura que la mayor parte de la masa de probabilidad resida dentro de la región anotada, tolerando el ruido en los bordes. Para preguntas con evidencia múltiple, se utiliza una mezcla de pesos iguales de estas gaussianas, la cual se suaviza aún más con una distribución de fondo uniforme para evitar la restricción excesiva del contexto.
• Puerta Sensible a la Recompensa (Reward-Aware Gating): La supervisión de la atención se aplica únicamente a las trayectorias que reciben altas recompensas del verificador (es decir, respuestas correctas). Los autores argumentan que las respuestas de baja recompensa suelen exhibir patrones de atención poco fiables, y forzar la alineación en respuestas incorrectas podría introducir ruido.
• Supervisión de la Atención: Durante la actualización del actor, EASE extrae la atención de la respuesta hacia la visión de una capa intermedia semántica del transformador (específicamente la capa $\ell^* = \lfloor 2L/3 \rfloor$). Calcula la divergencia de Kullback-Leibler (KL) entre la distribución de atención del modelo y el objetivo anclado en la evidencia. Esta pérdida KL actúa como un término auxiliar añadido al objetivo de RL estándar (por ejemplo, DAPO o GRPO).

Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena en una mezcla equilibrada de ejemplos de evidencia única y múltiple. La pérdida auxiliar guía al modelo para que se concentre en las regiones relevantes para las trayectorias exitosas.
• Inferencia: El proceso de inferencia permanece sin cambios. El modelo recibe únicamente la imagen y la pregunta originales, manteniendo la misma arquitectura y procedimiento de decodificación que el VLM subyacente sin requerir metadatos de evidencia.

3. Contribuciones Clave

1. Identificación de una Señal Faltante: El artículo identifica la adquisición de evidencia visual como una señal de proceso faltante en el RLVR multimodal e introduce EASE para abordar el problema de la asignación de crédito de percepción sin requerir metadatos de evidencia durante la inferencia.
2. Supervisión de Proceso vía Atención: Los autores proponen un método para mapear las regiones de evidencia anotadas a una distribución objetivo suavizada y aplicar esta guía específicamente a las trayectorias de alta recompensa, asegurando que las respuestas correctas estén respaldadas por un enfoque visual correcto.
3. Validación Empírica: EASE se valida a través de múltiples backbones de VLM (Qwen2.5-VL-7B, Qwen3-VL-4B y Qwen3-VL-8B) y diversos benchmarks. Los diagnósticos confirman que EASE mejora la alineación entre la atención visual y las regiones de evidencia anotadas.

4. Resultados Experimentales

El artículo reporta mejoras consistentes sobre las líneas base de RL de solo resultado (GRPO y DAPO) en tres escalas de modelos:

• Ganancias de Rendimiento: En el backbone Qwen2.5-VL-7B, EASE mejora el puntaje promedio sobre DAPO en 2.9 puntos. En Qwen3-VL-4B y Qwen3-VL-8B, las mejoras son de 3.1 y 2.5 puntos, respectivamente.
• Especificidad de los Benchmarks: Las ganancias son más pronunciadas en benchmarks de razonamiento intensivo en percepción, robustez ante alucinaciones, matemáticas visuales y lógica. Por ejemplo, en Qwen2.5-VL-7B, EASE mejora el rendimiento en MathVista en +6.5 puntos y en WeMath en +4.9 puntos en comparación con DAPO.
• Competitividad: EASE-7B logra el mejor puntaje promedio entre los métodos de razonamiento multimodal de escala 7B comparados en benchmarks compartidos (por ejemplo, MathVista, LogicVista).
• Diagnósticos: Los estudios de ablación y las métricas diagnósticas (Masa de Atención, Precisión de Apuntamiento, Cobertura de Evidencia Múltiple) demuestran que EASE aumenta con éxito la cantidad de atención que cae dentro de las regiones de evidencia anotadas y mejora la cobertura de múltiples regiones de apoyo.

5. Significado y Reivindicaciones

Los autores afirman que EASE demuestra que la supervisión de la adquisición de evidencia visual es un complemento práctico y efectivo para las recompensas de la respuesta final para lograr un razonamiento multimodal más anclado. Al fomentar que los modelos "miren" las partes correctas de la imagen cuando son correctos, EASE reduce la dependencia de atajos lingüísticos y mitiga la alucinación.

El artículo posiciona a EASE como un método que mejora el proceso de razonamiento interno (específicamente la atención espacial) sin alterar la interfaz de inferencia. Los autores señalan que, si bien el método depende de las anotaciones de evidencia durante el entrenamiento, no las requiere durante la inferencia, lo que lo hace aplicable a escenarios de despliegue estándar de VLM.

Limitaciones Reconocidas

El artículo reconoce modestamente varias limitaciones:

• Costo de Construcción de Datos: Obtener cuadros de evidencia fiables requiere un esfuerzo de anotación adicional.
• Alcance de la Evidencia: El método es más adecuado para tareas donde la evidencia puede localizarse en regiones específicas de la imagen. Puede ser menos efectivo para pistas holísticas, estilísticas o distribuidas globalmente.
• Medida Causal: Los autores aclaran que los diagnósticos de atención sirven como evidencia de una mejor localización espacial, pero no son una medida causal completa de la dependencia visual.

En resumen, EASE representa un cambio de un aprendizaje por refuerzo puramente basado en resultados a una supervisión consciente del proceso, asegurando que el camino hacia una respuesta correcta involucre la evidencia visual correcta.