Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

Resumen Técnico: Atribución de Evidencia en la Comprensión de Documentos Visuales sin Coordenadas ni Etiquetas de Región

Planteamiento del Problema
La comprensión fiable de documentos visuales (VDU, por sus siglas en inglés) requiere que los modelos no solo respondan preguntas, sino que también atribuyan dichas respuestas a regiones de evidencia específicas dentro de un documento. Los benchmarks y sistemas actuales, como CiteVQA, imponen una interfaz de coordenadas, donde los modelos deben generar coordenadas de cuadros delimitadores ($x_1, y_1, x_2, y_2$) para marcar la evidencia. Los autores observan que, bajo esta interfaz, los modelos de lenguaje-visión (VLMs) sufren frecuentemente de Alucinación de Atribución: generan respuestas correctas pero fallan al identificar las regiones de soporte, produciendo a menudo coordenadas que no se solapan con la verdad de campo (ground truth). El artículo investiga si este fallo proviene de una falta fundamental de capacidad de fundamentación (grounding) en los modelos abiertos o si es un artefacto del formato de salida de coordenadas en sí mismo. Además, aborda el desafío práctico de que entrenar modelos para localizar evidencia suele requerir anotaciones a nivel de región costosas para documentos largos, las cuales son difíciles de recolectar a escala.

Metodología
Los autores proponen un estudio comparativo y un nuevo paradigma de entrenamiento que elude la interfaz de coordenadas y la supervisión a nivel de región.

1. Interfaz de Lenguaje vs. Interfaz de Coordenadas:

   • Condición de Coordenadas: Los modelos siguen el protocolo estándar de CiteVQA, generando coordenadas de cuadros delimitadores de forma autorregresiva.
   • Condición de Lenguaje: Los modelos generan citas de texto textuales de la evidencia en lugar de coordenadas. Un proceso separado resuelve estas citas a regiones del documento:
     • Un analizador de diseño (MinerU) segmenta el documento en bloques semánticos (párrafos, tablas, figuras, subtítulos).
     • Cada bloque se renderiza como un recorte de imagen y se codifica mediante un codificador multimodal.
     • Las citas generadas por el modelo se codifican y se emparejan con los bloques semánticos que mejor se ajustan mediante una asignación uno a uno (resuelta mediante el algoritmo de húngaro).
   • Esta configuración permite a los autores evaluar los mismos modelos base bajo ambas interfaces manteniendo constantes la entrada y la lógica de puntuación.

2. Aprendizaje por Refuerzo Libre de Etiquetas de Región (GRPO):

   • Para mejorar la atribución sin etiquetas de región costosas, los autores utilizan la interfaz de lenguaje como un andamiaje de entrenamiento.
   • Construcción de la Recompensa: Un juez de lenguaje-visión evalúa la salida del modelo basándose en la pregunta, la respuesta de oro y los recortes de imagen recuperados de las regiones citadas (no las citas de texto bruto). El juez puntúa:
     • $a$: Corrección de la respuesta.
     • $erel$: Relevancia de la evidencia (¿el recorte respalda la respuesta?).
     • $ecov$: Cobertura de la evidencia (¿el conjunto de recortes cubre toda la información necesaria?).
   • La función de recompensa se define como $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$. Esta estructura multiplicativa asegura que las puntuaciones de evidencia solo contribuyan si la respuesta es correcta, atacando directamente la alucinación de atribución.
   • Optimización: El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) con recorte asimétrico (DAPO) para estabilizar el entrenamiento. La política aprende a generar mejores citas para maximizar la recompensa del juez, aprendiendo efectivamente a señalar las regiones correctas sin haber visto nunca coordenadas de región durante el entrenamiento.

Contribuciones Clave

1. Análisis de Interfaz: Un estudio controlado que demuestra que el bajo rendimiento de los VLMs abiertos en la atribución de evidencia es en gran medida un artefacto de la interfaz más que una brecha de capacidad. Cambiar de la interfaz de coordenadas a una interfaz de lenguaje de cita y recuperación mejora significativamente la capacidad de atribución.
2. Interfaz de Evidencia de Lenguaje: Un método novedoso que adapta la cita basada en texto (común en RAG de texto) a documentos visuales. Resuelve citas de lenguaje natural a regiones de píxeles mediante recuperación, evitando la necesidad de que los modelos generen coordenadas precisas.
3. Entrenamiento Libre de Etiquetas de Región: Una receta de aprendizaje por refuerzo que mejora la precisión de atribución estricta utilizando únicamente pares de pregunta-respuesta y un juez que evalúa los recortes recuperados. Esto elimina la necesidad de anotaciones manuales costosas a nivel de región.

Resultados
Evaluado en un subconjunto verificado de CiteVQA (719 preguntas bilingües) a través de seis VLMs abiertos (que van desde 8B hasta 31B de parámetros):

• Recuperación de la Atribución: Bajo la interfaz de coordenadas, la recuperación de evidencia (IoU $\ge$ 0.5) fue de como máximo 8.1%, con tasas de alucinación (respuestas correctas con evidencia errónea) que oscilaron entre el 82% y el 97%. Cambiar a la interfaz de lenguaje elevó la recuperación al 25.9%–46.9% y redujo las tasas de alucinación al 38.6%–65.4%.
• Ganancias de Entrenamiento: Aplicar la receta de entrenamiento GRPO a un modelo base de 8B aumentó la precisión de atribución estricta (SAA) del 22.4% al 33.8% y redujo aún más la tasa de alucinación al 28.4%.
• Calidad de la Respuesta: La corrección de la respuesta se mantuvo mayormente estable a través de las interfaces, lo que indica que la mejora es específica para la atribución, no para el razonamiento general.
• Ablación: La recuperación se atribuyó a la información codificada en el lenguaje generado por el modelo (las citas) y no solo a la maquinaria de recuperación. La interfaz de lenguaje permitió a los modelos expresar información de localización que el formato de coordenadas no lograba capturar.

Significado y Reivindicaciones
El artículo argumenta que la "Alucinación de Atribución" observada en los VLMs abiertos no es una falta de capacidad de fundamentación insuperable, sino un desajuste entre la evidencia que los modelos pueden expresar en lenguaje y las restricciones de la interfaz de coordenadas. Al adoptar un enfoque de cita y recuperación, los autores demuestran un camino práctico hacia una atribución de evidencia de alta calidad en documentos visuales. Crucialmente, este camino no requiere:

• Una interfaz de salida de coordenadas.
• Datos de supervisión costosos a nivel de región.

Los hallazgos sugieren que los modelos abiertos ya poseen la capacidad de identificar ubicaciones de evidencia cuando se les permite expresarlas en lenguaje natural, y que el aprendizaje por refuerzo con recompensas basadas en jueces sobre recortes recuperados puede refinar eficazmente esta capacidad. Los autores señalan limitaciones, como la dependencia de un analizador de diseño (que establece un límite superior de rendimiento) y que el alcance actual se limita a la atribución de un solo documento.