Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

1. El Problema

La Respuesta a Preguntas Visuales en Documentos (DocVQA) de múltiples páginas presenta un desafío fundamental: razonar sobre la semántica, la disposición (layout) y los elementos visuales en documentos largos y visualmente densos (como informes financieros, artículos académicos o manuales industriales).

Las soluciones existentes enfrentan una disyuntiva entre capacidad y precisión:

• Métodos de extremo a extremo (End-to-End): Procesan todo el documento como una secuencia de imágenes. Sufren de costos de atención cuadráticos, límites de longitud de contexto y el efecto "perdido en el medio" (lost-in-the-middle), lo que degrada su rendimiento en documentos largos.
• Métodos basados en recuperación (RAG): Recuperan las k páginas más relevantes antes de generar una respuesta. Aunque son más eficientes, son frágiles, pasivos (no adaptan su estrategia si la recuperación falla) y sensibles a errores de recuperación o hiperparámetros fijos.
• Enfoques basados en OCR: Pierden pistas de diseño finas y sufren errores de OCR en cascada.

El artículo argumenta que estos métodos fallan porque son pasivos; no imitan el comportamiento humano de lectura activa, donde un experto primero obtiene una visión global y luego busca iterativamente y verifica evidencia.

2. Metodología: Doc-V∗

El authors proponen Doc-V∗, un marco agente sin OCR que formula la DocVQA de múltiples páginas como un proceso de agregación secuencial de evidencia. El sistema opera bajo un paradigma de visión activa, donde el agente decide dinámicamente qué páginas observar.

Componentes Clave:

• Visión Global (Thumbnail Overview): Antes de interactuar, el agente recibe una vista previa de "miniaturas" (thumbnails) del documento completo. Esto proporciona un prior estructural de bajo costo (tipo de documento, distribución de gráficos, títulos grandes) sin consumir tokens visuales masivos.
• Espacio de Acción Interactivo: El agente puede ejecutar tres tipos de acciones atómicas:
  1. Recuperación (retrieval_page): Similar a "Ctrl+F", busca páginas basándose en consultas de texto refinadas iterativamente.
  2. Obtención (fetch_page): Solicita páginas específicas por índice absoluto (ej. basándose en pistas de la miniatura o referencias explícitas en la pregunta).
  3. Respuesta (answer): Finaliza la interacción cuando la evidencia es suficiente.
• Razonamiento Visual Estructurado (ReAct): El agente sigue un protocolo fijo de "Pensar-Agir". En cada paso, genera un bloque de pensamiento (<thought>) que incluye:
  • Análisis: Inspección de contenido de nuevas páginas.
  • Plan: Descomposición de subobjetivos.
  • Memoria de Trabajo: Un resumen incremental que se concatena para evitar que el agente olvide evidencia previa o se pierda en documentos largos.
• Entorno de Interacción: El agente no recibe todo el documento a alta resolución de una vez. El entorno pre-calcula y almacena tokens visuales de alta resolución, revelándolos solo bajo demanda, lo que permite una adquisición selectiva de evidencia.

Estrategia de Entrenamiento (Dos Etapas):

1. Ajuste Fino Supervisado (SFT): Se utiliza un modelo "maestro" (GPT-4o) para generar trayectorias de interacción cerrada de alta calidad (observación -> pensamiento -> acción -> nueva observación). El modelo se entrena para imitar estas trayectorias.
2. Optimización de Política Relativa de Grupo (GRPO): Se aplica aprendizaje por refuerzo para optimizar simultáneamente la precisión de la respuesta y la eficiencia en la búsqueda de evidencia. La función de recompensa pondera la corrección de la respuesta, la calidad de la recuperación de evidencia y la validez del formato.

3. Contribuciones Clave

• Marco Agente Activo: Introducen un enfoque que trata la comprensión de documentos largos como un proceso de decisión secuencial, permitiendo al agente "navegar" activamente en lugar de consumir un contexto fijo.
• Estrategia de "Grueso a Fino" (Coarse-to-Fine): La combinación de una vista global de miniaturas con la recuperación y obtención selectiva de páginas de alta resolución permite un equilibrio óptimo entre eficiencia computacional y precisión.
• Memoria de Trabajo Estructurada: La implementación de un resumen incremental en el proceso de razonamiento mitiga el problema de "olvido" en interacciones de múltiples pasos.
• Rendimiento sin OCR: Demuestran que es posible lograr un alto rendimiento en documentos complejos sin depender de la extracción de texto mediante OCR, preservando así las pistas visuales y de diseño.

4. Resultados Experimentales

El modelo fue evaluado en cinco conjuntos de datos de referencia (benchmarks), incluyendo dominios dentro y fuera del entrenamiento (In-Domain y Out-of-Domain).

• Rendimiento General: Doc-V∗ supera consistentemente a las mejores líneas base de código abierto y se acerca al rendimiento de modelos propietarios (como GPT-4o y Gemini-1.5-Pro).
• Mejoras Significativas:
  • En el benchmark DUDE, alcanza un 64.5 ANLS, superando a GPT-4o (54.1).
  • En MP-DocVQA, logra un 86.2 ANLS.
  • En escenarios fuera de dominio (Out-of-Domain), como LongDocURL, mejora el rendimiento en un 47.9% en comparación con las líneas base estáticas de RAG.
• Eficiencia y Robustez:
  • Longitud del Documento: A diferencia de los métodos RAG y End-to-End que degradan su rendimiento a medida que aumenta el número de páginas, Doc-V∗ mantiene un rendimiento estable incluso en documentos de más de 80 páginas.
  • Selección de Páginas: El análisis muestra que Doc-V∗ no gana rendimiento simplemente leyendo más páginas, sino seleccionando las páginas relevantes con mayor precisión (medido por Page-F1), consolidando evidencia de manera selectiva.
  • Independencia del Recuperador: El modelo es robusto incluso cuando se utiliza un recuperador de texto simple (como BM25) en lugar de uno multimodal avanzado, gracias a su capacidad de compensación activa (buscar páginas adicionales si la recuperación inicial falla).

5. Significado e Impacto

El trabajo de Doc-V∗ representa un cambio de paradigma en la comprensión de documentos visuales largos. En lugar de intentar procesar todo el contexto de una vez (lo cual es computacionalmente costoso e ineficiente) o depender de recuperadores estáticos (que son propensos a errores), propone un agente cognitivo que simula la lectura humana.

Esto es crucial para aplicaciones del mundo real donde los documentos son largos, complejos y visualmente ricos. La demostración de que la agregación selectiva de evidencia es más efectiva que el simple aumento del contexto de entrada sugiere que el futuro de los modelos de lenguaje multimodal para documentos debe centrarse en la interactividad y la planificación, no solo en la escala de parámetros o la longitud de contexto. Además, al ser un método sin OCR, ofrece mayor robustez frente a documentos con diseños complejos o texto manuscrito.