Resumen Técnico: DocMemo

Planteamiento del Problema

El Razonamiento de Preguntas y Respuestas sobre Documentos Visuales (DocVQA) de documentos largos requiere que los modelos localicen evidencia dispersa y heterogénea (texto, tablas, figuras, diseños) en documentos que abarcan cientos de páginas. El desafío central no es meramente procesar entradas largas, sino localizar, actualizar e integrar dinámicamente páginas relevantes bajo un presupuesto de evidencia limitado.

Los sistemas existentes enfrentan dos limitaciones primarias:

1. Recuperación Estática: Los métodos de una sola vuelta fijan un conjunto de páginas candidatas antes de que comience el razonamiento. Si la evidencia clave se pierde inicialmente, el sistema no puede recuperarse, lo que conduce a procesos rígidos de un solo paso (one-shot).
2. Recuperación Iterativa Frágil: Aunque los métodos iterativos recientes permiten la adquisición de múltiples rondas, carecen de un mecanismo para propagar estados entre rondas. La información se mantiene típicamente mediante la reconstrucción del contexto, tratando efectivamente cada ronda como un evento de recuperación independiente en lugar de una exploración estructurada con memoria. Esto resulta en una incapacidad para rastrear cambios dinámicos en la relevancia de las páginas o para refinar las trayectorias de búsqueda basados en señales de razonamiento intermedias.

Metodología: Marco de Trabajo DocMemo

DocMemo propone un marco guiado por memoria que formula el razonamiento en documentos largos como una exploración dinámica de evidencia. Desacopla la memoria de la recuperación para permitir un refinamiento continuo del estado.

1. Memoria de Documento de Tres Niveles

El sistema mantiene un estado de memoria estructurado $\mathcal{M}^{(t)} = (\mathcal{M}_{schema}, \mathcal{M}^{(t)}_{belief}, \mathcal{M}^{(t)}_{epi})$ a través de las rondas de razonamiento:

• Memoria de Esquema de Documento ($\mathcal{M}_{schema}$): Un prior externo al proceso de consulta, construido a partir del tipo de documento, descripciones de temas y un índice estructural de rangos de páginas y etiquetas de temas. Sirve como una guía de navegación fija.
• Memoria de Creencia de Página ($\mathcal{M}^{(t)}_{belief}$): Un estado dinámico que modela la confianza de relevancia de cada página utilizando una distribución Beta $Beta(\alpha_i, \beta_i)$. $\alpha_i$ y $\beta_i$ acumulan evidencia de relevancia e irrelevancia, respectivamente. Esta memoria evoluciona con la retroalimentación de las rondas cruzadas.
• Memoria Episódica de la Pregunta ($\mathcal{M}^{(t)}_{epi}$): Un registro específico de la consulta sobre hallazgos intermedios, necesidades de información no satisfechas y trayectorias de refinamiento de la consulta. Permite al sistema estrechar el espacio de búsqueda a lo largo de una cadena de evidencia existente en lugar de reiniciar desde la consulta original.

2. Actualización de la Creencia de Página Bayesiana y Muestreo de Thompson

DocMemo trata la selección de páginas como un proceso de actualización de confianza:

• Actualización Bayesiana: Después de cada ronda de razonamiento, el sistema identifica páginas útiles ($U_t$) e irrelevantes ($V_t$). Las creencias se actualizan mediante la conjugación Beta-Bernoulli: $\alpha_i \leftarrow \alpha_i + \mathbb{I}[i \in U_t]$ y $\beta_i \leftarrow \beta_i + \mathbb{I}[i \in V_t]$.
• Propagación Espacial: Motivado por la localidad de la evidencia en documentos largos, la retroalimentación positiva en una página $i$ se propaga a las páginas vecinas $j$ (dentro de un radio $r$) con un factor de decaimiento de distancia $\gamma$. La retroalimentación negativa no se propaga para evitar suprimir páginas potencialmente relevantes cercanas.
• Muestreo de Thompson: Para equilibrar la explotación y la exploración, el sistema muestrea una estimación de relevancia $\theta^{(t)}_i$ de la distribución posterior Beta para cada página.
• Puntuación de Candidatos: La puntuación final combina la similitud visual actual $c^{(t)}_i$ con la creencia muestreada $\theta^{(t)}_i$: $score^{(t)}_i = (1 - \lambda_t)c^{(t)}_i + \lambda_t\theta^{(t)}_i$. El peso $\lambda_t$ aumenta con las iteraciones, desplazando la dependencia de la similitud visual bruta hacia la confianza de la memoria acumulada.

3. Acceso a la Evidencia de Granularidad Adaptativa

Para manejar regiones de información densa (por ejemplo, tablas), el sistema complementa el contexto de la página completa con regiones visuales de grano fino (recortes de alta resolución) durante el razonamiento, asegurando una comprensión detallada del diseño.

Contribuciones Clave

1. Marco Guiado por Memoria: Introducción de DocMemo, que organiza la exploración de documentos mediante una estructura de memoria de tres niveles que separa los priors estructurales, las creencias de página dinámicas y las trazas de razonamiento específicas de la consulta.
2. Modelado de Estado Probabilístico: Implementación de la actualización de la creencia de página Bayesiana con muestreo de Thompson y propagación de contigüidad espacial, permitiendo una recuperación dinámica consciente de la incertidumbre y de la localidad a través de las rondas.
3. Validación Empírica: Demostración del rendimiento de vanguardia en tres evaluaciones de referencia de DocVQA de documentos largos, con estudios de ablación que confirman la necesidad de la memoria estructurada y la actualización de la creencia dinámica.

Resultados Experimentales

DocMemo fue evaluado en MMLongBench-Doc, LongDocURL y PaperTab.

• Rendimiento General: DocMemo logró una precisión promedio del 77.6% en los tres bancos de pruebas, superando a bases sólidas que incluyen modelos propietarios (ej. GPT-4o, Claude-4-Sonnet) y sistemas agénticos de código abierto (ej. SimpleDoc, DocLens).
  • En MMLongBench-Doc, alcanzó un 71.3% de precisión (frente al 67.4% del siguiente mejor modelo base agéntico, AgenticOCR).
  • En LongDocURL, logró un 81.1% (frente al 72.3% de SimpleDoc).
  • En PaperTab, logró un 80.4% (frente al 65.4% de SimpleDoc).
• Análisis de Grano Fino: El modelo mostró ganancias significativas en las categorías de tablas (TAB) y no contestables (UNA), lo que sugiere una mejor localización de evidencia y un mejor manejo de consultas no contestables mediante la acumulación de estados de rondas cruzadas.
• Eficiencia: DocMemo redujo el número de iteraciones de recuperación necesarias para lograr una alta precisión en comparación con las bases (0.41× iteraciones para una ganancia de precisión de 1.18×), lo que resultó en una mejora de eficiencia general de 2.40×.
• Estudios de Ablación: Eliminar la memoria de tres niveles o la actualización Bayesiana causó caídas significativas en la precisión (de 71.3% a ~68.5%), validando que la revisión de la creencia dinámica y la memoria estructurada son críticas para un razonamiento robusto.

Significado

El artículo sostiene que la clave para mejorar el razonamiento en documentos largos reside en modelar explícitamente y actualizar continuamente los estados de exploración de documentos. Al transformar la recuperación iterativa de una simple acumulación de contexto en una exploración de evidencia estructurada impulsada por el conocimiento persistente del documento, las creencias de página dinámicas y la experiencia local de la consulta, DocMemo aborda las limitaciones de los enfoques estáticos y sin estado. El marco demuestra que separar los priors estables del documento de las creencias de relevancia que cambian rápidamente permite a los agentes recuperarse de errores de recuperación tempranos y refinar sus trayectorias de búsqueda de manera adaptativa.