Resumo Técnico: DocMemo

Declaração do Problema

O Questionamento Visual sobre Documentos (DocVQA) de documentos longos exige que os modelos localizem evidências esparsas e heterogêneas (texto, tabelas, figuras, layouts) em documentos que abrangem centenas de páginas. O desafio central não é meramente processar entradas longas, mas localizar, atualizar e integrar dinamicamente páginas relevantes sob um orçamento limitado de evidências.

Sistemas existentes enfrentam duas limitações primárias:

1. Recuperação Estática: Métodos de turno único fixam um conjunto de páginas candidatas antes do início do raciocínio. Se uma evidência chave for perdida inicialmente, o sistema não consegue se recuperar, levando a pipelines rígidos de tentativa única (one-shot).
2. Recuperação Iterativa Frágil: Embora métodos iterativos recentes permitam a aquisição de múltiplas rodadas, eles carecem de um mecanismo para propagar estados entre as rodadas. A informação é tipicamente mantida através da reconstrução de contexto, tratando efetivamente cada rodada como um evento de recuperação independente, em vez de uma exploração estruturada com memória. Isso resulta em uma incapacidade de rastrear mudanças dinâmicas na relevância das páginas ou refinar trajetórias de busca baseadas em sinais de raciocínio intermediários.

Metodologia: Estrutura DocMemo

O DocMemo propõe uma estrutura guiada por memória que formula o raciocínio em documentos longos como uma exploração de evidências dinâmica. Ele desacopla a memória da recuperação para permitir o refinamento contínuo do estado.

1. Memória de Documento de Triplo Nível

O sistema mantém um estado de memória estruturado $\mathcal{M}^{(t)} = (\mathcal{M}_{schema}, \mathcal{M}^{(t)}_{belief}, \mathcal{M}^{(t)}_{epi})$ através das rodadas de raciocínio:

• Memória de Esquema de Documento ($\mathcal{M}_{schema}$): Um prior offline e independente de consulta construído a partir do tipo de documento, descrições de tópicos e um índice estrutural de intervalos de páginas e rótulos de tópicos. Serve como um guia de navegação fixo.
• Memória de Crença de Página ($\mathcal{M}^{(t)}_{belief}$): Um estado dinâmico que modela a confiança de relevância de cada página usando uma distribuição Beta $Beta(\alpha_i, \beta_i)$. $\alpha_i$ e $\beta_i$ acumulam evidências de relevância e irrelevância, respectivamente. Esta memória evolui com o feedback entre rodadas.
• Memória Episódica de Pergunta ($\mathcal{M}^{(t)}_{epi}$): Um registro específico da consulta de descobertas intermediárias, necessidades de informação não atendidas e trajetórias de refinamento da consulta. Permite que o sistema estreite o espaço de busca ao longo de uma cadeia de evidências existente, em vez de reiniciar a partir da consulta original.

2. Atualização de Crença de Página Bayesiana e Amostragem de Thompson

O DocMemo trata a seleção de páginas como um processo de atualização de confiança:

• Atualização Bayesiana: Após cada rodada de raciocínio, o sistema identifica páginas úteis ($U_t$) e irrelevantes ($V_t$). As crenças são atualizadas via conjugação Beta-Bernoulli: $\alpha_i \leftarrow \alpha_i + \mathbb{I}[i \in U_t]$ e $\beta_i \leftarrow \beta_i + \mathbb{I}[i \in V_t]$.
• Propagação Espacial: Motivado pela localidade da evidência em documentos longos, o feedback positivo em uma página $i$ é propagado para páginas vizinhas $j$ (dentro de um raio $r$) com um fator de decaimento de distância $\gamma$. O feedback negativo não é propagado para evitar a supressão de páginas potencialmente relevantes próximas.
• Amostragem de Thompson: Para equilibrar exploração e explotação, o sistema amostra uma estimativa de relevância $\theta^{(t)}_i$ da distribuição Beta posterior para cada página.
• Pontuação de Candidato: A pontuação final combina a similaridade visual atual $c^{(t)}_i$ com a crença amostrada $\theta^{(t)}_i$: $score^{(t)}_i = (1 - \lambda_t)c^{(t)}_i + \lambda_t\theta^{(t)}_i$. O peso $\lambda_t$ aumenta ao longo das iterações, deslocando a dependência da similaridade visual bruta para a confiança da memória acumulada.

3. Acesso a Evidências de Granularidade Adaptativa

Para lidar com regiões densas de informação (ex: tabelas), o sistema suplementa o contexto de página completa com regiões visuais de granularidade fina (cortes de alta resolução) durante o raciocínio, garantindo uma compreensão detalhada do layout.

Principais Contribuições

1. Estrutura Guiada por Memória: Introdução do DocMemo, que organiza a exploração de documentos via uma estrutura de memória de triplo nível, separando priors estruturais, crenças de página dinâmicas e traços de raciocínio específicos da consulta.
2. Modelagem de Estado Probabilística: Implementação de atualização de crença de página Bayesiana com amostragem de Thompson e propagação de contiguidade espacial, permitindo recuperação consciente de incerteza e consciente de localidade através das rodadas.
3. Validação Empírica: Demonstração de desempenho de estado da arte em três benchmarks de DocVQA de documentos longos, com estudos de ablação confirmando a necessidade de memória estruturada e atualização de crença dinâmica.

Resultados Experimentais

O DocMemo foi avaliado no MMLongBench-Doc, LongDocURL e PaperTab.

• Desempenho Geral: O DocMemo alcançou uma precisão média de 77,6% nos três benchmarks, superando bases fortes, incluindo modelos proprietários (ex: GPT-4o, Claude-4-Sonnet) e sistemas agênticos de código aberto (ex: SimpleDoc, DocLens).
  • No MMLongBench-Doc, atingiu 71,3% de precisão (vs. 67,4% para a próxima melhor base agêntica, AgenticOCR).
  • No LongDocURL, atingiu 81,1% (vs. 72,3% para o SimpleDoc).
  • No PaperTab, atingiu 80,4% (vs. 65,4% para o SimpleDoc).
• Análise Granular: O modelo mostrou ganhos significativos nas categorias ricas em tabelas (TAB) e não respondíveis (UNA), sugerindo melhor localização de evidências e melhor tratamento de consultas não respondíveis através de estados acumulados entre rodadas.
• Eficiência: O DocMemo reduziu o número de iterações de recuperação necessárias para atingir alta precisão em comparação com as bases (0,41× iterações para um ganho de precisão de 1,18×), resultando em uma melhoria de eficiência geral de 2,40×.
• Estudos de Ablação: A remoção da memória de triplo nível ou da atualização Bayesiana causou quedas significativas na precisão (de 71,3% para ~68,5%), validando que a revisão de crença dinâmica e a memória estruturada são críticas para um raciocínio robusto.

Significância

O artigo afirma que a chave para melhorar o raciocínio em documentos longos reside em modelar explicitamente e atualizar continuamente os estados de exploração de documentos. Ao transformar a recuperação iterativa de uma simples acumulação de contexto para uma exploração de evidências estruturada, impulsionada por conhecimento persistente do documento, estados de página dinâmicos e experiência local da consulta, o DocMemo aborda as limitações das abordagens estáticas e sem estado. A estrutura demonstra que separar os priors estáveis do documento das crenças de relevância que mudam rapidamente permite que os agentes se recuperem de erros iniciais de recuperação e refinem adaptativamente suas trajetórias de busca.