Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

Resumo Técnico: Doc-V∗

1. O Problema

A Resposta Visual a Perguntas em Documentos (DocVQA) de múltiplas páginas é um desafio crítico, especialmente para documentos longos e visualmente densos (como relatórios financeiros, artigos acadêmicos e manuais industriais). As abordagens existentes enfrentam um dilema fundamental entre capacidade e precisão:

• Métodos Baseados em OCR: Convertem imagens em texto, perdendo pistas de layout finas e sofrendo com erros cumulativos de OCR.
• Modelos End-to-End (Visão Pura): Processam o documento inteiro como uma sequência de imagens, mas sofrem com custos computacionais quadráticos, limites de contexto e o efeito "perdido no meio" (lost-in-the-middle).
• Sistemas de Recuperação (RAG): Recuperam as top-k páginas antes de gerar a resposta. Embora eficientes, são passivos, frágeis a erros de recuperação e não adaptam sua estratégia conforme novas evidências surgem.

A limitação central identificada é que a maioria dos modelos é passiva, processando entradas fixas sem imitar o comportamento humano de leitura ativa, onde a percepção é direcionada a objetivos e iterativa.

2. Metodologia: Doc-V∗

O Doc-V∗ é proposto como um framework agêntico sem OCR que reformula a DocVQA de múltiplas páginas como um processo de agregação sequencial de evidências. O sistema opera sob o paradigma da Percepção Ativa, inspirado na Teoria da Visão Ativa e na Cognição Racional de Recursos.

Arquitetura e Fluxo de Trabalho:

1. Visão Global de Miniaturas (Coarse): Antes de interagir, o agente recebe uma visão geral de "miniaturas" (thumbnails) do documento. Isso fornece um prior estrutural de baixo custo (tipo de documento, layout de seções, distribuição de gráficos) sem o custo de tokens visuais de alta resolução.
2. Espaço de Ação Interativo: O agente executa ações atômicas em um loop de raciocínio (ReAct):
   • Recuperação (retrieval_page): Similar a um "Ctrl+F" visual, busca páginas baseadas em consultas textuais refinadas.
   • Busca (fetch_page): Busca páginas específicas por índice absoluto (baseado em pistas visuais das miniaturas ou referências explícitas na pergunta).
   • Resposta (answer): Finaliza a interação quando a evidência é suficiente.
3. Memória de Trabalho Estruturada: O agente mantém uma memória de trabalho concatenando resumos de cada turno, permitindo que ele raciocine sobre evidências descontínuas e evite esquecer subproblemas resolvidos.
4. Treinamento em Duas Etapas:
   • Ajuste Fino Supervisionado (SFT): Utiliza trajetórias de interação de alta qualidade sintetizadas pelo GPT-4o para ensinar o comportamento de navegação e raciocínio.
   • Otimização de Política Relativa em Grupo (GRPO): Uma etapa de Aprendizado por Reforço que otimiza simultaneamente a precisão da resposta e a eficiência na busca de evidências, usando recompensas baseadas na qualidade da resposta, descoberta de evidências e conformidade de formato.

3. Contribuições Principais

• Novo Paradigma de Agente Ativo: Introduz um framework que trata a compreensão de documentos longos como uma busca ativa e iterativa de evidências, em vez de uma ingestão passiva ou recuperação estática.
• Estratégia "Coarse-to-Fine" (Grossa para Fina): Combina uma visão global de baixo custo (miniaturas) com buscas granulares, permitindo navegação eficiente sem sobrecarregar o contexto com todas as páginas de alta resolução.
• Otimização via GRPO: Demonstra que o ajuste fino de políticas de busca de evidências via GRPO supera significativamente métodos de recuperação estática (RAG) e modelos end-to-end, especialmente em cenários fora de domínio.
• Eficiência e Robustez: O modelo alcança alto desempenho com menos páginas processadas, provando que a agregação seletiva de evidências é mais importante do que a quantidade bruta de páginas de entrada.

4. Resultados Experimentais

O Doc-V∗ foi avaliado em cinco benchmarks (DUDE, MPDocVQA, SlideVQA, MMLongBench-Doc, LongDocURL) e comparado com modelos de código aberto e proprietários (como GPT-4o e Gemini).

• Desempenho Geral: O modelo supera consistentemente as melhores bases de código aberto e rivaliza com modelos proprietários.
• Ganhos em Cenários Fora de Domínio (OOD): Apresenta uma melhoria de até 47,9% em relação a baselines RAG estáticos em tarefas fora de domínio.
• Eficiência de Recuperação: Diferente do RAG, que sofre com ruído ao aumentar o número de páginas recuperadas, o Doc-V∗ mantém alta precisão (Page-F1) ao selecionar ativamente apenas as páginas relevantes.
• Robustez: O modelo demonstra resiliência mesmo quando acoplado a recuperadores de texto mais fracos (como BM25), pois sua capacidade de navegação ativa compensa falhas iniciais de recuperação.
• Custo Computacional: Embora tenha um custo maior que o RAG simples devido à interação iterativa, evita o custo proibitivo de processar documentos inteiros em alta resolução, oferecendo um equilíbrio superior entre eficiência e cobertura.

5. Significado e Impacto

O trabalho do Doc-V∗ sinaliza uma mudança importante na compreensão de documentos visuais longos:

1. Superação do "Lost-in-the-Middle": Ao não depender de uma janela de contexto fixa e massiva, o modelo mitiga o problema de atenção diluída em documentos longos.
2. Validação da Percepção Ativa: Confirma que imitar o comportamento humano de leitura (visão geral -> busca iterativa -> integração) é mais eficaz do que tentar processar tudo de uma vez ou confiar apenas em recuperação passiva.
3. Viabilidade de Modelos Pequenos: Permite que modelos de linguagem multimodal (MLLMs) de tamanho moderado (7B parâmetros) rivalizem com modelos proprietários massivos em tarefas complexas de documentos, democratizando o acesso a capacidades avançadas de DocVQA.

Em suma, o Doc-V∗ estabelece que a chave para a compreensão de documentos longos não é apenas ter mais contexto, mas ter um agente inteligente capaz de selecionar, verificar e agregar evidências de forma dinâmica.