Resumo Técnico: Localizando Falhas em Compreensão de Documentos Visualmente Ricos de Múltiplas Páginas

Definição do Problema

A Compreensão de Documentos Visualmente Ricos de Múltiplas Páginas (MP-VRDU) aborda o desafio de responder perguntas sobre documentos longos onde a evidência é esparsa, distribuída por várias páginas e frequentemente excede a janela de contexto de um modelo. Diferente dos cenários de página única, os sistemas de MP-VRDU devem operar sob um orçamento de computação fixo, exigindo que decidam quais evidências adquirir, codificar, selecionar e processar. O campo carece atualmente de uma compreensão unificada das falhas do sistema, com alegações conflitantes sobre a necessidade de visão versus extração de texto, o impacto de contexto irrelevante (distratores) e as causas da queda de desempenho em entradas longas (limites de contexto vs. falhas de integração). Essas alegações são difíceis de comparar porque são tipicamente reportadas em pipelines e conjuntos de dados díspares.

Metodologia: Um Framework de Atribuição

O artigo propõe uma decomposição das falhas de sistemas MP-VRDU em três loci hierárquicos: Representação, Seleção e Raciocínio. Este framework permite uma atribuição empírica controlada ao intervir em um locus enquanto mantém os outros fixos.

1. Representação (Codificação): Foca em quão fielmente um documento é codificado em tokens.

   • Mecanismos: Teto de Modalidade (o limite inerente de uma modalidade para representar sinais específicos, ex: o texto não pode capturar detalhes gráficos) e Fidelidade de Conversão (a precisão do processo de codificação, ex: erros de OCR ou corrupção do parser)
   • Intervenções: Os autores variam as formas de codificação (Apenas Texto, Texto com Consciência de Layout, Texto+Visão, Apenas Visão) e a qualidade/resolução do parser enquanto mantêm o raciocinador e as páginas selecionadas constantes.

2. Seleção (Recuperação): Foca em qual evidência é entregue ao raciocinador.

   • Mecanismos: Cobertura de Evidência (recall das unidades de evidência necessárias) e Exposição a Distratores (presença de páginas irrelevantes).
   • Intervenções: Os autores constroem conjuntos de páginas retendo páginas de ouro (para testar a cobertura) ou adicionando páginas sem evidência (para testar a tolerância a distratores) enquanto fixam a codificação e o raciocinador.

3. Raciocínio (Geração): Foca em como o modelo processa a evidência fornecida.

   • Mecanismos: Integração de Evidência (combinar informações entre páginas) e Calibragem de Resposta (alinhar respostas com o suporte da evidência, distinguindo entre alucinação e falsa abstenção).
   • Intervenções: Os autores fornecem conjuntos completos de evidências de ouro na codificação mais rica e variam a estratégia de raciocínio (ex: prompting de Cadeia de Pensamento - CoT, instruções de abstenção) e a escala do modelo.

O estudo utiliza o dataset MMLongBench-Doc (1.091 perguntas em 135 documentos) e um pipeline de recuperador-gerador de passagem única usando modelos Qwen3-VL (variando de 2B a 32B parâmetros) e diversos parsers (PaddleOCR-VL, MinerU, Unlimited-OCR).

Principais Descobertas

1. Representação: Visão é Necessária, mas Insuficiente

• Visão não substitui a extração de texto: Embora a visão seja necessária para sinais gráficos e espaciais (gráficos, figuras) que o texto não consegue expressar, pipelines apenas de visão apresentam desempenho inferior comparado a codificações combinadas de texto-visão.
• Natureza Complementar: Codificações combinadas (Texto + Layout + Visão) alcançam a maior precisão (52,5%), superando significativamente as variantes apenas de visão (45,6%) e apenas de texto. A visão recupera informações perdidas devido à má extração de texto (ex: estruturas dependentes de layout ou erros de OCR), reduzindo a dispersão de precisão entre parsers fracos e fortes de 15,6 pontos para 4,2 pontos.
• Teto de Modalidade: Canais de texto preservam sinais (como ordem de leitura e estrutura de tabelas) que canais visuais sozinhos perdem, mesmo em altas resoluções.

2. Seleção: Assimetria de Falha

• Evidência ausente limita a precisão: Omitir uma única página de ouro necessária causa uma queda sistemática e acentuada na precisão (ex: de 38,6% para 18,5% em cenários de múltiplさ páginas). O ranking de recuperação é um indicador fraco de necessidade de evidência; páginas com menor ranking podem ser críticas.
• Distratores são amplamente tolerados: Adicionar páginas irrelevantes (distratores) mantendo a evidência necessária tem um impacto negativo mínimo na precisão (ex: uma queda de apenas ~1,5% com três distratores). Isso contradiz a suposição comum de que o contexto irrelevante dilui severamente a atenção dentro de profundidades de recuperação realistas.

3. Raciocínio: Limites de Integração e Calibragem

• Integração entre páginas é um gargalo primário: Mesmo quando toda a evidência necessária é fornecida em uma codificação rica, a precisão cai significamente conforme a evidência se estende por múltiplas páginas (ex: de 64,6% em questões de página única para 38,6% em questões de duas páginas). Esse déficit persiste mesmo com modelos maiores (32B) e não é apenas uma função do comprimento do contexto.
• Prompting ajuda, mas é limitado: O prompting de Cadeia de Pensamento (CoT) estreita a lacuna entre página única e múltiplas páginas (melhorando a precisão de múltiplas páginas de 38,6% para 44,9%), mas não a elimina.
• Trade-offs de Calibragem: Instruções de abstenção reduzem alucinações em perguntas não respondíveis, mas introduzem "falsas abstenções" em perguntas respondíveis. O modelo frequentemente se recusa a responder mesmo possuindo evidência suficiente, particularmente quando a codificação carece da modalidade necessária (ex: apenas texto para questões visuais).

Contribuições

1. Framework de Atribuição Formal: O artigo introduz um framework estruturado definindo três loci de falha (Representação, Seleção e Raciocínio) e seus mecanismos específicos, fornecendo um formalismo comum para analisar sistemas MP-VRDU independentemente de arquiteturas de modelos específicas.
2. Estudo Empírico Controlado: Ao isolar modos de falha dentro de um pipeline unificado, o estudo resolve várias alegações conflitantes no campo, demonstrando que a visão é complementar ao texto, que a evidência ausente é muito mais custosa que a evidência irrelevante, e que falhas de integração são uma limitação distinta de raciocínio.
3. Orientação Prática: As descobertas oferecem princípios de design acionáveis para construir sistemas MP-VRDU sob orçamentos de computação fixos, como priorizar recall sobre precisão na recuperação, combinar estratégias de codificação com tipos de documentos e utilizar prompting ou escala para abordar déficits de integração.

Significância e Alegações

O artigo afirma que os gargalos de MP-VRDU são mais estruturados do que as discussões atuais sugerem. Argumenta que o campo reuniu intuições de design sem um relato correspondente de quais delas se sustentam; este trabalho fornece esse relato através de atribuição controlada.

Os autores afirmam modestamente que suas descobertas estabelecem uma base diagnóstica para investigações mais direcionadas, em vez de uma solução final. Eles observam que, embora o prompting e o escalonamento abordem parcialmente as falhas de raciocínio, eles não fecham totalmente a lacuna, sugerindo que trabalhos futuros devem focar em estratégias de treinamento especificamente voltadas para a integração entre páginas. O estudo é limitado ao dataset MMLongBench-Doc e à família de modelos Qwen3, e os autores reconhecem que estender essas descobertas para outros datasets e famílias de modelos é um próximo passo necessário.