Resumo Técnico: Doc-CoB

Declaração do Problema

A compreensão de documentos envolve realizar perguntas e respostas (QA) e extração de informações (IE) sobre imagens de documentos, caracterizadas por alta densidade de informações e layouts complexos. Os Modelos de Linguagem Multimodais (MLLMs) existentes tipicamente empregam uma estratégia de "uma única passagem", processando a imagem inteira de forma uniforme. Essa abordagem assume implicitamente que todas as regiões são igualmente importantes, frequentemente levando os modelos a serem enganados por informações visuais redundantes e a inferir respostas a partir de regiões incorretas. Por outro lado, as estratégias existentes de grosso para fino em QA visual geral frequentemente recorrem ao recorte direto ou ao zoom em regiões específicas. Embora isso reduza a redundância visual, descarta informações críticas de layout únicas de documentos, como relações espaciais, posicionamento relativo e dependências entre regiões, causando falhas em consultas sensíveis ao layout.

O desafio central abordado é como seguir um paradigma de raciocínio de grosso para fino para compreensão de documentos, preservando o contexto global de layout necessário para inferência precisa.

Metodologia: Doc-CoB

Os autores propõem o Doc-CoB (Chain-of-Boxes), um framework que permite aos MLLMs realizar compreensão de documentos por meio de raciocínio visual de grosso para fino, consciente de layout, sem modificar a arquitetura do modelo subjacente. O framework opera em duas etapas distintas, utilizando prompts visuais para guiar a atenção:

1. Etapa 1: Seleção de Caixas Chave

   • Um analisador de layout ($\Lambda$) extrai um conjunto de caixas de layout candidatas ($B$) da imagem do documento ($x_I$).
   • Cada caixa recebe um ID único e é sobreposta à imagem para criar uma imagem com prompt visual ($X^S_1$).
   • O MLLM ($f$) é instruído a selecionar o subconjunto de IDs de caixa ($I_{key}$) mais relevantes para a consulta ($Q$). Isso é formulado como uma previsão de múltipla escolha sobre as caixas candidatas.

2. Etapa 2: Resposta Focada

   • As caixas chave selecionadas ($B_{key}$) são destacadas com bordas vermelhas na imagem original para criar uma segunda imagem com prompt visual ($X^S_2$).
   • Crucialmente, a imagem inteira do documento é mantida em vez de recortada. Isso preserva o contexto global e as relações espaciais, ao mesmo tempo que enfatiza as regiões relevantes.
   • O MLLM gera a resposta final ($A$) condicionada a essa imagem destacada e à consulta.

Tarefas de Raciocínio e Construção de Dados

Para suportar esse paradigma, os autores introduzem duas tarefas específicas de raciocínio para aprimorar a compreensão de layout e semântica do modelo:

• Reconhecimento de Caixa: O modelo aprende a mapear uma caixa visual específica para seu ID correspondente.
• Raciocínio de Caixa: O modelo aprende a descrever o papel semântico de um ID de caixa específico na resposta a uma consulta dada.

Para treinar essas capacidades, um pipeline de geração automática de dados foi construído usando GPT-4o como anotador linguístico e MinerU como analisador de layout visual. Este pipeline processou nove conjuntos de dados de documentos existentes (incluindo DocVQA, DeepForm, SROIE, FUNSD, etc.) para gerar:

• 249.601 amostras de treinamento para o framework Doc-CoB.
• 126.970 amostras para Reconhecimento de Caixa.
• 269.108 amostras para Raciocínio de Caixa.
  Essas amostras incluem supervisão visual intermediária, rotulando explicitamente caixas "úteis" (contendo evidências) e caixas "confusas" (assemelhando-se à consulta, mas incorretas).

Contribuições Principais

1. Framework Doc-CoB: Um paradigma inovador de duas etapas que integra raciocínio visual de grosso para fino, consciente de layout, em MLLMs via prompts visuais, equilibrando o foco em regiões-chave com a preservação do contexto global.
2. Tarefas de Raciocínio e Conjunto de Dados: A proposta das tarefas de Reconhecimento de Caixa e Raciocínio de Caixa, apoiadas por um conjunto de dados em grande escala de mais de 249k amostras com supervisão visual intermediária adaptada para raciocínio de layout de documentos.
3. Desempenho e Generalização: Experimentos extensivos demonstrando que o Doc-CoB melhora significativamente o desempenho em sete benchmarks e quatro arquiteturas diferentes de MLLM (variando de 2B a 40B parâmetros), incluindo modelos não pré-treinados especificamente para documentos.

Resultados Experimentais

O artigo avalia o Doc-CoB em sete benchmarks (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) usando quatro MLLMs: InternVL2 (2B/8B), Qwen2.5-VL e DocOwl 1.5.

• Ganhos de Desempenho: O Doc-CoB melhora consistentemente o desempenho em todos os modelos e conjuntos de dados. Notavelmente, o modelo InternVL2-8B-CoB alcança resultados state-of-the-art em seis conjuntos de dados e supera o muito maior InternVL2-40B e o fechado GPT-4o em todos os sete benchmarks. Por exemplo, no DeepForm, o InternVL2-8B-CoB alcança 80,06%, uma melhoria significativa em relação à linha de base SFT de 36,33%.
• Estudos de Ablação:
  • Remover o paradigma de duas etapas (usando apenas o conjunto de dados CoB para inferência de uma única passagem) produz melhorias, mas permanece inferior à abordagem completa de duas etapas, confirmando o valor do próprio paradigma de raciocínio.
  • Remover as tarefas específicas de raciocínio reduz o desempenho, indicando que os MLLMs atuais carecem da capacidade intrínseca de explorar totalmente o framework sem supervisão direcionada.
  • Substituir a entrada de imagem inteira na Etapa 2 por imagens recortadas leva a quedas significativas de desempenho (5–15 pontos), validando a necessidade de preservar o contexto global de layout.
• Eficiência: Apesar de processar duas imagens, o Doc-CoB permite configurações de resolução efetiva mais baixas, resultando em uso total de tokens comparável ou inferior à inferência padrão, enquanto alcança maior precisão.
• Robustez: O método permanece eficaz ao usar diferentes analisadores de layout (por exemplo, OCR+K-means, Marker) e demonstra forte generalização zero-shot para domínios não vistos, como infográficos e documentos de múltiplas páginas.

Significado e Limitações

O artigo afirma que o Doc-CoB demonstra que o raciocínio visual explícito e consciente de layout pode aprimorar significativamente as capacidades de compreensão de documentos em MLLMs sem alterações arquiteturais. Destaca que a combinação de um paradigma de raciocínio de grosso para fino e supervisão intermediária direcionada é crítica para lidar com os desafios únicos dos layouts de documentos.

Limitações reconhecidas pelos autores:

• Acúmulo de Ruído: Embora as estratégias de geração de dados suprimam o ruído da análise de layout, o ruído no momento da inferência não pode ser totalmente eliminado e pode se acumular entre as etapas.
• Seleção de Única Rodada: O pipeline atual realiza apenas uma rodada de seleção de caixas. Os autores sugerem que um mecanismo de auto-verificação para refinamento iterativo poderia melhorar ainda mais a robustez.
• Granularidade: O framework aborda o raciocínio em nível de layout, mas não resolve ambiguidades intra-caixa (por exemplo, erros de OCR ou texto ambíguo dentro de uma caixa selecionada), que permanecem uma fonte de falha.