Resumo Técnico: Um LMM para o Ancoramento Preciso de Elementos em Documentos

Declaração do Problema

O ancoramento visual (visual grounding) — a capacidade de Grandes Modelos Multimodais (LMMs) de localizar regiões visuais específicas com base em instruções de linguagem natural — é fundamental para a compreensão de documentos, pesquisa profunda e detecção de erros. No entanto, os LMMs existentes têm dificuldade com o ancoramento preciso em imagens de documentos ricas em texto. Diferente de imagens naturais, os documentos apresentam alta densidade de elementos, diversidade de modelos (templates) rica e layouts complexos. Os modelos atuais frequentemente falham em localizar precisamente elementos críticos (palavras, frases, linhas), levando ao raciocínio "alucinado", onde o modelo foca em regiões não relacionadas. Essa deficiência prejudica o raciocínio com ancoramento visual, um processo no qual um LMM deve citar coordenadas espaciais específicas como evidência para seu raciocínio textual. Além disso, os conjuntos de dados existentes carecem da granularidade e diversidade (por exemplo, documentos preenchidos à mão sinteticamente) necessárias para treinar modelos para esses cenários desafiadores, e nenhum pipeline de treinamento completo existe que otimize conjuntamente o ancoramento e o raciocínio via aprendizado por reforço (RL).

Metodologia

O artigo apresenta o PreciseDoc, um LMM projetado para o ancoramento preciso de elementos, e o PreciseDoc-Reasoner, sua variante otimizada para o raciocínio com ancoramento visual. A metodologia é estruturada em três componentes principais:

1. Pipelines de Geração de Dados de Alta Qualidade

Para abordar a escassez de dados de ancoramento de alta qualidade, os autores construíram dois motores de geração de documentos automatizados:

• Motor Baseado em LaTeX: Compila códigos fonte LaTeX para gerar PDFs nativos. Um comando personalizado (\marktext) é inserido durante a compilação para capturar coordenadas espaciais precisas (convertidas de pontos para pixels) para o texto envolvido (wrapped text). Este motor suporta a produção em massa de diversos modelos de currículos e outros tipos de documentos.
• Motor de Dados Manuscritos: Sintetiza documentos preenchidos à mão com efeitos de câmera (ex: filtros, degradação) para simular digitalizações do mundo real. Ele monta amostras de caracteres individuais do conjunto de dados NIST para formar textos coerentes, reservando espaços para valores gerados por um VLM. Este pipeline aborda a falta de conjuntos de dados para o ancoramento de documentos manuscritos.
• Construção de Tarefas: Estes motores geram documentos e metadados pareados para duas tarefas: Ancoramento Puro (localizar frases ou elementos específicos) e Extração de Informação (localizar grupos de elementos, como "Experiência Profissional" em um CV).

2. Pipeline de Treinamento: Do Cold-Start ao Aprendizado por Reforço (RL)

O treinamento do PreciseDoc-Reasoner segue um paradigma de dois estágios:

• Estágio 1: Inicialização de Cold-Start (SFT): O modelo é ajustado finamente (fine-tuned) em um conjunto de dados de VQA curado de 27K (derivado de BBox-DocVQA e DOGR). Este conjunto de dados inclui trajetórias de raciocínio onde o modelo é instruído a gerar coordenadas de caixas delimitadoras (bounding boxes) (ao nível de token ou de elemento) junto com seu processo de pensamento e resposta final. Os dados são construídos expandindo caixas de nível de token para caixas de nível de elemento e anotando o conteúdo para garantir que o VLM use ativamente as caixas para o raciocínio, em vez de tratá-las como etiquetas suplementares.
• Estágio 2: Aprendizado por Reforço (RL): O modelo passa por um treinamento de RL conjunto para supervisionar tanto a precisão do raciocínio quanto o ancoramento intermediário.
  • Design de Recompensa: A recompensa total $R$ combina uma recompensa de precisão da resposta ($R_{acc}$) e uma recompensa dupla de Interseção sobre União (IoU) ($R_{IoU}$).
  • Algoritmo Húngaro para Correspondência: Ao contrário de métodos anteriores que usam mapeamento muitos-para-muitos (que podem inflar as métricas), os autores utilizam o Algoritmo Húngaro para estabelecer uma atribuição ótima de um-para-um entre as caixas previstas e as reais (ground-truth). Isso maximiza o IoU total enquanto garante restrições de mapeamento estritas.
  • Penalidade de Comprimento: Uma penalidade estrita é aplicada a caixas geradas não correspondentes para evitar que o modelo produza caixas delimitadoras redundantes ou excessivas para "manipular" a pontuação de IoU.

Principais Contribuições

1. Motores de Geração de Documentos: A introdução de dois pipelines capazes de produzir em massa documentos de alta qualidade com metadados espaciais detalhados e pareados, incluindo documentos manuscritos sintéticos com efeitos de câmera.
2. Modelo PreciseDoc: Um LMM que alcança desempenho de Estado da Arte (SOTA) em ancoramento de texto de documentos, capaz de funções do mundo real como localizar informações pessoais em CVs, superando modelos especializados existentes.
3. PreciseDoc-Reasoner & Paradigma de Treinamento: O primeiro pipeline de treinamento completo (SFT para RL) para raciocínio com ancoramento visual em documentos. Ele introduz um novo mecanismo de recompensa de RL usando o Algoritmo Húngaro para correspondência de caixas um-para-um e uma penalidade de comprimento para garantir a localização de evidências precisa e não redundante.

Resultados Experimentais

Os modelos propostos foram avaliados em múltiplos benchmarks:

• DocLocal4K (Ancoramento de Texto): O PreciseDoc alcançou uma precisão geral de 81,79%, superando bases fortes como Doubao-Seed-2.0-Pro (54,45%) e DocOwl-1.5 (80,38%). Demonstrou desempenho superior em elementos de pequena granularidade (palavras, frases, linhas).
• TRIG (Raciocínio com Ancoramento de Nível de Palavra): O PreciseDoc-Reasoner alcançou um IoU médio de 46,42%, superando significativamente todos os outros modelos de código aberto e proprietários (ex: Qwen3.5-27B com 20,03%, Gemini-3-Pro com 30,26%). Mostrou força particular na compreensão de gráficos, dobrando o desempenho do segundo melhor modelo.
• BBox-DocVQA (Raciocínio com Ancoramento de Nível de Elemento): O modelo alcançou uma precisão de ancoramento de 51,16% e precisão de resposta de 75,97%. Superou todos os LMMs de código aberto listados (incluindo o Qwen3VL de 235 bilhões de parâmetros) e ficou em segundo lugar apenas para o Gemini-3-Flash entre os modelos proprietários.
• Benchmarks Tradicionais: Em DocVQA, ChartQA e TextVQA, o PreciseDoc-Reasoner demonstrou desempenho competitivo, alcançando resultados comparáveis ou superiores a modelos maiores como Qwen3.5-9B, apesar de não ter sido treinado em conjuntos de dados massivos de VQA geral.

Significância e Alegações

O artigo afirma que o PreciseDoc consegue preencher a lacuna entre a compreensão de documentos e a localização espacial precisa. Ao construir dados de treinamento desafiadores e de alta fidelidade e introduzir um rigoroso paradigma de treinamento de RL com correspondência de caixa um-para-um, os autores demonstram que os LMMs podem ser efetivamente treinados para fornecer evidência visual verificável. O trabalho destaca que o ancoramento preciso não é meramente uma etapa de pré-processamento, mas um componente crítico do processo de raciocínio que evita alucinações e aumenta a interpretabilidade. Os autores posicionam sua abordagem como um passo fundamental para sistemas de análise de documentos mais confiáveis e baseados em evidências, observando que os métodos propostos e os pipelines de geração de dados oferecem uma solução escalável para futuros avanços na IA de documentos.