Resumo Técnico: Priors de Layout Estruturado para Compreensão Robusta de Documentos Visuais Fora de Distribuição

Declaração do Problema

Modelos Visão-Linguagem (VLMs) simplificaram a compreensão de documentos ao permitir a conversão de ponta a ponta de imagens de página em marcação estruturada. No entanto, esses modelos frequentemente falham em layouts que diferem de sua distribuição de treinamento (Fora de Distribuição ou OOD). Os autores atribuem essa falha a um "gargalo de dois saltos":

1. Salto 1 (Resolução de Entidade): O decodificador deve primeiro classificar e localizar a entidade de layout que a envolve (por exemplo, identificar os limites de uma tabela).
2. Salto 2 (Extração de Conteúdo): O decodificador então extrai o conteúdo dentro desses limites.

Quando o Salto 1 falha, o Salto 2 colapsa, resultando em omissões, estruturas malformadas ou repetição autoregressiva (loops infinitos). Essa questão é particularmente aguda em modelos compactos onde a capacidade do decodificador é restrita, pois o modelo deve simultaneamente descobrir a estrutura espacial e gerar texto a partir de pixels brutos.

Metodologia

O artigo propõe um pipeline de duas etapas que pré-resolve o Salto 1 fora do loop autoregressivo, efetivamente desacoplando a localização do layout da extração de conteúdo.

1. O Pipeline de Duas Etapas

• Etapa 1: Pré-cálculo de Layout (Resolução do Salto 1):
  • Um detector leve baseado em RT-DETR (docling-layout-heron) processa a imagem de entrada para prever regiões do documento e suas coordenadas.
  • Essas detecções são serializadas no vocabulário nativo DocTags do analisador (por exemplo, <text><loc_100>...</text>), em vez de texto simples.
  • Esse prior de layout serializado é injetado diretamente no prompt junto com a imagem completa da página.
• Etapa 2: Análise pelo VLM (Execução do Salto 2):
  • O VLM base (granite-docling-258M) recebe tanto a imagem completa da página quanto o plano estrutural.
  • Diferentemente das abordagens "analise-então-analise" que recortam a imagem com base nas caixas do detector, este método mantém a página inteira em visão. Isso permite que o decodificador use a imagem original como fallback global se o detector for imperfeito.
  • A capacidade do decodificador é assim liberada para focar na extração de conteúdo (Salto 2) em vez de redescobrir a estrutura do layout.

2. Estratégia de Treinamento

O processo de ajuste fino envolve três fases:

• Fase 1 (Pré-treinamento): Otimização conjunta do alinhamento de modalidades e compreensão de documentos em um corpus híbrido (sintético e rotulado por humanos), focando inicialmente em texto denso e layouts simples.
• Fase 2 (Injeção de Layout): Transição para uma arquitetura guiada onde o modelo é treinado com priors de layout serializados. O modelo aprende a condicionar a geração no "plano" fornecido.
• Fase 3 (Ajuste Fino Guiado): Uma estratégia específica de mascaramento de perda é empregada. Como os tokens de localização são copiados verbatim do prompt, sua previsão é mascarada fora da função de perda. A perda é aplicada apenas aos tokens de rótulo e conteúdo, garantindo que o modelo se concentre no contexto estrutural e na geração de conteúdo, em vez de aprender a copiar coordenadas.

Contribuições Principais

1. Framework de Decodificação Guiada: Um pipeline que injeta priors de layout estruturados baseados em RT-DETR diretamente no prompt do VLM usando o vocabulário nativo DocTags do analisador. Isso visa o gargalo de dois saltos sem exigir alterações arquiteturais no VLM base.
2. Evidência Mecanística: A análise de atenção revela uma mudança de fase bimodal. O decodificador atende principalmente aos tokens de layout injetados ao emitir sintaxe estrutural (Salto 1) e desloca a atenção para patches de imagem ao emitir conteúdo textual (Salto 2). Isso confirma que o pipeline descarrega com sucesso a descoberta espacial.
3. Generalização Robusta OOD: O método demonstra melhorias significativas na generalização estrutural através de mudanças severas em layout, linguagem e complexidade, mantendo o desempenho dentro da distribuição.

Resultados Experimentais

O método foi avaliado em um benchmark estrutural OOD de 10 mil páginas, um subconjunto chinês do OmniDocBench e no benchmark ViDoRe V3 de 26 mil páginas.

• OOD Estrutural (NoveltySet): A pontuação F1 em Markdown melhorou de 0,37 para 0,92.
• OOD Linguístico (OmniDocBench Chinês): A extração de tabelas (TEDS) melhorou de 0,01 para 0,36.
• Estabilidade (ViDoRe V3): Falhas de decodificação em loops infinitos caíram significativamente em todos os sete domínios industriais testados (queda média de 3,9% para 2,4%).
• Desempenho Dentro da Distribuição: O método igualou ou superou as linhas de base no DocLayNet, confirmando que os ganhos de robustez não ocorrem à custa da precisão dentro da distribuição.
• Eficiência: A abordagem adiciona apenas 15% de latência de relógio e uma mediana de 74 tokens de prompt, sem alterações arquiteturais no modelo base.

Significado e Alegações

O artigo alega que, ao separar explicitamente a resolução de entidades da extração de conteúdo, VLMs compactos podem alcançar robustez comparável a modelos maiores sem reformas arquitetônicas. Os autores enfatizam que:

• Preservação do Contexto Global: Manter a imagem completa da página em visão permite que o modelo se recupere de erros do detector, uma vantagem chave sobre pipelines baseados em recorte.
• Alinhamento de Vocabulário Nativo: Usar DocTags (o próprio vocabulário do analisador) para priors, em vez de texto simples, alinha o prior com o espaço de geração do decodificador, facilitando uma melhor integração.
• Praticidade: A solução oferece um caminho prático para análise de documentos confiável com modelos compactos, adicionando sobrecarga computacional mínima enquanto reduz significativamente falhas catastróficas como loops infinitos.

Os autores notam limitações, especificamente que o pipeline depende do detector a montante (embora mostre tolerância a ruído) e que o mecanismo é apoiado por evidências empíricas e análise de atenção, em vez de explicações causais completas.