Resumo Técnico: HPD-Parsing

1. Definição do Problema

A análise de documentos (parsing) é um componente crítico para aplicações de jusante, tais como extração de informações, recuperação de documentos e Geração Aumentada de Recuperação (RAG). Embora os modelos de Visão-Linguagem (VLMs) recentes tenham melhorado a precisão da análise ao unificar a análise de layout e o reconhecimento de conteúdo, eles sofrem de ineficiências significativas de inferência.

Os analisadores unificados existentes dependem tipicamente de geração autorregressiva de página inteira, onde toda a saída do documento é gerada token por token em uma única trajetória sequencial. Essa abordagem cria um gargalo sequencial que escala linearmente com o comprimento do documento. O perfil de desempenho revela que, para documentos longos, a latência do decodificador pode ser quase 500 vezes maior que a latência de codificação visual. Esse processo de geração serial leva a uma alta latência de inferência e throughput limitado, tornando difícil satisfazer os requisitos de eficiência de cargas de trabalho de análise de documentos em larga escala.

Estratégias de aceleração atuais, como a compressão de tokens visuais ou o aumento do paralelismo dentro de regiões, abordam aspectos específicos do problema, mas não reestruturam fundamentalmente o paradigma de geração de página inteira.

2. Metodologia: HPD-Parsing

Os autores propõem o HPD-Parsing, um analisador de documentos de alto throughput construído sobre um paradigma de Decodificação Paralela Hierárquica (HPD). A ideia central é que, embora a análise de documentos exija coordenação global para layout e ordem de leitura, o conteúdo detalhado de regiões específicas é amplamente localizado e apresenta dependência limitada de regiões distantes.

2.1 Decodificação Paralela Hierárquica (HPD)

Em vez de uma única trajetória autorregressiva, o HPD-Parsing reestrutura a geração em uma hierarquia de dois níveis:

• Ramo de Layout Principal (Main Layout Branch): Este ramo realiza a coordenação global, estabelecendo a estrutura espacial do documento, as relações entre regiões e a ordem de leitura. Ele gera uma sequência estruturada contendo tokens de layout (categoria, coordenadas) e tokens de roteamento (<FORK>).
• Ramos de Conteúdo Concorrentes (Concurrent Content Branches): Ao emitir um token <FORK>, o sistema inicia dinamicamente ramos de conteúdo independentes. Cada ramo é responsável por decodificar o conteúdo localizado de uma região de layout específica.
• Reuso de Cache KV de Prefixo Compartilhado (Shared-Prefix KV Cache Reuse): Os ramos de conteúdo reutilizam o contexto visual e o prefixo estrutural (tokens de layout) gerados pelo ramo principal até o ponto de bifurcação. Isso evita computação redundante e a reencodificação da imagem do documento para cada região.
• Isolamento de Contexto (Context Isolation): Diferente dos modelos autorregressivos de página inteira, onde cada token atende a toda a sequência precedente, cada ramo de conteúdo no HPD-Parsing atende apenas ao contexto visual compartilhado, ao seu prefixo estrutural específico e ao seu próprio histórico de geração localizado. Isso reduz significativamente o horizonte de atenção ativa e a computação por passo.

2.2 Predição Multi-Token Progressiva (P-MTP)

Para acelerar ainda mais a decodificação dentro de cada ramo (tanto de layout quanto de conteúdo), o HPD-Parsing integra a Predição Multi-Token Progressiva (P-MTP).

• Um MLP residual leve prevê múltiplos tokens futuros em cada etapa de decodificação.
• Uma estratégia de ponderação de perda progressiva é empregada para estabilizar as predições em profundidades de antecipação crescentes, atribuindo pesos maiores a trajetórias especulativas confiáveis.
• Durante a inferência, os ramos rascunham múltiplos tokens, verificam-nos em paralelo e aceitam vários tokens por passo (comprimento médio aceito de 6,6 tokens), reduzindo substancialmente o número de iterações de decodificação.

2.3 Arquitetura do Modelo

O HPD-Parsing é construído sobre o backbone InternVL3.5-1B:

• Codificador Visual: InternViT (0,3B de parâmetros) usando recorte baseado em tiles dinâmicos para preservar detalhes de alta resolução.
• Decodificador LLM: Adaptado do Qwen3-0.6B (0,8B de parâmetros) com 28 camadas Transformer, Atenção de Consulta Agrupada (GQA) e ativação SwiGLU.

2.4 Estratégia de Treinamento: Adaptação em Estágios e Curadoria de Dados

Para transitar da análise autorregressiva convencional para a decodificação paralela hierárquica sem degradação de precisão, os autores utilizam uma estratégia de treinamento em três estágios apoiada por um pipeline automatizado de curadoria de dados baseada em dificuldade:

1. Estágio 1 (Inicialização de Capacidade): O modelo é treinado em sequências de página inteira convencionais para adquirir capacidades gerais de análise (reconhecimento de texto, compreensão de layout).
2. Estágio 2 (Mudança de Paradigma): O modelo é adaptado ao formato hierárquico. Os dados são reorganizados em instâncias de layout global e instâncias de conteúdo localizado. Uma máscara de validade garante que os ramos de conteúdo sejam supervisionados apenas na transcrição após o token <CHILD>. Este estágio foca em aprender o novo formato de decodificação e otimizar para casos difíceis.
3. Estágio 3 (Otimização Guiada por Recompensa): Aprendizado por reforço leve é aplicado para melhorar a consistência e corrigir comportamentos propensos a falhas (ex: qualidade de fórmulas, análise de tabelas) usando recompensas orientadas à tarefa.

O pipeline de curadoria de dados envolve agrupamento baseado em características, anotação multi-modelo (usando PaddleOCR-VL e MinerU), estimativa de dificuldade, refinamento baseado em VLM para amostras difíceis e balanceamento de distribuição para garantir dados de treinamento diversos.

3. Principais Contribuições

1. Paradigma de Decodificação Paralela Hierárquica: A introdução do HPD, que reestrutura a geração de página inteira em decodificação paralela localizada e coordenada globalmente. Esta abordagem, combinada com o reuso de cache KV de prefixo compartilhado e P-MTP, encurta o caminho de decodificação sequencial efetivo através das dimensões de ramo e de token.
2. Adaptação em Estágios com Curadoria de Dados Automatizada: Um framework de treinamento que transfere com sucesso as capacidades autorregressivas para o paradigma paralelo enquanto mantém a precisão. Isso é suportado por um pipeline automatizado que cura dados equilibrados por dificuldade, minimizando o esforço de anotação manual.
3. Eficiência de Estado da Arte: O HPD-Parsing alcança um throughput sem precedentes mantendo uma precisão competitiva, demonstrando que a análise de documentos pode ser executada efetivamente via coordenação de layout global e decodificação paralela localizada.

4. Resultados Experimentais

Experimentos foram conduzidos no benchmark OmniDocBench v1.6 usando 8 GPUs NVIDIA A800.

• Throughput: O HPD-Parsing alcança um throughput de pico de 4.752 Tokens Por Segundo (TPS).
  • Isso é 2,62× mais rápido que o modelo de análise de documentos existente mais rápido (GLM-OCR).
  • Isso é 3,06× mais rápido que seu próprio baseline autorregressivo (modelo de 1B de parâmetros).
• Precisão: Apesar dos enormes ganhos de eficiência, o HPD-Parsing mantém uma precisão de análise competitiva com uma Pontuação Geral de 94,91 no OmniDocBench v1.6. Ele supera modelos unificados maiores (ex: Qianfan-OCR, FireRed-OCR) e permanece competitivo com os principais analisadores baseados em pipeline.
• Comportamento de Escala: A vantagem de eficiência do HPD-Parsing cresce com o comprimento do documento. Para os buckets de maior comprimento de saída, ele alcança até 18,04× menos passos de decodificação, 3,67× maior throughput de requisição e 5,80× menor latência de requisição única em comparação ao baseline autorregressivo.
• Desempenho Qualitativo: O modelo demonstra robustez no tratamento de fórmulas complexas, tabelas densas e layouts desafiadores (ex: jornais, puzzles). Ele mostra robustez superior a erros de detecção, melhor desambiguação de caracteres visualmente similares (ex: '0' vs 'O') via contexto global, e evita a propagação de erros entre blocos do documento.

5. Significância

O artigo afirma que o HPD-Parsing estabelece a decodificação paralela hierárquica como uma alternativa viável e eficaz à geração autorregressiva de página inteira. Ao aproveitar a propriedade estrutural de que o layout do documento exige coordenação global enquanto o conteúdo é localmente fundamentado, o método quebra o gargalo sequencial inerente aos atuais analisadores VLM unificados.

Os autores postulam que esta abordagem abre um novo caminho para a análise de documentos unificada eficiente, provando que alto throughput e alta precisão não são mutuamente exclusivos. Além disso, sugerem que o princípio de estruturas globalmente coordenadas, porém localmente decomponíveis, poderia se estender a outras tarefas de geração estruturada, como compreensão de documentos de múltiplas páginas e extração de informações chave.