Resumo Técnico: Aprendizado por Reforço com Desacoplamento de Formato para OCR de Documentos

1. Declaração do Problema

Embora o Reconhecimento Óptico de Caracteres (OCR) seja há muito tempo um foco de pesquisa, os modelos avançados existentes ainda exibem limitações significativas ao processar conteúdo de documentos sensíveis ao formato. Os autores observam que, embora a leitura de texto seja frequentemente percebida como uma tarefa perceptual, os modelos de OCR avançados lutam contra uma alta incerteza de saída (entropia) ao lidar com elementos estruturados, como fórmulas e tabelas, em comparação com o texto simples.

A análise empírica revela que amostras de documentos com uma proporção maior de texto formatado exibem uma entropia de token substancialmente maior durante a inferência. Essa alta entropia indica uma menor certeza do modelo e sugere que o texto formatado permite diversos caminhos de leitura semanticamente equivalentes (por exemplo, diferentes representações LaTeX para a mesma fórmula). As tentativas de Aprendizado por Reforço (RL) existentes em OCR frequentemente carecem de considerações de design específicas para essas regiões de alto nível de entropia, falhando em ir além da memorização de nível de token em direção ao raciocínio de nível de formato.

2. Metodologia

O artigo propõe o Aprendizado por Reforço com Desacoplamento de Formato (FD-RL), um framework projetado para otimizar o desempenho de OCR visando explicitamente o conteúdo sensível ao formato através de um paradigma de treinamento de dois estágios: Ajuste Fino Supervisionado (SFT) seguido de RL.

2.1 Engenharia de Dados

Para suportar um treinamento robusto, os autores construíram um corpus de grande escala e rico em formatos, integrando três fontes distintas:

• Melhoria de Conjuntos de Dados de Código Aberto: Datasets (ex: PDFA, DocGenome) foram submetidos a controle de qualidade para verificar conteúdos ausentes, ordens de leitura incorretas e repetições. Um modelo leve (GOT) foi utilizado para re-anotação, e a filtragem baseada em similaridade garantiu a retenção de um ground truth de alta qualidade.
• Construção de PDFs do Mundo Real: PDFs diversos foram processados para criar anotações conscientes de layout (nível de página, nível de região, múltiplas páginas) e conscientes de conteúdo. Ferramentas como MinerU e dots.ocr foram utilizadas para gerar saídas estruturadas em Markdown, LaTeX e HTML.
• Geração de Dados de OCR Sintéticos: Para abordar a escassez de dados educacionais e acadêmicos, amostras sintéticas foram geradas a partir de recursos online (K12 até questões de STEM de pós-graduação). Estas foram renderizadas em imagens de alta resolução com parâmetros visuais realistas (fontes, espaçamento) e pareadas com rótulos em Markdown.

2.2 Estratégia de Treinamento

O pipeline de treinamento consiste em dois estágios distintos:

Estágio 1: Ajuste Fino Supervisionado (SFT)
Um Modelo de Linguagem-Visão pré-treinado (Qwen3-VL-4B) é ajustado finamente no conjunto de dados abrangente. Durante esta fase, o codificador visual e o projetor são congelados, enquanto apenas os parâmetros do Grande Modelo de Linguagem (LLM) são atualizados. Isso estabelece uma base sólida para capacidades gerais de OCR em diversos layouts e formatos.

Estágio 2: Aprendizado por Reforço com Desacoplamento de Formato (FD-RL)
O estágio de RL introduz duas inovações principais para deslocar a otimização da precisão de nível de token para a validade de nível de formato:

1. Filtragem de Dados Baseada em Entropia:
   Em vez de usar todos os dados de SFT, os autores filtram o conjunto de dados para reter amostras de alta entropia. O modelo SFT realiza a inferência em amostras candidatas, e a entropia média de token é calculada. Amostras que excedem um limiar de entropia específico ($\tau$) são selecionadas para o treinamento de RL. Esta estratégia concentra o aprendizado em instâncias complexas e intensivas em formato, onde o modelo exibe a maior incerteza.

2. Recompensa Desacoplada de Formato:
   Em vez de aplicar um sinal de recompensa uniforme, o framework desacopla as recompensas com base no tipo de conteúdo:

• Texto Simples: Avaliado usando correspondência de string normalizada (Distância de Edição).
• Fórmulas: Avaliado usando a correção da expressão (convertendo para LaTeX equivalente e aplicando pontuações BLEU).
• Tabelas: Avaliado usando a coerência estrutural (pontuação TEDS).

A recompensa total $R$ é uma soma ponderada dessas recompensas específicas, garantindo que erros estruturais (ex: hierarquias de tabela quebradas ou LaTeX malformado) não sejam obscurecidos por erros de conteúdo. O modelo é otimizado usando o algoritmo GRPO, que utiliza vantagens normalizadas por grupo sem a necessidade de um modelo crítico separado.

3. Principais Contribuições

• Framework FD-RL: Propõe um novo paradigma SFT-então-RL especificamente projetado para "raciocínio após a leitura" em OCR de documentos, abordando a natureza de alta entropia do texto formatado.
• Corpus de Grande Escala Rico em Formatos: Constrói um conjunto de dados de treinamento robusto integrando dados de código aberto, do mundo real e sintéticos com proporções de mistura otimizadas.
• Curadoria Baseada em Entropia e Recompensas Desacopladas: Introduz uma estratégia de filtragem de dados que visa amostras de alta incerteza e um mecanismo de recompensa que adapta métricas de avaliação para formatos de conteúdo específicos (texto, fórmula, tabela).
• Desempenho de Estado da Arte: Alcança um novo recorde no benchmark OmniDocBench, validando a eficácia da abordagem proposta através de estudos de ablação abrangentes.

4. Resultados Experimentais

O método foi avaliado no OmniDocBench, um benchmark contendo 1.355 páginas através de nove tipos de documentos (livros, notas, slides, etc.).

• Desempenho Geral: O FD-RL alcançou uma pontuação geral de 90,41, estabelecendo um novo recorde para modelos end-to-end. Superou o melhor modelo end-to-end anterior (dots.ocr) por 2,0 pontos e o melhor modelo baseado em pipeline (PaddleOCR-VL) por uma margem significativa em métricas específicas, embora o PaddleOCR-VL tenha pontuado 92,56 no total (nota: o PaddleOCR-VL é listado como baseado em pipeline na Tabela 1, enquanto o FD-RL é end-to-end).
• Métricas Específicas:
  • Reconhecimento de Fórmulas: Alcançou a melhor pontuação CDM de 88,67.
  • Parsing de Tabelas: Alcançou a pontuação TEDS máxima de 87,35 e uma pontuação TEDS-S de 92,10.
  • Reconhecimento de Texto: Alcançou uma distância de edição de 0,049, ficando em segundo lugar apenas para o dots.ocr (0,048).
• Generalização: O FD-RL garantiu o desempenho superior em 4 de 9 categorias de documentos (ex: Slides, Provas de Exame) e ficou em segundo lugar nas 5 restantes, demonstrando forte generalização cross-domain.

Estudos de Ablação:

• Fontes de Dados: A integração progressiva de dados de código aberto, do mundo real e sintéticos, seguida pelo RL, mostrou ganhos consistentes de desempenho, com o pipeline completo produzindo a pontuação mais alta.
• Estratégia de Treinamento: Aplicar RL diretamente a um VLM geral sem SFT resultou em ganhos mínimos (49,37), enquanto o SFT sozinho alcançou 87,13. A combinação de SFT+RL foi necessária para atingir 90,41.
• Filtragem: Uma taxa de filtragem baseada em entropia de 50% produziu resultados ótimos; tanto 0% (sem filtragem) quanto 75% (filtragem excessiva) levaram à degradação do desempenho.
• Design de Recompensa: O esquema completo de recompensa desacoplada de formato superou as recompensas unificadas de correspondência de string, confirmando que a avaliação especializada para fórmulas e tabelas é crítica.

5. Significância e Alegações

O artigo alega que a principal significância deste trabalho reside em identificar e aproveitar a natureza de alta entropia do texto formatado como um sinal para otimização direcionada. Ao observar que modelos avançados lutam com conteúdo sensível ao formato devido a diversas expressões estruturais válidas, os autores argumentam que o raciocínio sobre diversos caminhos de leitura é essencial para melhorar o OCR.

Os autores afirmam que o FD-RL consegue deslocar o objetivo de otimização da simples memorização de nível de token para a validade de nível de formato. Isso é evidenciado pela capacidade do modelo de gerar estruturas HTML corretas para tabelas e LaTeX válido para fórmulas, tarefas nas quais os modelos de base frequentemente falham ao produzir texto simples ou erros de seguimento de instrução. O trabalho valida que a curadoria de dados baseada em entropia e o design de recompensa específico de formato são estratégias eficazes para aumentar a robustez dos sistemas de parsing de documentos end-to-end.