Resumo Técnico: DocPO: Avançando na Otimização de Políticas de Documentos via Recompensas Ajustadas por Etapas

1. Definição do Problema

O parsing de documentos, a tarefa de decodificar layouts 2D heterogêneos (texto, tabelas, fórmulas) em sequências 1D, enfrenta desafios significativos ao aplicar Aprendizado por Reforço (RL). Embora o Ajuste Fino Supervisionado (SFT) seja o padrão atual, ele sofre de viés de exposição. Embora o RL ofereça um caminho para a otimização ao nível de sequência, sua aplicação ao parsing de documentos tem sido limitada em comparação com os Grandes Modelos de Linguagem (LLMs) padrão.

O problema central identificado é a baixa discriminabilidade de recompensas baseadas em referência no regime de alta precisão. Métodos existentes frequentemente dependem de métricas de distância de edição (ex: distância de edição de string). À medida que os modelos se aproximam da alta precisão, saídas quase corretas recebem pontuações quase idênticas à verdade fundamental (ground truth). Isso resulta em:

• Paisagens de recompensa planas: Pequenas diferenças de qualidade entre candidatos de alta pontuação não são amplificadas, fornecendo sinais de aprendizado limitados para casos difíceis.
• Desalinhamento: Distâncias de edição de string genéricas falham em capturar a correção estrutural em tabelas (recompensando alta sobreposição lexical apesar da corrupção estrutural) ou equivalência semântica em fórmulas (penalizando variações de LaTeX sinônimas e válidas).
• Dependência de recompensas complexas: Abordagens alternativas, como modelos de recompensa aprendidos via renderização e comparação, exigem dados, computação e treinamento auxiliar adicionais, reduzindo a simplicidade de implantação.

2. Metodologia

Os autores propõem o DocPO, um framework de otimização de política de documento que mantém recompensas simples e específicas para cada elemento baseadas em referência, mas potencializa seu poder de otimização através de um novo mecanismo chamado Recozimento Sensível a Etapas (Step-Aware Annealing - SAA).

2.1 Instanciação da Recompensa Base

O DocPO utiliza recompensas distintas e normalizadas baseadas em referência, adaptadas para elementos específicos do documento, mapeadas para uma escala de $[0, 1]$:

• Texto: Distância de Edição Normalizada (NED).
• Tabelas: Similaridade de Distância de Edição de Árvore Ponderada (TEDS) usando o algoritmo APTED. Isso diferencia os custos para operações estruturais (ex: extensões de linha/coluna) versus incompatibilidades apenas de conteúdo, garantindo que erros estruturais incorram em penalidades mais pesadas do que erros de digitação.
• Fórmulas: Uma recompensa híbrida Rubrica+edição. Esta combina:
  • Um portão sintático determinístico ($v_{syn}$) que atribui recompensa zero para LaTeX inválido (validade sintática).
  • Uma rubrica binária ($r_{sem}$) para equivalência semântica (lidando com notações alternativas válidas como \over vs. \frac).
  • Um componente NED denso ($r_{struct}$) para supervisão estrutural.

2.2 Recozimento Sensível a Etapas (Step-Aware Annealing - SAA)

O SAA é um mecanismo de endurecimento de recompensa plug-and-play projetado para abordar a planicidade das recompensas no regime de alta precisão. Ele opera independentemente da definição da recompensa específica uma vez normalizada.

• Modelagem Não Linear de Recompensa: O SAA aplica uma transformação de lei de potência à recompensa base $M$:
  $$f_\gamma(M) = M^\gamma$$
  onde $\gamma$ é um fator de curvatura. Quando $\gamma > 1$, a lacuna relativa entre amostras de alta pontuação é amplificada. Isso efetivamente reduz a "temperatura" do processo de seleção, tornando o sinal de otimização mais nítido para os candidatos de topo, preservando a classificação original.
• Agendamento Adaptativo: O fator de curvatura $\gamma$ não é fixo, mas evolui durante o treinamento:
  $$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$$
  • Início do Treinamento: $\gamma$ começa próximo de 1 (linear), garantindo estabilidade e alinhamento com a recompensa base original.
  • Final do Treinamento: $\gamma$ aumenta (até um máximo de $\gamma_{init} + \Delta\gamma$), aumentando progressivamente o endurecimento da recompensa para distinguir diferenças sutis entre saídas de alta qualidade.
• Controlador de Dispersão Dinâmica (DDC): Para adaptar a taxa de endurecimento à dificuldade da tarefa, $\tau_{adaptive}$ é modulado por uma pontuação de dispersão por tarefa ($d_{DDC}$) calculada sobre uma janela móvel de recompensas recentes. Alta dispersão (resultados heterogêneos) aciona um endurecimento mais rápido, enquanto baixa dispersão mantém um ritmo mais constante.

3. Principais Contribuições

1. Step-Aware Annealing (SAA): Um novo mecanismo de endurecimento de recompensa que aumenta dinamicamente a curvatura da recompensa ao longo das etapas de treinamento. Ele melhora a otimização no regime de alta precisão sem exigir supervisão humana adicional ou treinamento de modelo de recompensa auxiliar.
2. Framework DocPO: Um framework de RL de documento unificado que integra recompensas baseadas em referência específicas de elementos (NED para texto, TEDS para tabelas, Rubrica+edição para fórmulas) com o SAA.
3. Benchmark de Grão Fino: A construção do DocElemHard, um conjunto de dados desafiador cobrindo blocos de texto, tabelas e fórmulas para avaliação ao nível de elemento, juntamente com avaliações no OmniDocBench.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando o backbone Qwen2.5-VL-3B sem quaisquer modificações no codificador visual, pré-treinamento ou módulos de pós-processamento.

• Ganhos de Desempenho:
  • OmniDocBench: O DocPO alcançou uma pontuação geral de 95.38, superando VLMs especializados como PaddleOCR-VL (94.87) e DeepSeekOCR (90.63).
  • DocElemHard: O DocPO alcançou o melhor desempenho geral (93.76), superando a linha de base especializada mais forte (PaddleOCR-VL com 91.47).
  • Específico por Elemento:
    • Texto: Reduziu o erro NED para 0.0125 (vs. 0.0358 para a linha de base SFT).
    • Fórmulas: Melhorou a pontuação CDM para 94.70 (vs. 92.61 para SFT).
    • Tabelas: Alcançou 93.10 TEDS (vs. 89.30 para SFT).
• Estudos de Ablação:
  • SAA vs. Curvatura Fixa: O SAA dinâmico (93.10) superou as transformações de potência estáticas com $\gamma$ fixo (variando entre 91.9–92.3), demonstrando a necessidade do agendamento adaptativo.
  • Contribuição do DDC: Remover o Controlador de Dispersão Dinâmica reduziu o desempenho de 93.10 para 92.73, confirmando o valor da adaptação de dispersão específica da tarefa.
  • Eficiência de Treinamento: O SAA acelerou a convergência, atingindo o limiar de 91.0 TEDS 1.8× mais rápido que a linha de base sem recozimento, alcançando também um teto de desempenho final superior (+1.5 pontos).
• Comparação com Modelos Especializados: O DocPO superou modelos que dependem de customização arquitetônica (ex: codificadores de alta resolução dedicados, compressão de tokens visuais customizada ou pré-treinamento multimodal adicional) usando apenas um backbone 3B padrão e otimização ao nível de recompensa.

5. Significância e Alegações

O artigo afirma que, para o parsing de documentos, otimizar o sinal de recompensa é um alavancagem mais eficaz do que escalar ou redesenhar a arquitetura do modelo.

• Simplicidade e Implantação: Ao contrário das tendências recentes que exigem modificações complexas no front-end visual ou modelos de recompensa auxiliares, o DocPO alcança resultados de estado da arte usando um back-bone VLM padrão, sem pré-processamento ou pós-processamento extra.
• Generalização: O mecanismo SAA é agnóstico à definição da recompensa específica, oferecendo uma estratégia de otimização unificada para diversos elementos de documentos (texto, tabelas, fórmulas).
• Otimização de Alta Precisão: O trabalho demonstra que o principal gargalo no parsing de documentos de alta precisão não é a capacidade do modelo, mas o poder discriminativo do sinal de recompensa no regime quase ideal. O SAA aborda isso efetivamente ao endurecer progressivamente o sinal de aprendizado.

Limitações: Os autores observam que o treinamento de RL é computacionalmente mais caro que o SFT devido às múltiplas execuções (rollouts) e pontuação de rubrica. Além disso, recompensas por procuração (proxy rewards) podem perder nuances semânticas sutis, e o escopo atual é limitado a texto, fórmulas e tabelas, excluindo gráficos e diagramas geométricos.