Resumo Técnico: LightOnOCR-2-1B

Definição do Problema

Apesar de décadas de progresso no Reconhecimento Óptico de Caracteres (OCR), o processamento de documentos no mundo real continua sendo um desafio devido à ambiguidade na ordem de leitura em layouts de múltiplas colunas, estruturas de tabelas complexas e a tipografia densa misturada com notação matemática encontrada em PDFs científicos. As estratégias de produção tradicionais dependem de pipelines de múltiplos estágios frágeis (análise de layout, detecção de texto, reconhecimento, extração de tabelas) que são dispendiosos para adaptar a novas distribuições de documentos e exigem mudanças coordenadas em múltiplos componentes. Embora os modelos de Visão-Linguagem (VLMs) de ponta (end-to-end) ofereçam uma alternativa unificada, os modelos de estado da arte existentes são frequentemente grandes (ex: 9B parâmetros), lentos e carecem de robustez em domínios específicos, como documentos científicos ou processamento da língua francesa.

Metodologia

Os autores apresentam o LightOnOCR-2-1B, um VLM multilíngue compacto de 1B de parâmetros, projetado para converter imagens de documentos diretamente em texto limpo e naturalmente ordenado, sem pipelines frágeis.

Arquitetura

O modelo consiste em três componentes:

1. Codificador de Visão: Um Vision Transformer de resolução nativa inicializado a partir de pesos pré-treinados do Mistral-Small-3.1, capaz de lidar com tamanhos de imagem variáveis e preservar a estrutura espacial.
2. Projetor Multimodal: Um MLP de duas camadas com ativação GELU que projeta as características de visão para o espaço de embedding do modelo de linguagem. Ele utiliza fusão espacial (patches de 2×2) para reduzir os tokens visuais em 4×, mantendo a tratabilidade para entradas de alta resolução.
3. Decodificador de Modelo de Linguagem: Inicializado a partir do Qwen3, ele gera uma representação linearizada da página, emitindo tokens estruturados para elementos não textuais (ex: ![image](image_N.png)).

Estratégia de Treinamento

A receita de treinamento para o LightOnOCR-2 representa um aumento de escala e refinamento significativo sobre seu predecessor (LightOnOCR-1):

• Curadoria de Dados: A mistura de pré-treinamento foi escalonada de 17M para 43M de páginas (2,5× maior). Inclui uma cobertura mais forte de documentos digitalizados, textos em francês e conteúdo científico. A supervisão é gerada via destilação usando um modelo professor mais forte (Qwen3-VL-235B-A22B-Instruct).
• Pipeline de Normalização: Um pipeline unificado limpa fontes heterogêneas (PDFA, digitalizações, arXiv) removendo artefatos (marcas d'água, Markdown espúrio), homogeneizando casos especiais (páginas em branco, imagens incorporadas) e impondo invariantes de formatação (compatibilidade com KaTeX, tabelas padronizadas).
• Curadoria arXiv: Um novo pipeline usando nvpdftex (ferramental NVIDIA) compila fontes TEX para produzir anotações alinhadas aos pixels, fornecendo supervisão de alta qualidade para documentos científicos e caixas delimitadoras (bounding boxes).
• Resolução & Augmentação: O treinamento ocorre em uma resolução máxima superior (1540px no lado mais longo vs. 1024px anteriormente) e inclui exemplos explícitos de páginas vazias para evitar comportamentos de loop. As aumentações de dados incluem corrupção de bitmap, cisalhamentos afins e rotações.
• Aprendizado por Reforço com Recompensas Verificáveis (RLVR): O modelo passa por RLVR usando GRPO para abordar modos de falha difíceis de corrigir apenas com aprendizado supervisionado.
  • Receita de OCR: Estende os testes unitários do OlmOCR para penalizar loops de repetição, verificar a correção matemática via renderização KaTeX e impor formatação limpa.
  • Receita de Localização: Introduz uma variante que prevê caixas delimitadoras normalizadas para imagens incorporadas. A supervisão de coordenadas é introduzida durante um estágio de retomada de pré-treinamento, seguido de refinamento usando recompensas baseadas em IoU.
• Técnicas de Espaço de Pesos: Os autores empregam média de checkpoints (fazendo o "souping" dos últimos 5 checkpoints) e fusão de aritmética de tarefas para combinar ganhos complementares e controlar o equilíbrio entre qualidade de OCR e precisão de caixa delimitadora sem treinamento adicional.

Principais Contribuições

1. Desempenho de Estado da Arte: O LightOnOCR-2-1B alcança novos resultados de estado da arte no OlmOCR-Bench, superando substancialmente modelos muito maiores (ex: baselines de escala 9B), sendo 9× menor e mais rápido.
2. Mistura de Pré-treinamento Aprimorada: Um conjunto de dados 2,5× maior e mais limpo, com melhor cobertura de documentos em francês, PDFs científicos e alta resolução (1540px).
3. Capacidades de Localização: Introdução de predição de caixa delimitadora de imagem em variantes dedicadas, treinadas via supervisão de coordenadas e RLVR, sem degradar o desempenho central de OCR.
4. Novo Benchmark: Lançamento do LightOnOCR-bbox-bench, um novo benchmark para localização de imagens em documentos, compreendendo subconjuntos revisados manualmente e anotados automaticamente.
5. Eficiência e Robustez: Demonstração de que técnicas leves de espaço de pesos (média e fusão) podem melhorar o desempenho e gerenciar explicitamente o equilíbrio entre extração de texto e precisão de localização.
6. Lançamento Aberto: Lançamento público dos checkpoints do modelo (Apache 2.0), do dataset (LightOnOCR-mix-0126) e do benchmark sob suas respectivas licenças.

Resultados

• Precisão de OCR: No OlmOCR-Bench, o LightOnOCR-2-1B atinge uma pontuação geral de 83.2 ± 0.9, superando modelos end-to-end maiores como o olmOCR-2-8B (80.4) e o Chandra-9B (81.7). Demonstra força particular em documentos do ArXiv, digitalizações antigas com matemática e layouts densos em tabelas.
• Localização: No LightOnOCR-bbox-bench, o modelo atinge um F1@0.5 de 0.78 (subconjunto OlmOCR) e 0.83 (subconjunto arXiv), superando o baseline de 9B do Chandra em precisão de contagem e F1, apesar de ser significativamente menor.
• Eficiência: O LightOnOCR-2 atinge um throughput de 5.71 páginas/seg em uma única NVIDIA H100, superando substancialmente os baselines maiores (olmOCR-2 a 3.28 páginas/seg, Chandra a 1.70 páginas/seg).

Significância e Alegações

O artigo posiciona o LightOnOCR-2-1B como uma solução prática e de alta fidelidade para compreensão de documentos que elimina o fardo de engenharia de pipelines de múltiplos estágios. Os autores afirmam que um modelo compacto, totalmente diferenciável e end-to-end pode lidar com layouts complexos (tabelas, formulários, notação científica) de forma mais eficaz e eficiente do que sistemas maiores e frágeis.

O trabalho enfatiza que a simplicidade e a qualidade dos dados são drivers críticos de desempenho. Ao alavancar uma mistura de pré-treinamento mais limpa e maior, treinamento de maior resolução e RLVR direcionado, os autores demonstram que um modelo de 1B de parâmetros pode superar sistemas de 9B de parâmetros. Além disso, o artigo afirma que a localização pode ser integrada a modelos de OCR sem comprometer a qualidade da extração de texto através de estratégias de treinamento cuidadosas (retomada de pré-treinamento e refinamento por RLVR). O lançamento do modelo, dos dados e dos benchmarks tem o intuito de apoiar a pesquisa reprodutível em extração e localização de alta fidelidade.

Limitações: Os autores observam que o modelo é otimizado para documentos impressos e scripts latinos/europeus; o desempenho em scripts não latinos (ex: CJK, Árabe) e escrita manual não é totalmente suportado e pode apresentar fidelidade degradada.