Resumo Técnico: Unlimited OCR

1. Declaração do Problema

Os modelos atuais de Reconhecimento Óptico de Caracteres (OCR) de ponta a ponta, mesmo aqueles que utilizam Grandes Modelos de Linguagem (LLMs) como decodificadores, enfrentam limitações significativas em tarefas de análise de longo horizonte (ex: transcrever dezenas de páginas em uma única passagem direta).

• Gargalo de Memória e Eficiência: Os mecanismos de atenção padrão exigem que o cache Key-Value (KV) cresça linearmente com o comprimento da sequência de saída. À medida que a sequência se alonga, isso leva ao consumo ilimitado de memória e ao aumento progressivo das velocidades de geração devido aos custos computacionais de atenção.
• O Contorno do "For-Loop": Modelos existentes tipicamente processam documentos página por página em um laço (loop), resetando a memória em cada etapa. Isso fragmenta a tarefa em problemas isolados de curto horizonte gerenciados por um escalonador externo, falhando em emular o estado cognitivo contínuo que os humanos exibem ao transcrever textos longos.
• Fidelidade Visual vs. Transições de Estado: Embora os mecanismos de atenção linear reduzam a complexidade, eles frequentemente aplicam atualizações de estado recorrentes aos tokens visuais. Isso causa um "desfoque progressivo" dos recursos visuais, degradando a precisão do reconhecimento.

2. Metodologia

O artigo propõe o Unlimited OCR, um modelo projetado para emular a memória de trabalho humana durante tarefas de cópia de longo horizonte. Ele baseia-se no baseline DeepSeek OCR, mantendo seu codificador de alta compressão, mas alterando fundamentalmente o mecanismo de atenção do decodificador.

Arquitetura Central

• Baseline: Utiliza o DeepEncoder do DeepSeek OCR, que emprega uma arquitetura ViT em cascata (SAM-ViT + CLIP-ViT) para alcançar uma taxa de compressão de tokens de 16×. Isso garante que os tokens visuais sejam codificados uma única vez e permaneçam estáticos, evitando a necessidade de transições de estado no lado da entrada.
• Decodificador: Um Modelo de Mistura de Especialistas (MoE) LLM com 3B de parâmetros totais e 500M de parâmetros ativados.
• Inovação Principal: Todas as camadas padrão de Multi-Head Attention (MHA) no decodificador são substituídas pela Reference Sliding Window Attention (R-SWA).

Reference Sliding Window Attention (R-SWA)

A R-SWA é um mecanismo de atenção de análise de propósito geral que restringe a atenção dentro de uma janela de dois segmentos de tamanho $m + n$:

1. Segmento de Referência ($P$): Inclui todos os tokens de prefixo (tokens visuais e o prompt). Este segmento possui um tamanho fixo ($L_m$) e permanece globalmente visível para todos os tokens subsequentes. Crucialmente, estes tokens não passam por transições de estado, preservando a fidelidade visual.
2. Segmento de Decodificação ($D_n$): Uma janela deslizante causal de largura fixa $n$ (padrão 128) sobre os tokens de saída gerados anteriormente.

Mecanismo:

• Cada token gerado atende a todos os tokens de referência (visuais + prompt) e apenas aos $n$ anteriores tokens de saída.
• Gerenciamento de Cache KV: Diferente do MHA padrão onde o tamanho do cache é $L_m + T$ (crescendo com o comprimento da sequência $T$), a R-SWA mantém um tamanho de cache constante de $L_m + n$. O cache atua como uma fila onde o par KV do token gerado mais antigo é removido conforme um novo é adicionado.
• Resultado: Este design desacopla o uso de memória e o custo computacional do comprimento total da saída, permitindo latência e pegada de memória constantes, independentemente de quantas páginas estão sendo processadas.

3. Principais Contribuições

1. Algoritmo R-SWA: Introdução de um novo mecanismo de atenção que combina a visibilidade total dos tokens de referência (visuais) com uma janela causal limitada para os tokens gerados. Isso alcança atenção de complexidade linear sem borrar os recursos visuais.
2. Modelo Unlimited OCR: Uma implementação prática baseada no DeepSeek OCR que consegue analisar dezenas de páginas de documentos em uma única passagem direta sob uma restrição padrão de comprimento máximo de 32K.
3. Ganhos de Desempenho: Demonstrou que a substituição da atenção padrão pela R-SWA gera não apenas ganhos de eficiência, mas também melhorias na precisão em benchmarks padrão, sugerindo que o mecanismo de "esquecimento suave" alinha-se bem com tarefas de OCR.
4. Generalização: O artigo postula que a R-SWA é aplicável além do OCR para outras tarefas de longo horizonte baseadas em referência, como Reconhecimento Automático de Fala (ASR) e tradução.

4. Resultados Experimentais

Benchmarks e Métricas

O modelo foi avaliado no OmniDocBench (v1.5 e v1.6) e em um conjunto de testes interno de longo horizonte. As métricas incluíram Distância de Edição de Texto, CDM de Fórmulas, TEDS de Tabelas e Distância de Edição de Ordem de Leitura.

Principais Descobertas

• OmniDocBench v1.5: O Unlimited OCR alcançou uma pontuação geral de 93,23%, superando o baseline DeepSeek OCR (87,01%) em 6,22 pontos. Também superou o DeepSeek OCR 2.
• OmniDocBench v1.6: Alcançou um novo SOTA de 93,92% geral, superando outros modelos end-to-end como FireRed-OCR e Qianfan-OCR.
• Análise por Subcategoria: O modelo mostrou melhorias consistentes em todos os nove tipos de documentos (PPT, Artigo Acadêmico, Livro, etc.), sem que nenhuma métrica apresentasse desvantagem em relação aos baselines.
• Análise de Longo Horizonte:
  • O modelo processou com sucesso entradas de mais de 40 páginas em uma única passagem.
  • Com mais de 40 páginas, a Distância de Edição permaneceu abaixo de 0,11, e o Distinct-35 foi de 96,90%.
  • Erros em comprimentos extremos foram atribuídos principalmente às limitações de resolução do modo de codificador "Base" (1024×1024), e não à perda de direção do mecanismo de atenção.

Análise de Eficiência

• Throughput (TPS): Embora ambos os modelos tenham desempenho semelhante em comprimentos curtos (256 tokens), o Unlimited OCR mantém um throughput constante (~7.800 TPS) conforme o comprimento da sequência aumenta. Em contraste, o throughput do DeepSeek OCR cai significativamente (cerca de 35% em 6.000 tokens) devido ao crescimento do cache KV.
• Latência: A duração por chamada do kernel Flash Attention permanece constante para o Unlimited OCR, enquanto cresce linearmente para o baseline.

5. Significância e Alegações

O artigo afirma que o Unlimited OCR representa uma mudança em direção à análise de longo horizonte em um único passo (one-shot), afastando-se de contornos de engenharia (loops página a página) em direção a uma arquitetura cognitiva mais alinhada com a AGI.

• Eficiência Semelhante à Humana: Ao imitar a memória de trabalho humana — retendo a fonte (visuais) e o contexto recente enquanto "esquece suavemente" saídas distantes — o modelo alcança uma eficiência que não degrada com a extensão da tarefa.
• Otimização Sem Perdas: Os autores afirmam que a R-SWA é um "ganho gratuito" (free lunch) para OCR, melhorando a precisão enquanto reduz drasticamente os custos de memória e computação.
• Potencial Futuro: O trabalho sugere que o cálculo de atenção e a pegada de memória não são mais os principais gargalos para a análise de longo horizonte. Os autores planejam estender a R-SWA para ASR e tradução e explorar "pools de prefill" para simular o virar de páginas humano para comprimentos de contexto verdadeiramente ilimitados no futuro.

Limitações Reconhecidas:
A implementação atual ainda é limitada pelo comprimento do prefill (limitado pela janela de contexto de 32K e pela compressão do DeepEncoder). Uma análise verdadeiramente "ilimitada" (ex: livros inteiros sem limites de contexto) requer trabalhos futuros em treinamento de contexto mais longo (128K+) e mecanismos de busca dinâmica de prefill.