DODO: Discrete OCR Diffusion Models

O artigo apresenta o DODO, o primeiro modelo de linguagem visual que utiliza difusão discreta em blocos para superar as limitações de velocidade e instabilidade estrutural dos métodos autoregressivos e de difusão existentes, oferecendo uma solução de OCR mais rápida e precisa.

O essencial

Imagine que você precisa digitalizar um livro inteiro, transformando as imagens das páginas em texto que o computador pode ler. Essa tarefa é chamada de OCR (Reconhecimento Óptico de Caracteres).

Até hoje, a maneira mais comum de fazer isso era como se fosse um leitor muito metódico e lento: ele lia uma palavra, depois a próxima, e assim por diante, da esquerda para a direita, sem pular nada. Isso funciona bem, mas é demorado, especialmente para documentos longos. É como tentar encher uma piscina usando um balde de água: você enche um pouco, volta, enche mais um pouco...

Os autores deste paper, chamado DODO, trouxeram uma ideia revolucionária: e se, em vez de ler palavra por palavra, a gente pudesse "adivinhar" várias palavras de uma só vez, preenchendo o texto todo simultaneamente?

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: A "Fita" vs. O "Quebra-Cabeça"

A maioria dos modelos de IA atuais funciona como uma fita cassete: eles precisam passar a fita inteira para frente, passo a passo. Se o documento tem 1.000 palavras, o computador precisa fazer 1.000 "pensamentos" sequenciais. Isso gasta muita energia e tempo.

Os autores pensaram: "OCR é diferente de escrever um poema".

• Escrever um poema (Tarefa Criativa): Você pode ter várias opções. Se a frase é "O gato subiu na...", você pode terminar com "árvore", "muro" ou "geladeira". O modelo precisa escolher uma.
• Fazer OCR (Tarefa de Precisão): Se a imagem mostra a palavra "GATO", só existe uma resposta correta. Não há criatividade, só precisão. É como um quebra-cabeça onde as peças só encaixam de um jeito.

Como o resultado é óbvio e único, os autores acharam que poderiam usar um modelo de "Difusão" (uma técnica que geralmente é usada para gerar imagens ou textos criativos) para preencher o texto todo de uma vez, como se estivessem revelando uma foto escondida.

2. A Armadilha: O "Mapa" Errado

Eles tentaram usar essa técnica de "preencher tudo de uma vez" (chamada de Difusão Discreta), mas deram de cara com um problema gigante.

Imagine que você está tentando desenhar um mapa de uma cidade inteira de uma só vez, sem olhar para o que já desenhou.

• Se você errar o tamanho da cidade no começo, o resto do desenho fica torto.
• Se você colocar a "Praça Central" no lugar errado, todas as ruas que levam a ela ficarão desalinhadas.

No OCR, isso é catastrófico. Se o modelo errar onde começa uma palavra ou o tamanho total da linha, ele não pode simplesmente "reescrever" a frase inteira (como faria em um poema). O texto precisa ser exato. O modelo de difusão comum tentava adivinhar o tamanho do documento e a posição de cada letra ao mesmo tempo, e acabava gerando textos quebrados, com palavras repetidas ou faltando. Era como tentar montar um quebra-cabeça gigante olhando apenas para as peças soltas, sem ver a caixa de referência.

3. A Solução DODO: Os "Blocos de Construção"

A grande sacada do DODO foi mudar a estratégia. Em vez de tentar desenhar a cidade inteira de uma vez, eles decidiram desenhar bairros.

• A Analogia dos Blocos: Imagine que você não vai desenhar o mapa da cidade inteira de uma vez. Você vai desenhar primeiro o "Bairro A" (um bloco de 256 palavras). Quando termina esse bairro, ele fica "travado" e fixo. Depois, você olha para o "Bairro A" já pronto e desenha o "Bairro B" ao lado, sabendo exatamente onde ele começa.
• Por que isso funciona?
  1. Segurança: Ao terminar um bloco, o modelo sabe que aquela parte está correta e não vai mudar. Isso evita que o texto fique "torto" no meio do caminho.
  2. Velocidade: Dentro de cada "Bairro" (bloco), o modelo ainda consegue prever várias palavras ao mesmo tempo (em paralelo).
  3. Memória: O modelo usa uma técnica de "memória cache" (como guardar anotações na mão). Como o "Bairro A" já está pronto e fixo, o computador não precisa reprocessar ele toda vez que vai desenhar o "Bairro B". Ele apenas olha para as anotações e continua.

4. O Resultado: O Superpoder

O resultado desse método (DODO) foi impressionante:

• Precisão: O texto gerado é tão preciso quanto os melhores modelos atuais que leem palavra por palavra.
• Velocidade: O modelo é 3 vezes mais rápido. Em vez de levar 10 segundos para ler um documento, leva 3.

Resumo da Ópera:
O DODO é como um funcionário muito eficiente que, em vez de escrever uma carta linha por linha (o jeito antigo e lento), decide escrever parágrafo por parágrafo. Ele escreve o primeiro parágrafo, garante que está perfeito, "trava" ele na página, e então escreve o segundo parágrafo sabendo exatamente onde o primeiro termina. Isso permite que ele trabalhe muito mais rápido, sem cometer erros de alinhamento, transformando a digitalização de documentos em uma tarefa muito mais ágil.

Em suma: eles descobriram que, para ler documentos, a IA não precisa ser criativa, ela precisa ser organizada. E organizando o trabalho em "blocos", conseguiram fazer a IA voar.

Resumo técnico

1. O Problema

A Reconhecimento Óptico de Caracteres (OCR) é uma tarefa fundamental para a digitalização de documentos, servindo como ponte entre dados visuais e compreensão textual. Embora os Modelos de Linguagem Visuais (VLMs) modernos tenham alcançado alta precisão, a maioria depende de decodificação autoregressiva (AR).

• Gargalo de Latência: A decodificação AR gera tokens sequencialmente (token por token), exigindo uma passagem frontal (forward pass) para cada token gerado. Para documentos longos, isso torna-se computacionalmente caro e lento.
• Ineficiência da Difusão Global: Os autores identificam que o OCR é uma tarefa altamente determinística (a entrada visual dita uma única sequência de saída válida), o que teoricamente permitiria o uso de Modelos de Difusão Discreta (MDMs) para decodificação paralela. No entanto, os MDMs existentes falham no OCR porque introduzem instabilidades estruturais (erros de alinhamento posicional e estimativa de comprimento) que são toleráveis em tarefas flexíveis (como legendagem de imagens), mas catastróficas no OCR, onde o texto deve ser exato e imutável.

2. Metodologia: DODO

Para resolver essa contradição, os autores propõem o DODO (Discrete OCR Diffusion Models), o primeiro VLM a utilizar difusão discreta em blocos para transcrição de documentos.

• Difusão em Blocos (Block Diffusion): Em vez de tentar gerar toda a sequência de texto simultaneamente em um "canvas" global (o que causa erros de sincronização), o DODO divide a geração em uma sequência de blocos causais.
  • O modelo gera um bloco de tokens (ex: 256 tokens) em paralelo, condicionado ao prefixo já gerado (blocos anteriores).
  • Isso ancora a geração em limites locais, mitigando o "desvio de alinhamento" (drift) que ocorre em modelos de difusão global.
• Tamanho do Bloco Otimizado: Diferente de métodos anteriores que usavam blocos pequenos (4-32 tokens) para tarefas de texto puro, o DODO escala o tamanho do bloco para 256 tokens, aproveitando a natureza de baixa entropia do OCR (onde a ambiguidade é mínima).
• Arquiteturas de Atenção e Caching:
  • DODO (Padrão): Utiliza atenção bidirecional completa. Os blocos anteriores são reprocessados a cada passo, permitindo que as representações se adaptem dinamicamente ao novo bloco, mas sem caching de chave-valor (KV).
  • DODO Fast: Utiliza uma máscara de atenção causal em blocos. Isso permite que as representações dos blocos comprometidos (anteriores) permaneçam fixas, habilitando o uso de KV-Caching exato. Isso elimina a recomputação redundante, acelerando significativamente a inferência.
• Treinamento: O modelo é treinado no dataset olmOCR-mix-1025 (270k pares documento-texto) e utiliza uma estratégia de amostragem baseada em limiar de confiança (Confidence Thresholding), onde apenas tokens com alta probabilidade de acerto são revelados em cada passo, garantindo precisão.

3. Contribuições Principais

1. Identificação de Incompatibilidade Estrutural: O trabalho demonstra que a rigidez do OCR torna os erros de alinhamento posicional e de comprimento dos modelos de difusão global inaceitáveis, explicando por que métodos anteriores falharam nessa tarefa.
2. Introdução do DODO: É a primeira implementação bem-sucedida de difusão discreta em blocos para VLMs multimodais, resolvendo a rigidez do OCR através de condicionamento sequencial em blocos.
3. Validação de Eficiência e Precisão: Demonstra que é possível alcançar precisão competitiva com modelos autoregressivos de última geração enquanto se obtém ganhos massivos de velocidade.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks OmniDocBench (documentos complexos com tabelas e layouts) e Fox-Page-EN (texto denso).

• Precisão: O DODO (3B parâmetros) alcançou um Normalized Edit Distance (NED) de 0.066 no OmniDocBench, superando modelos de difusão anteriores (como Dimple e LLaDA-V, que tiveram NED > 0.5) e competindo de perto com modelos autoregressivos especializados (como MonkeyOCR e Mistral OCR) e a base autoregressiva Qwen2.5-VL.
• Velocidade (Throughput):
  • O DODO padrão já supera a base autoregressiva em throughput, mesmo sem caching, devido à redução drástica no número de passos de inferência (gerando ~10-20 tokens por passo em vez de 1).
  • O DODO Fast, ao utilizar KV-Caching, alcança um throughput de ~63 tokens/segundo, o que representa um aumento de 3x em comparação à base autoregressiva (~21 tokens/segundo) e uma melhoria significativa sobre outras abordagens de difusão.
• Eficiência de Decodificação: Enquanto modelos AR exigem 1 passo por token, o DODO reduz a média para menos de 0.1 passos por token, comprimindo o processo de inferência em uma ordem de magnitude.

5. Significado e Impacto

O DODO representa um avanço fundamental ao provar que a decodificação paralela é viável e superior para tarefas de OCR, desde que estruturada corretamente.

• Quebra de Paradigma: Desafia a crença de que a decodificação autoregressiva é necessária para tarefas de alta precisão e baixa ambiguidade.
• Aplicabilidade Prática: Ao oferecer uma alternativa não-autoregressiva que é tanto precisa quanto extremamente rápida (3x mais rápida), o DODO abre caminho para a aplicação de VLMs em cenários de baixa latência e processamento de grandes volumes de documentos, onde a eficiência computacional é crítica.
• Limitações: O trabalho reconhece que há uma compensação (trade-off) entre a precisão máxima e a velocidade extrema (DODO Fast tem um NED ligeiramente maior que o DODO padrão devido à fixação das representações do histórico), e que a sensibilidade aos hiperparâmetros estruturais (tamanho do bloco) requer atenção.

Em resumo, o DODO estabelece um novo padrão para OCR baseado em VLMs, reconciliando a estabilidade da ancoragem causal com a eficiência da geração paralela.