🤖 AI

Prefix-Adaptive Block Diffusion for Efficient Document Recognition

Este artigo propõe o Modelo de Difusão de Blocos Adaptativo por Prefixo (PA-BDM), que aprimora o reconhecimento eficiente de documentos ao substituir limites de blocos fixos por compromisso de prefixo dinâmico e desruído causal para resolver inconsistências no fluxo de informações, alcançando assim precisão superior e um aumento de 71,6% na taxa de processamento de inferência em comparação com modelos existentes.

Autores originais: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando transcrever uma fórmula matemática manuscrita complexa ou uma tabela densa de uma imagem de documento para um formato legível por computador.

O Jeito Antigo (O Problema do "Bloco Rígido")
Pense nos modelos de IA eficientes atuais (chamados Modelos de Difusão em Blocos) como uma equipe de escribas trabalhando em turnos. Eles dividem a página em pedaços de tamanho fixo, digamos, 32 palavras por vez.

O Gargalo: Eles trabalham em todas as 32 palavras simultaneamente (o que é rápido), mas não podem salvar seu progresso ou "travar" nenhuma dessas palavras até que o inteiro bloco de 32 esteja terminado.
A Confusão: Dentro desse bloco, os escribas podem olhar o trabalho uns dos outros da esquerda para a direita e da direita para a esquerda. Embora isso pareça útil, cria uma bagunça quando passam para o próximo bloco. O próximo bloco só sabe o que veio antes dele (da esquerda para a direita), mas o bloco anterior era uma mistura confusa de direções. Essa inconsistência torna difícil acertar a estrutura de coisas como fórmulas matemáticas ou tabelas.
O Desperdício: À medida que terminam palavras dentro de um bloco, o trabalho "paralelo" desacelera porque restam menos palavras para adivinhar. É como uma linha de montagem de fábrica que deixa de ser eficiente assim que metade dos produtos é produzida.

A Nova Solução: PA-BDM (O "Escriba Adaptativo")
Os autores propõem um novo método chamado Difusão em Bloco Adaptativa por Prefixo (PA-BDM). Veja como isso muda o jogo usando analogias simples:

1. O "Intervalo de Candidatos" vs. A "Caixa Fixa"

Em vez de tratar um bloco de 32 palavras como uma caixa rígida que deve ser preenchida completamente antes de avançar, o PA-BDM trata-o como um intervalo máximo de candidatos.

Analogia: Imagine que você está enchendo um balde com água. O método antigo diz: "Você deve encher o balde inteiro antes de poder despejar qualquer água no tanque de armazenamento." O PA-BDM diz: "Encha o balde tanto quanto puder e, assim que tiver certeza de que uma xícara de água está limpa e segura, despeje-a no tanque de armazenamento imediatamente."
Resultado: A IA não espera que todo o bloco termine. Ela pega a parte "confiável" (o prefixo) e a salva instantaneamente.

2. Fluxo Causal (A "Rua de Mão Única")

O método antigo permitia que os escribas olhassem para trás e para frente dentro de um bloco, o que confundia a ordem das coisas. O PA-BDM força todos a olhar apenas para frente (da esquerda para a direita), exatamente como ler um livro.

Analogia: No sistema antigo, um escriba no meio de uma frase poderia espiar o final da frase para adivinhar o meio. Isso funcionava para conversas casuais, mas falhava em estruturas estritas como equações matemáticas, onde a ordem importa. O PA-BDM impõe uma regra estrita de "rua de mão única", garantindo que a IA aprenda a sequência correta todas as vezes.

3. Comprometimento Progressivo do Prefixo (PPC) – O "Teste de Confiança"

Este é o motor do novo sistema. À medida que a IA adivinha o próximo lote de palavras, ela verifica sua própria confiança.

Como funciona: Se a IA tem 99% de certeza sobre as primeiras 10 palavras de um bloco de 32 palavras, ela "compromete" (trava) essas 10 palavras imediatamente. Em seguida, ela descarta as 22 adivinhações restantes e inicia um novo lote de 32 adivinhações com base nessas 10 palavras travadas.
O Benefício: Isso redefine o "espaço paralelo". Em vez de trabalhar em uma lista encolhendo de 22, depois 10, depois 5 palavras, a IA passa a trabalhar em um conjunto novo e completo de 32 palavras repetidamente. Isso mantém a velocidade alta.

4. Perda Estrutural com Portão de Confiança (CSL) – O "Professor Rigoroso"

Durante o treinamento, a IA aprende tentando corrigir erros. O método antigo forçava a IA a aprender de todos os erros, mesmo que o início da frase já estivesse instável.

A Correção: O PA-BDM usa um "portão de confiança". Se a IA não tem certeza sobre o início de uma frase, o professor (o algoritmo de treinamento) para de corrigir o resto da frase. Ele só corrige a parte da qual a IA tem certeza.
Analogia: Imagine um professor corrigindo uma prova de matemática. Se o aluno erra o primeiro passo, o professor não perde tempo corrigindo a resposta final, pois ela é baseada em uma premissa errada. O professor espera até que o aluno acerte o primeiro passo antes de corrigir o resto. Isso impede que a IA aprenda padrões "ruidosos" ou ruins.

Os Resultados

O artigo afirma que essa nova abordagem, PA-BDM, é uma enorme atualização:

Velocidade: É 71,6% mais rápida que o melhor modelo de difusão anterior (MinerU-Diffusion) e cerca de 8 vezes mais rápida que os modelos autoregressivos padrão (que escrevem uma palavra de cada vez).
Precisão: É mais precisa ao reconhecer estruturas complexas como fórmulas matemáticas, tabelas e diagramas, pois respeita a ordem estrita dos tokens.
Eficiência: Usa memória com a mesma eficiência dos modelos mais antigos, mas realiza muito mais trabalho no mesmo período de tempo.

Em resumo, o PA-BDM impede que a IA espere por "blocos perfeitos" e, em vez disso, permite que ela trave o progresso "suficientemente bom" imediatamente, mantendo a linha de montagem em movimento na velocidade máxima sem perder precisão.

Resumo Técnico: Difusão de Blocos Adaptativa a Prefixos para Reconhecimento Eficiente de Documentos

1. Declaração do Problema

A análise de documentos exige a conversão de imagens de documentos em formatos legíveis por máquina (por exemplo, LaTeX, HTML, Markdown). Embora os Modelos Autoregressivos (ARMs) tenham alcançado progresso substancial, seu paradigma estrito de geração token por token limita a eficiência da inferência. Para abordar isso, pesquisas recentes exploraram paradigmas de geração paralela, especificamente Modelos de Difusão de Blocos (BDMs). Os BDMs geram blocos de forma autoregressiva enquanto realizam a remoção de ruído dos tokens dentro de cada bloco em paralelo, oferecendo saída de comprimento flexível e cache KV.

No entanto, os autores identificam duas limitações críticas nos BDMs padrão quando aplicados ao reconhecimento de documentos sensíveis à estrutura:

Comprometimento Fixo em Nível de Bloco: Os BDMs padrão vinculam a remoção de ruído e o comprometimento do cache KV a limites de bloco fixos. Os tokens não podem ser armazenados em cache até que todo o bloco seja concluído, impedindo a reutilização de prompt de previsões intermediárias confiáveis. Além disso, à medida que a remoção de ruído intra-bloco avança, o número de tokens mascarados restantes diminui, fazendo com que o espaço de decodificação paralelo efetivo encolha.
Fluxo de Informação Inconsistente: Os BDMs padrão empregam remoção de ruído bidirecional dentro de um bloco, mas mantêm a autoregressão da esquerda para a direita entre blocos. Isso cria um fluxo de informação inconsistente. Para tarefas que exigem reconstrução precisa de sequências de tokens discretas (como fórmulas e tabelas), esse contexto bidirecional pode entrar em conflito com os limites estruturais estritos e a ordem dos tokens necessários, levando a erros de geração estrutural.

2. Metodologia: Modelo de Difusão de Blocos Adaptativo a Prefixos (PA-BDM)

Os autores propõem o PA-BDM, um framework que redefine o papel do "bloco" de uma unidade de geração fixa para um intervalo máximo de geração candidato. Os componentes principais são:

A. Remoção de Ruído Causal Intra-Bloco

Diferentemente dos BDMs padrão que usam atenção bidirecional dentro de um bloco, o PA-BDM emprega remoção de ruído causal (prefixo a sufixo) dentro de cada bloco candidato.

Mecanismo: Os tokens dentro de um bloco atendem apenas a blocos anteriores e ao seu contexto à esquerda dentro do bloco atual.
Benefício: Isso alinha o fluxo de informação intra-bloco com a autoregressão inter-bloco, garantindo que os prefixos confiáveis gerados dentro de um bloco sejam válidos para reutilização de cache KV.

B. Função de Perda Estrutural com Gatilho de Confiança (CSL)

Para suportar a remoção de ruído causal durante o treinamento, o PA-BDM introduz o CSL para gerenciar o ruído de supervisão.

Problema: Na remoção de ruído causal, tokens mascarados posteriores dependem de tokens anteriores. Se os tokens iniciais forem incertos (alta entropia), supervisionar todo o sufixo introduz gradientes ruidosos.
Solução: O CSL calcula a confiança dos tokens previstos. Ele identifica a primeira posição no sufixo mascarado onde a confiança cai abaixo de um limiar $\tau$ . A supervisão é aplicada apenas até essa "fronteira de aprendizado". Posições à direita dessa fronteira são excluídas do cálculo da perda.
Estratégia de Treinamento: Isso incentiva o modelo a construir prefixos estruturais confiáveis de baixa entropia antes de se estender para continuações mais longas.

C. Comprometimento Progressivo de Prefixos (PPC)

Durante a inferência, o PA-BDM utiliza o PPC para gerenciar dinamicamente a geração e o cache.

Processo:
1. O modelo prevê um intervalo candidato de tamanho $D$ (por exemplo, 32 tokens).
2. O PPC escaneia as previsões da esquerda para a direita e identifica o prefixo contíguo mais longo onde todos os tokens excedem o limiar de confiança $\tau$ .
3. Esse prefixo confiável é comprometido ao cache KV imediatamente.
4. O sufixo não resolvido é descartado, e o próximo intervalo candidato é redefinido começando a partir do prefixo recém-comprometido.
Benefício: Isso restaura um grande espaço de decodificação paralelo a cada etapa (evitando o espaço encolhido dos BDMs padrão) e permite a reutilização oportuna do cache KV, melhorando significativamente a taxa de transferência.

3. Contribuições Principais

Identificação de Limitações: O artigo aponta o comprometimento fixo em nível de bloco e o fluxo de informação inconsistente intra/inter-bloco como os principais gargalos para BDMs no reconhecimento de documentos sensíveis à estrutura.
Framework PA-BDM: Um framework inovador que trata o tamanho do bloco como um intervalo máximo de candidato, em vez de uma unidade de compromisso fixa, utilizando modelagem causal intra-bloco para permitir geração adaptativa.
Mecanismo PPC: Uma estratégia de decodificação que compromete dinamicamente prefixos confiáveis, permitindo reutilização imediata do cache KV e redefinindo o intervalo candidato para recuperar o paralelismo.
Objetivo CSL: Uma função de perda de treinamento que adapta a supervisão com base na confiança do prefixo, reduzindo gradientes ruidosos de estados de prefixo instáveis.

4. Resultados Experimentais

Os autores avaliaram o PA-BDM (3B parâmetros) contra várias bases de comparação, incluindo DiffusionVL, MinerU-Diffusion e modelos autoregressivos (por exemplo, Qwen2.5-VL, Dolphinv2) em benchmarks de reconhecimento de texto, fórmulas, tabelas e diagramas.

Precisão: O PA-BDM alcança o melhor desempenho entre modelos baseados em difusão na maioria dos benchmarks. Ele mostra ganhos particularmente fortes no reconhecimento de fórmulas complexas (por exemplo, subconjuntos CPE e HWE), superando o DiffusionVL e o MinerU-Diffusion.
Eficiência: O PA-BDM melhora a taxa de transferência de inferência em 71,6% em relação à base de comparação MinerU-Diffusion de 2,5B (267,2 tokens/segundo vs. 155,7 tokens/segundo). Ele alcança aproximadamente 8× maior taxa de transferência do que os reconhecedores ARM comparados.
Memória: Apesar dos ganhos de eficiência, o PA-BDM mantém o pico de memória GPU comparável a outros modelos na escala de 3B.
Estudos de Ablação:
- Causal vs. Bidirecional: A modelagem causal intra-bloco supera a modelagem bidirecional em tarefas estruturadas (fórmulas, tabelas), sugerindo que o contexto bidirecional pode levar à invalidade estrutural.
- CSL: Modelos treinados com CSL mostram maior precisão e taxa de transferência do que aqueles com Entropia Cruzada padrão ou mascaramento aleatório, indicando que o CSL aprende com sucesso prefixos confiáveis mais longos.
- PPC: O comprometimento adaptativo supera significativamente estratégias de comprometimento de comprimento fixo, equilibrando efetivamente precisão e paralelismo.

5. Significado e Alegações

O artigo afirma que o PA-BDM oferece uma troca velocidade–precisão superior para análise de documentos em comparação com as bases de comparação existentes baseadas em difusão. Ao tratar blocos como intervalos candidatos e comprometer prefixos confiáveis, o PA-BDM resolve a tensão entre a eficiência da geração paralela e os requisitos estruturais estritos do reconhecimento de documentos.

Os autores enfatizam que sua abordagem é particularmente eficaz para tarefas sensíveis à estrutura (LaTeX, HTML, Mermaid), onde a ordem dos tokens e os limites estruturais são críticos. Eles observam que, embora o método melhore significativamente a eficiência, a avaliação atual é conduzida principalmente em conjuntos de dados de código aberto centrados em inglês. A generalização para cenários multilíngues mais complexos (por exemplo, fórmulas em chinês, layouts mistos) permanece uma área para estudo futuro, pois esses cenários envolvem conjuntos de caracteres mais ricos e dependências estruturais mais complexas que podem desafiar a modelagem de prefixos confiáveis.

O trabalho sugere que a modelagem de prefixos confiáveis é uma direção eficaz para melhorar a eficiência do reconhecimento de documentos baseado em difusão, indo além das restrições de blocos fixos para uma geração adaptativa e impulsionada por confiança.