🤖 AI

Prefix-Adaptive Block Diffusion for Efficient Document Recognition

Este artículo propone el Modelo de Difusión de Bloques Adaptativo de Prefijo (PA-BDM), que mejora el reconocimiento eficiente de documentos al reemplazar los límites de bloques fijos con un compromiso de prefijo dinámico y una eliminación de ruido causal para resolver las inconsistencias en el flujo de información, logrando así una precisión superior y un aumento del 71,6% en el rendimiento de inferencia en comparación con los modelos existentes.

Autores originales: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mingxu Chai, Ziyu Shen, Chenyu Liu, Kaidi Zhang, Jiazheng Zhang, Dingwei Zhu, Zhiheng Xi, Ruoyu Chen, Jun Long, Jihua Kang, Tao Gui, Qi Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando transcribir una fórmula matemática manuscrita compleja o una tabla densa de una imagen de documento a un formato legible por computadora.

La Vieja Forma (El Problema del "Bloque Rígido")
Piensa en los modelos de IA eficientes actuales (llamados Modelos de Difusión por Bloques) como un equipo de escribas trabajando por turnos. Dividen la página en fragmentos de tamaño fijo, digamos 32 palabras a la vez.

El Cuello de Botella: Trabajan en las 32 palabras simultáneamente (lo cual es rápido), pero no pueden guardar su progreso ni "bloquear" ninguna de esas palabras hasta que se termine todo el bloque de 32.
La Confusión: Dentro de ese bloque, los escribas pueden observar el trabajo de los demás de izquierda a derecha y de derecha a izquierda. Aunque esto parece útil, crea un desorden cuando pasan al siguiente bloque. El siguiente bloque solo sabe lo que vino antes (de izquierda a derecha), pero el bloque anterior era una mezcla desordenada de direcciones. Esta inconsistencia dificulta obtener correctamente la estructura de cosas como fórmulas matemáticas o tablas.
El Desperdicio: A medida que terminan palabras dentro de un bloque, el trabajo "paralelo" se ralentiza porque quedan menos palabras por adivinar. Es como una línea de ensamblaje de fábrica que deja de ser eficiente una vez que se ha producido la mitad de los productos.

La Nueva Solución: PA-BDM (El "Escriba Adaptativo")
Los autores proponen un nuevo método llamado Difusión por Bloques Adaptativa de Prefijo (PA-BDM). Así es como cambia el juego usando analogías simples:

1. El "Rango de Candidatos" vs. La "Caja Fija"

En lugar de tratar un bloque de 32 palabras como una caja rígida que debe llenarse completamente antes de avanzar, PA-BDM lo trata como un rango máximo de candidatos.

Analogía: Imagina que estás llenando un cubo con agua. El método antiguo dice: "Debes llenar todo el cubo antes de poder verter cualquier agua en el tanque de almacenamiento". PA-BDM dice: "Llena el cubo tanto como puedas, y tan pronto como estés seguro de que una taza de agua está limpia y segura, viértela en el tanque de almacenamiento inmediatamente".
Resultado: La IA no espera a que termine todo el bloque. Atrapa la parte "confiable" (el prefijo) y la guarda instantáneamente.

2. Flujo Causal (La "Calle de Sentido Único")

El método antiguo permitía a los escribas mirar hacia atrás y hacia adelante dentro de un bloque, lo que confundía el orden de las cosas. PA-BDM obliga a todos a mirar solo hacia adelante (de izquierda a derecha), tal como se lee un libro.

Analogía: En el sistema antiguo, un escriba en medio de una oración podía echar un vistazo al final de la oración para adivinar el medio. Esto funcionaba para conversaciones casuales pero fallaba en estructuras estrictas como ecuaciones matemáticas donde el orden importa. PA-BDM impone una regla estricta de "calle de sentido único", asegurando que la IA aprenda la secuencia correcta cada vez.

3. Compromiso Progresivo de Prefijo (PPC) – La "Verificación de Confianza"

Este es el motor del nuevo sistema. A medida que la IA adivina el siguiente lote de palabras, verifica su propia confianza.

Cómo funciona: Si la IA tiene un 99% de seguridad sobre las primeras 10 palabras de un bloque de 32 palabras, "compromete" (bloquea) esas 10 palabras inmediatamente. Luego descarta las 22 adivinanzas restantes y comienza un nuevo lote de 32 adivinanzas basado en esas 10 palabras bloqueadas.
El Beneficio: Esto reinicia el "espacio paralelo". En lugar de trabajar en una lista decreciente de 22, luego 10, luego 5 palabras, la IA puede trabajar en un conjunto nuevo y completo de 32 palabras una y otra vez. Esto mantiene la velocidad alta.

4. Pérdida Estructural con Puerta de Confianza (CSL) – El "Profesor Estricto"

Durante el entrenamiento, la IA aprende intentando corregir errores. El método antiguo obligaba a la IA a aprender de todos los errores, incluso si el comienzo de la oración ya era inestable.

La Solución: PA-BDM utiliza una "puerta de confianza". Si la IA no está segura del comienzo de una oración, el profesor (el algoritmo de entrenamiento) deja de calificar el resto de la oración. Solo califica la parte de la que la IA está segura.
Analogía: Imagina a un profesor calificando un examen de matemáticas. Si el estudiante se equivoca en el primer paso, el profesor no pierde tiempo calificando la respuesta final porque se basa en una premisa incorrecta. El profesor espera hasta que el estudiante acierte el primer paso antes de calificar el resto. Esto evita que la IA aprenda patrones "ruidosos" o malos.

Los Resultados

El artículo afirma que este nuevo enfoque, PA-BDM, es una mejora masiva:

Velocidad: Es un 71,6 % más rápido que el mejor modelo de difusión anterior (MinerU-Diffusion) y aproximadamente 8 veces más rápido que los modelos autoregresivos estándar (que escriben una palabra a la vez).
Precisión: Es más preciso al reconocer estructuras complejas como fórmulas matemáticas, tablas y diagramas porque respeta el orden estricto de los tokens.
Eficiencia: Utiliza la memoria tan eficientemente como los modelos anteriores, pero realiza mucho más trabajo en la misma cantidad de tiempo.

En resumen, PA-BDM evita que la IA espere "bloques perfectos" y, en su lugar, le permite bloquear un progreso "suficientemente bueno" inmediatamente, manteniendo la línea de ensamblaje moviéndose a máxima velocidad sin perder precisión.

Resumen Técnico: Difusión de Bloques Adaptativa al Prefijo para Reconocimiento Eficiente de Documentos

1. Declaración del Problema

El análisis de documentos requiere convertir imágenes de documentos en formatos legibles por máquina (por ejemplo, LaTeX, HTML, Markdown). Aunque los Modelos Autoregresivos (ARM) han logrado avances sustanciales, su paradigma estricto de generación token a token limita la eficiencia de la inferencia. Para abordar esto, investigaciones recientes han explorado paradigmas de generación paralela, específicamente Modelos de Difusión de Bloques (BDM). Los BDM generan bloques de forma autoregresiva mientras desruidan los tokens dentro de cada bloque en paralelo, ofreciendo salida de longitud flexible y caché KV.

Sin embargo, los autores identifican dos limitaciones críticas en los BDM estándar al aplicarlos al reconocimiento de documentos sensible a la estructura:

Compromiso Fijo a Nivel de Bloque: Los BDM estándar vinculan el desruido y el compromiso de la caché KV a límites de bloques fijos. Los tokens no pueden almacenarse en caché hasta que se completa todo el bloque, lo que impide la reutilización de predicciones intermedias fiables. Además, a medida que avanza el desruido intra-bloque, el número de tokens enmascarados restantes disminuye, provocando que el espacio de decodificación paralelo efectivo se reduzca.
Flujo de Información Inconsistente: Los BDM estándar emplean desruido bidireccional dentro de un bloque, pero mantienen la autoregresión de izquierda a derecha entre bloques. Esto crea un flujo de información inconsistente. Para tareas que requieren una reconstrucción precisa de secuencias de tokens discretas (como fórmulas y tablas), este contexto bidireccional puede entrar en conflicto con los límites estructurales estrictos y el orden de los tokens requeridos, lo que conduce a errores de generación estructural.

2. Metodología: Modelo de Difusión de Bloques Adaptativo al Prefijo (PA-BDM)

Los autores proponen PA-BDM, un marco que redefine el papel del "bloque" de una unidad de generación fija a un rango máximo de generación de candidatos. Los componentes principales son:

A. Desruido Intra-bloque Causal

A diferencia de los BDM estándar que utilizan atención bidireccional dentro de un bloque, PA-BDM emplea desruido causal (de prefijo a sufijo) dentro de cada bloque candidato.

Mecanismo: Los tokens dentro de un bloque atienden únicamente a los bloques anteriores y a su contexto izquierdo dentro del bloque actual.
Beneficio: Esto alinea el flujo de información intra-bloque con la autoregresión inter-bloque, asegurando que los prefijos fiables generados dentro de un bloque sean válidos para la reutilización de la caché KV.

B. Pérdida Estructural con Puerta de Confianza (CSL)

Para apoyar el desruido causal durante el entrenamiento, PA-BDM introduce CSL para gestionar el ruido de supervisión.

Problema: En el desruido causal, los tokens enmascarados posteriores dependen de los tokens anteriores. Si los tokens tempranos son inciertos (alta entropía), supervisar todo el sufijo introduce gradientes ruidosos.
Solución: CSL calcula la confianza de los tokens predichos. Identifica la primera posición en el sufijo enmascarado donde la confianza cae por debajo de un umbral $\tau$ . La supervisión se aplica solo hasta esta "frontera de aprendizaje". Las posiciones a la derecha de esta frontera se excluyen del cálculo de la pérdida.
Estrategia de Entrenamiento: Esto incentiva al modelo a construir prefijos estructurales fiables y de baja entropía antes de extenderse a continuaciones más largas.

C. Compromiso Progresivo de Prefijos (PPC)

Durante la inferencia, PA-BDM utiliza PPC para gestionar dinámicamente la generación y el almacenamiento en caché.

Proceso:
1. El modelo predice un rango candidato de tamaño $D$ (por ejemplo, 32 tokens).
2. PPC escanea las predicciones de izquierda a derecha e identifica el prefijo contiguo más largo donde todos los tokens superan el umbral de confianza $\tau$ .
3. Este prefijo fiable se compromete con la caché KV inmediatamente.
4. El sufijo no resuelto se descarta y el siguiente rango candidato se reinicia comenzando desde el prefijo recién comprometido.
Beneficio: Esto restaura un gran espacio de decodificación paralelo en cada paso (evitando el espacio decreciente de los BDM estándar) y permite una reutilización oportuna de la caché KV, mejorando significativamente el rendimiento.

3. Contribuciones Clave

Identificación de Limitaciones: El artículo señala el compromiso fijo a nivel de bloque y el flujo de información inconsistente intra/inter-bloque como los principales cuellos de botella para los BDM en el reconocimiento de documentos sensible a la estructura.
Marco PA-BDM: Un marco novedoso que trata el tamaño del bloque como un rango máximo de candidatos en lugar de una unidad de compromiso fija, utilizando modelado causal intra-bloque para permitir una generación adaptativa.
Mecanismo PPC: Una estrategia de decodificación que compromete dinámicamente prefijos fiables, permitiendo la reutilización inmediata de la caché KV y reiniciando el rango candidato para recuperar el paralelismo.
Objetivo CSL: Una pérdida de entrenamiento que adapta la supervisión según la confianza del prefijo, reduciendo los gradientes ruidosos derivados de estados de prefijo inestables.

4. Resultados Experimentales

Los autores evaluaron PA-BDM (3 mil millones de parámetros) frente a varias líneas base, incluyendo DiffusionVL, MinerU-Diffusion y modelos autoregresivos (por ejemplo, Qwen2.5-VL, Dolphinv2) en benchmarks de reconocimiento de texto, fórmulas, tablas y diagramas.

Precisión: PA-BDM logra el mejor rendimiento entre los modelos basados en difusión en la mayoría de los benchmarks. Muestra ganancias particularmente fuertes en el reconocimiento de fórmulas complejas (por ejemplo, subconjuntos CPE y HWE), superando a DiffusionVL y MinerU-Diffusion.
Eficiencia: PA-BDM mejora el rendimiento de inferencia en un 71.6% sobre la línea base MinerU-Diffusion de 2.5 mil millones (267.2 tokens/segundo frente a 155.7 tokens/segundo). Logra aproximadamente 8 veces más rendimiento que los reconocedores ARM comparados.
Memoria: A pesar de las ganancias de eficiencia, PA-BDM mantiene un pico de memoria de GPU comparable al de otros modelos de escala de 3 mil millones.
Estudios de Ablación:
- Causal vs. Bidireccional: El modelado causal intra-bloque supera al modelado bidireccional en tareas estructuradas (fórmulas, tablas), lo que sugiere que el contexto bidireccional puede conducir a invalidez estructural.
- CSL: Los modelos entrenados con CSL muestran mayor precisión y rendimiento que aquellos con Entropía Cruzada estándar o enmascaramiento aleatorio, indicando que CSL aprende con éxito prefijos fiables más largos.
- PPC: El compromiso adaptativo supera significativamente a las estrategias de compromiso de longitud fija, equilibrando eficazmente la precisión y el paralelismo.

5. Significado y Afirmaciones

El artículo afirma que PA-BDM ofrece una compensación velocidad–precisión superior para el análisis de documentos en comparación con las líneas base existentes basadas en difusión. Al tratar los bloques como rangos candidatos y comprometer prefijos fiables, PA-BDM resuelve la tensión entre la eficiencia de la generación paralela y los requisitos estructurales estrictos del reconocimiento de documentos.

Los autores enfatizan que su enfoque es particularmente efectivo para tareas sensibles a la estructura (LaTeX, HTML, Mermaid) donde el orden de los tokens y los límites estructurales son críticos. Señalan que, aunque el método mejora significativamente la eficiencia, la evaluación actual se realiza principalmente en conjuntos de datos centrados en inglés y de código abierto. La generalización a escenarios multilingües más complejos (por ejemplo, fórmulas en chino, diseños mixtos) sigue siendo un área para estudios futuros, ya que estos escenarios involucran conjuntos de caracteres más ricos y dependencias estructurales más complejas que pueden desafiar el modelado de prefijos fiables.

El trabajo sugiere que el modelado de prefijos fiables es una dirección efectiva para mejorar la eficiencia del reconocimiento de documentos basado en difusión, avanzando más allá de las restricciones de bloques fijos hacia una generación adaptativa y guiada por la confianza.