🤖 machine learning

BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

El artículo presenta BARD, un marco eficiente que transforma modelos de visión y lenguaje autoregresivos en modelos difusivos de gran bloque mediante fusión progresiva de bloques y destilación por etapas, logrando un rendimiento superior y una aceleración de hasta 3 veces en la velocidad de inferencia.

Autores originales: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Publicado 2026-04-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como la historia de cómo convertir un camión de mudanzas muy lento pero muy inteligente en un coche de carreras volador, sin perder su capacidad de cargar cosas pesadas.

Aquí tienes la explicación de BARD (el nombre del proyecto) en español, usando analogías sencillas:

1. El Problema: El "Camión" vs. El "Coche"

Los modelos actuales (Autoregresivos): Imagina un modelo de Inteligencia Artificial (como Qwen3-VL) como un camión de mudanzas. Es muy inteligente y entiende todo lo que ves (imágenes, documentos, gráficos), pero tiene un defecto: es muy lento para hablar.
- ¿Por qué? Porque escribe una palabra, luego espera, escribe la siguiente, espera, y así sucesivamente. Es como si alguien te dijera una frase palabra por palabra, esperando a que digas "siguiente" antes de continuar. Si quieres escribir un libro entero, tardará horas.
Los modelos de Difusión (Diffusion): Son como coches de carreras. Pueden escribir muchas palabras al mismo tiempo (en paralelo). Son súper rápidos. Pero, hasta ahora, estos coches eran como "chicos nuevos": corrían rápido, pero se perdían en las curvas (no entendían bien las imágenes o el razonamiento complejo) y a veces escribían tonterías.

El gran desafío: ¿Cómo convertimos al camión lento (pero inteligente) en un coche rápido (y también inteligente) sin que el coche se rompa o pierda su inteligencia?

2. La Solución: BARD (El Puente Mágico)

Los autores crearon un método llamado BARD para hacer esta transformación. En lugar de intentar cambiar el camión a un coche de golpe (lo cual sería un choque terrible), usan un proceso de dos pasos muy inteligente:

Paso A: El "Entrenamiento Progresivo" (Subir escalones)

Imagina que quieres enseñarle a un niño a saltar una valla alta.

El error común: Le pones una valla de 3 metros de golpe. El niño se asusta, tropieza y aprende mal.
La solución de BARD (Fusión de Bloques Progresiva):
1. Primero, le pones una valla de 40 cm. El niño salta fácil.
2. Luego, subes la valla a 80 cm. Como ya sabe saltar, lo hace bien.
3. Luego a 1.60 m, y finalmente a 3 metros.
- En la IA: En lugar de pedirle al modelo que escriba 32 palabras a la vez de golpe, primero le piden que escriba 4, luego 8, luego 16, y finalmente 32. Esto le permite "acostumbrarse" a ser rápido sin perder su inteligencia.

Paso B: El "Mentor Fijo" (Distilación por Etapas)

Aquí viene la parte más genial.

Cuando el modelo empieza a saltar vallas altas (escribir muchas palabras a la vez), tiende a cometer errores y olvidar cosas.
El truco: En lugar de pedirle al modelo original (el camión lento) que le enseñe al modelo nuevo (el coche rápido), usan al modelo pequeño y rápido (el que saltó la valla de 40 cm) como profesor.
¿Por qué? Porque el profesor (el modelo pequeño) ya sabe cómo pensar como un coche rápido. Si le pides al camión lento que enseñe al coche rápido, el camión le dice: "Escribe la palabra A, espera, luego la B...". ¡Eso no sirve! El coche necesita un profesor que ya sepa escribir en bloque.
Así, el modelo pequeño y rápido le enseña al modelo grande y rápido cómo mantenerse inteligente mientras va a toda velocidad.

3. El "Ruido Mixto" (Corregir errores sobre la marcha)

Imagina que estás escribiendo un texto y te equivocas.

Los modelos viejos solo podían "borrar" lo que no se veía (como tachar con un borrador).
BARD usa un "ruido mixto". Es como si el modelo pudiera ver sus propios errores escritos en rojo y decir: "¡Espera, esa palabra está mal, la voy a cambiar por otra mejor!".
Esto hace que el modelo sea capaz de revisar y corregir su propio trabajo mientras lo crea, no solo adivinar la siguiente palabra.

4. El Resultado: ¡El Coche Volador!

Al final de este proceso, obtienen BARD-VL:

Velocidad: Es 3 veces más rápido que el modelo original. Puede generar respuestas largas en una fracción del tiempo.
Inteligencia: No ha perdido su capacidad. De hecho, en muchos tests de razonamiento, comprensión de documentos y preguntas visuales, es incluso mejor que el modelo original.
Eficiencia: Logran esto usando muy pocos datos de entrenamiento (menos de 4.4 millones de ejemplos, lo cual es poco para el mundo de la IA).

En Resumen

BARD es como un taller de transformación que toma un genio lento (el modelo autoregresivo) y lo convierte en un atleta rápido (el modelo de difusión) sin que pierda su cerebro. Lo hace enseñándole a correr poco a poco (escalones) y dándole un entrenador que ya sabe correr rápido (el mentor pequeño), logrando así la mejor combinación de velocidad e inteligencia que hemos visto hasta ahora en modelos de visión y lenguaje.

¡Es un gran paso para que las IAs puedan "hablar" y "pensar" tan rápido como nosotros!

Resumen Técnico: BARD (Bridging AutoRegressive and Diffusion Vision-Language Models)

1. El Problema

Los Modelos de Lenguaje y Visión Autoregresivos (VLMs) actuales dominan la comprensión multimodal, pero sufren de un cuello de botella fundamental en la inferencia: su decodificación token a token es inherentemente secuencial, lo que limita la velocidad de generación.
Por otro lado, los Modelos de Difusión para VLMs (dVLMs) ofrecen un paradigma de decodificación paralelo, capaz de actualizar múltiples tokens simultáneamente, lo que promete una mayor eficiencia. Sin embargo, existe una brecha de rendimiento significativa:

Convertir directamente un VLM autoregresivo preentrenado en un dVLM de bloques grandes suele provocar una degradación sustancial en la calidad.
Los métodos existentes de adaptación (entrenamiento desde cero o fine-tuning directo) no logran igualar las capacidades multimodales de sus contrapartes autoregresivas, especialmente en tareas complejas de razonamiento.
Existe una desalineación fundamental entre la predicción del siguiente token (autoregresiva) y la eliminación de ruido en la misma posición (difusión), lo que hace que la destilación directa sea ineficaz.

2. Metodología: El Marco BARD

El trabajo propone BARD, un marco de puente simple pero efectivo para convertir un VLM autoregresivo preentrenado en un dVLM de la misma arquitectura pero con decodificación eficiente. La metodología se basa en tres componentes clave:

A. Fusión de Bloques Supervisada Progresiva (Progressive Supervised Block Merging)
En lugar de saltar abruptamente de la decodificación causal a un modelo de difusión de bloques grandes, BARD aumenta el tamaño del bloque de decodificación gradualmente:

Anclaje: Primero, se convierte el modelo autoregresivo en un modelo de difusión de bloques pequeños (ej. tamaño 4), que actúa como un "ancla" estable.
Escalado Progresivo: A partir de ahí, el tamaño del bloque se duplica progresivamente (4 $\to$ 8 $\to$ 16 $\to$ 32) fusionando bloques adyacentes. Esto suaviza la transición y permite que el modelo adapte sus patrones de razonamiento sin perder capacidad.

B. Destilación de dVLM por Etapas (Stage-Wise dVLM Distillation)
Para recuperar la pérdida de rendimiento que ocurre inevitablemente al aumentar el tamaño del bloque, se introduce un proceso de destilación:

El Maestro (Teacher): Se utiliza un modelo de difusión de bloques pequeños fijo (el ancla inicial) como maestro, en lugar del modelo autoregresivo original o el modelo de bloques grandes anterior.
Razón de Diseño: La destilación directa de autoregresivo a difusión falla porque los objetivos de entrenamiento no están alineados (predicción del siguiente token vs. desruido en la misma posición bajo ruido). El ancla de difusión pequeña ya opera en el régimen de difusión, proporcionando una señal de enseñanza compatible y estable para los modelos de bloques más grandes.
Proceso: En cada etapa, el modelo estudiante (bloques más grandes) se destila desde el ancla fija para preservar las capacidades de razonamiento multimodal.

C. Programador de Ruido Mixto (Mixed Noise Scheduler) y Entrenamiento Amigable con la Memoria

Ruido Mixto: A diferencia de la difusión estándar que solo enmascara tokens, BARD introduce corrupción visible (tokens visibles pero incorrectos) además del enmascaramiento. Esto entrena al modelo para corregir errores visibles iterativamente, mejorando la capacidad de revisión durante la inferencia.
Empaquetado (Packed Training): Para manejar la alta carga de memoria en secuencias multimodales largas, se utiliza un diseño de secuencia empaquetada [Contexto Q, Respuesta Limpia x1, Respuesta Ruidosa xt]. Esto evita la duplicación del contexto visual, reduciendo significativamente el costo de memoria y permitiendo el entrenamiento en secuencias largas.

3. Contribuciones Clave

Marco de Puente BARD: Una receta escalable para convertir VLMs autoregresivos de vanguardia en dVLMs de bloques grandes con pérdida mínima de rendimiento.
Descubrimiento Empírico: Demostración de que la destilación directa de autoregresivo a difusión está mal alineada y perjudica el rendimiento, mientras que la destilación dentro del régimen de difusión (usando un ancla de difusión pequeña) es consistentemente efectiva.
Mecanismos de Estabilidad: La combinación de fusión de bloques progresiva y destilación por etapas permite escalar el paralelismo de decodificación sin colapsar la capacidad de razonamiento.
Eficiencia de Datos: El método logra transferir capacidades fuertes utilizando menos de 4.4 millones de muestras de datos de adaptación, demostrando alta eficiencia.

4. Resultados Experimentales

Los experimentos se realizaron en modelos de 2B, 4B y 8B parámetros, convertidos desde Qwen3-VL.

Rendimiento (Calidad):
- BARD-VL establece un nuevo estado del arte (SOTA) entre los dVLMs abiertos de escala comparable.
- En la escala de 4B, supera a Qwen3-VL en 5 de 7 benchmarks (incluyendo MMMU, MME, MMStar).
- En la escala de 8B, supera a Qwen3-VL en 6 de 7 benchmarks.
- Supera consistentemente a otros dVLMs existentes (como LLaDA-V, Dream-VL, Dimple) en todas las métricas evaluadas.
Eficiencia (Velocidad):
- BARD-VL logra una aceleración en el rendimiento de decodificación de hasta 3x en comparación con el modelo fuente autoregresivo.
- Mantiene una mejor relación precisión-rendimiento (accuracy-throughput trade-off) en benchmarks como OCRBench.
Análisis de Ablación:
- La fusión progresiva es crucial: la adaptación directa a bloques grandes degrada el rendimiento, mientras que el inicio en caliente (warm-start) progresivo recupera gran parte de la capacidad.
- La destilación de difusión es superior a la destilación autoregresiva, especialmente a tamaños de bloque grandes (ej. B=32).
- El programador de ruido mixto ofrece el mejor equilibrio entre la capacidad de razonamiento (típica del enmascaramiento) y la capacidad de corrección de errores (típica de la corrupción visible).

5. Significado e Impacto

El trabajo BARD es significativo porque cierra la brecha de rendimiento entre los modelos de difusión y los autoregresivos en el dominio multimodal.

Viabilidad Práctica: Demuestra que es posible obtener la eficiencia de la inferencia paralela de los modelos de difusión sin sacrificar la sofisticada capacidad de razonamiento de los modelos autoregresivos modernos.
Nueva Ruta de Entrenamiento: Proporciona una ruta estable y escalable para la adaptación de modelos, transformando la conversión de un paso inestable en un proceso de post-entrenamiento robusto.
Futuro: Abre la puerta a la generación multimodal más rápida y eficiente, permitiendo aplicaciones en tiempo real que requieren tanto comprensión profunda como velocidad de respuesta.

En resumen, BARD demuestra que con las técnicas correctas (anclaje progresivo, destilación intra-régimen y ruido mixto), los modelos de difusión pueden igualar e incluso superar a sus contrapartes autoregresivas en comprensión visual y lingüística, al tiempo que ofrecen una ventaja decisiva en velocidad de inferencia.