🤖 machine learning

BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

O BARD é um framework eficiente que converte modelos de linguagem e visão autoregressivos em modelos de difusão de alta velocidade, utilizando fusão progressiva de blocos e destilação em estágios para superar a degradação de qualidade e alcançar um aumento de até 3 vezes na velocidade de inferência, estabelecendo novos patamares de desempenho em modelos de difusão abertos.

Autores originais: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio da lâmpada (um modelo de Inteligência Artificial) que é incrivelmente inteligente, capaz de entender imagens, ler documentos e responder a perguntas complexas. No entanto, há um problema: esse gênio é muito metódico. Ele escreve suas respostas palavra por palavra, como se estivesse escrevendo uma carta à mão, esperando a tinta secar antes de escrever a próxima letra. Isso é lento e ineficiente, especialmente para respostas longas.

Por outro lado, existe uma nova técnica chamada difusão (como um pintor que começa com um quadro borrado e vai refinando a imagem até ficar perfeita). Essa técnica permite que a IA pinte várias partes da resposta ao mesmo tempo, o que seria muito mais rápido. O problema é que, quando tentamos transformar esse gênio metódico em um pintor rápido, ele perde muita da sua inteligência e começa a fazer besteiras.

O papel que você leu apresenta o BARD, uma "ponte" mágica que resolve esse dilema. Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: O Salto Perigoso

Tentar transformar o gênio metódico (modelo autoregressivo) em um pintor rápido (modelo de difusão) de uma só vez é como tentar ensinar alguém a andar de bicicleta sem rodas, pulando direto para uma bicicleta de corrida. A pessoa cai e se machuca (o modelo perde qualidade).

2. A Solução do BARD: A Escada de Aprendizado

O BARD não faz o pulo. Ele constrói uma escada suave.

Passo 1: O "Anzol" Pequeno (Block Merging Progressivo)
Em vez de pedir para o gênio escrever 32 palavras de uma vez, o BARD começa pedindo para ele escrever apenas 4 palavras de uma vez. Depois, ele aumenta para 8, depois 16, e finalmente 32.
- Analogia: É como treinar um atleta. Você não pede para ele correr uma maratona no primeiro dia. Você começa com 100 metros, depois 400, depois 1km. O corpo (o modelo) se adapta gradualmente ao ritmo mais rápido sem se lesionar.
Passo 2: O Professor Fixo (Distilação em Etapas)
À medida que o aluno tenta escrever blocos maiores (mais palavras de uma vez), ele começa a cometer erros e perder a qualidade. Para consertar isso, o BARD usa um professor fixo.
- Analogia: Imagine que o "gênio original" (que escrevia palavra por palavra) é o professor. Mas ele não pode ensinar o aluno a pintar de uma vez só, porque ele não sabe fazer isso. Então, o BARD cria um "mini-gênio" que já sabe pintar blocos pequenos (4 palavras) e o usa como professor para ensinar o aluno a pintar blocos maiores.
- O segredo é que o professor e o aluno estão "falando a mesma língua" (ambos usam o método de difusão). Se você tentar ensinar um pintor usando as regras de quem escreve à mão, a comunicação falha. O BARD garante que o professor e o aluno estejam no mesmo "universo" de aprendizado.
Passo 3: O Treino de "Revisão" (Ruído Misto)
Durante o treino, o BARD não apenas esconde palavras para o aluno adivinhar (como um jogo de "complete a frase"). Ele também espalha erros visíveis propositalmente.
- Analogia: Imagine que você está aprendendo a editar um texto. O professor não apenas deixa espaços em branco para você preencher; ele também coloca algumas palavras erradas no texto e pede: "Corrija isso!". Isso ensina o modelo a ser flexível e a consertar seus próprios erros, em vez de apenas criar algo do zero.

3. O Resultado: O Melhor dos Dois Mundos

Com essa técnica, o BARD consegue:

Manter a Inteligência: O modelo final é tão inteligente quanto o gênio original (e até melhor em algumas tarefas).
Ganhar Velocidade: Como ele agora pode escrever blocos de palavras de uma vez, ele é 3 vezes mais rápido do que o modelo original.
Economizar Memória: Eles criaram um jeito inteligente de "empacotar" os dados de treino (como colocar várias roupas em uma mala compacta em vez de deixar cada uma solta), o que permite treinar modelos gigantes sem precisar de computadores absurdamente caros.

Resumo Final

O BARD é como um guia turístico experiente que leva um turista (o modelo de IA) de uma caminhada lenta e segura até uma corrida de alta velocidade. Em vez de empurrar o turista para a pista de corrida e esperar que ele corra, o guia o faz caminhar, depois trotar, depois correr, sempre com um instrutor ao lado que garante que ele não perca o fôlego nem a direção.

O resultado? Temos modelos de IA que entendem o mundo visual e textual tão bem quanto os melhores de hoje, mas que respondem muito mais rápido, abrindo portas para aplicações em tempo real que antes eram impossíveis.

Título: BARD: Conectando Modelos de Linguagem-Vision Autoregressivos e de Difusão via Fusão Progressiva de Blocos Altamente Eficiente e Destilação Etapa a Etapa

1. O Problema

Os Modelos de Linguagem-Vision (VLMs) autoregressivos (AR) são o estado da arte para compreensão multimodal, oferecendo capacidades robustas em raciocínio visual e geração de texto. No entanto, eles sofrem de um gargalo fundamental de inferência: a decodificação token a token é inerentemente sequencial, limitando a velocidade de geração.

As VLMs baseadas em difusão (dVLMs) oferecem uma alternativa promissora ao permitir a decodificação paralela (atualizando blocos de tokens simultaneamente). Contudo, converter diretamente um VLM autoregressivo pré-treinado em uma dVLM de grandes blocos geralmente resulta em uma degradação substancial de qualidade. As abordagens atuais falham em manter a capacidade multimodal ao aumentar o paralelismo, criando uma lacuna de desempenho significativa entre os modelos AR e os modelos de difusão.

2. Metodologia: O Framework BARD

O BARD propõe um framework simples e eficaz para converter um VLM autoregressivo pré-treinado em uma dVLM de mesma arquitetura, mas com decodificação eficiente. A abordagem evita a transição abrupta e utiliza três componentes principais:

Fusão Progressiva de Blocos Supervisionada (Progressive Supervised Block Merging):
- Em vez de treinar diretamente um modelo de difusão com grandes blocos, o BARD começa convertendo o VLM AR em um âncora de difusão de pequeno bloco (ex: tamanho de bloco $B=4$ ).
- O tamanho do bloco de decodificação é então aumentado progressivamente (ex: 4 $\to$ 8 $\to$ 16 $\to$ 32) através de etapas de treinamento.
- Em cada etapa, o modelo funde blocos adjacentes do estágio anterior, suavizando a transição da decodificação causal para a difusão de grandes blocos.
Destilação Etapa a Etapa de dVLM (Stage-Wise dVLM Distillation):
- Um problema crítico identificado é que a destilação direta de um modelo AR para um modelo de difusão é mal alinhada (o AR prevê o próximo token em estados limpos, enquanto a difusão remove ruído em estados corrompidos).
- Para resolver isso, o BARD utiliza o modelo âncora de pequeno bloco (fixo) como "professor" para destilar conhecimento para os modelos de blocos maiores (alunos) em cada etapa.
- Isso garante que o aluno aprenda a decodificar em grandes blocos mantendo a estabilidade e a capacidade do modelo de difusão já validado, em vez de tentar aprender diretamente do modelo AR original.
Agendador de Ruído Misto (Mixed Noise Scheduler) e Treinamento Amigável à Memória:
- Ruído Misto: O objetivo de treinamento não usa apenas mascaramento (padrão em difusão discreta), mas também introduz corrupção visível em tokens já visíveis. Isso treina o modelo a corrigir erros visíveis iterativamente, melhorando a capacidade de revisão.
- Layout de Empacotamento (Packed Layout): Para lidar com o alto custo de memória de sequências multimodais longas, o BARD empilha o contexto multimodal, a resposta limpa e a resposta corrompida em uma única sequência, evitando a duplicação do contexto visual e reduzindo drasticamente o uso de memória.

3. Contribuições Principais

Ponte Estável AR $\to$ Difusão: Demonstra que é possível converter VLMs AR de ponta em dVLMs sem perda de desempenho, superando a lacuna de qualidade existente.
Descoberta Empírica Chave: Revela que a destilação direta AR-para-Difusão é prejudicial devido ao desalinhamento de objetivos, enquanto a destilação dentro do regime de difusão (usando um âncora de difusão como professor) é consistentemente eficaz.
Eficiência e Escalabilidade: O método permite treinar modelos de difusão de grandes blocos com menos de 4,4 milhões de amostras de dados, sendo altamente eficiente em termos de dados e computação.
Arquitetura Unificada: Mantém a mesma arquitetura do modelo base, facilitando a adoção e a integração com ecossistemas existentes.

4. Resultados Experimentais

Os autores treinaram a família de modelos BARD-VL em escalas de 2B, 4B e 8B parâmetros, utilizando o Qwen3-VL como base.

Desempenho Geral:
- O BARD-VL estabeleceu um novo SOTA (State-of-the-Art) entre dVLMs abertos de escala comparável.
- Na escala de 4B, superou o Qwen3-VL-4B em 5 de 7 benchmarks (incluindo ganhos de +5.1 no MMMUval e +8 no MMEsum).
- Na escala de 8B, superou o Qwen3-VL-8B em 6 de 7 benchmarks.
- Superou consistentemente outros dVLMs existentes (como LLaDA-V, Dream-VL, Dimple-VL) em todos os benchmarks avaliados.
Eficiência de Decodificação:
- O BARD-VL alcançou um aceleração de throughput de até 3x em comparação com o modelo autoregressivo original.
- Em tarefas de extração de informações de documentos, o modelo BARD-VL atingiu previsões estruturadas em apenas 6 passos de refinamento de difusão, contra 35 passos de decodificação autoregressiva.
Análises de Ablação:
- Fusão de Blocos: O treinamento "warm-start" progressivo foi essencial; a adaptação direta para grandes blocos causou degradação severa.
- Destilação: A destilação do âncora de difusão foi superior à destilação do modelo AR, especialmente em blocos maiores (B=32), recuperando grande parte da capacidade perdida.
- Ruído Misto: A combinação de mascaramento e corrupção visível ofereceu o melhor equilíbrio entre capacidade de raciocínio e habilidade de correção de erros.

5. Significado e Impacto

O trabalho BARD representa um avanço crucial na viabilidade prática de modelos de difusão para tarefas multimodais complexas. Ao resolver o problema de alinhamento entre modelos AR e de difusão e introduzir técnicas de treinamento estáveis (fusão progressiva e destilação interna), o BARD demonstra que a decodificação paralela não precisa sacrificar a inteligência do modelo.

Isso abre caminho para a implantação de VLMs de difusão em cenários de tempo real e aplicações que exigem alta velocidade de geração, mantendo a qualidade de raciocínio dos modelos autoregressivos modernos. O framework proposto serve como um "receita" escalável para a próxima geração de modelos multimodais eficientes.