💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

A LaViDa introduz uma nova família de Modelos de Visão-Linguagem construídos sobre mecanismos de difusão discreta que aproveitam a decodificação paralela e o contexto bidirecional para alcançar um desempenho competitivo, inferência mais rápida e maior controlabilidade em comparação com modelos autorregressivos tradicionais.

Autores originais: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores podem "ver" e "falar" ao mesmo tempo. Este é o reino dos Modelos de Visão-Linguagem (VLMs), os assistentes de IA superinteligentes que podem olhar para uma foto de um pôr do sol e escrever um poema sobre ele, ou examinar um gráfico complexo e explicar as tendências. Durante anos, a forma padrão como esses modelos pensam é como um aluno fazendo uma prova: eles respondem uma palavra de cada vez, estritamente da esquerda para a direita. Eles escrevem "O", depois "céu", depois "está", nunca olhando para trás para mudar uma palavra anterior. Embora isso funcione bem, é lento porque eles não podem escrever em paralelo, e é rígido; se eles errarem a primeira palavra de uma frase, não podem facilmente voltar e corrigi-la sem começar do zero.

Mas e se houvesse uma maneira diferente? Imagine que, em vez de escrever uma frase palavra por palavra, você começasse com uma página em branco cheia de pontos de interrogação e fosse preenchendo-os lentamente, decidindo quais palavras vão onde, tudo de uma vez, refinando constantemente suas escolhas até que a imagem esteja clara. Esta é a ideia por trás dos "modelos de difusão". Originalmente famosos por criar imagens deslumbrantes a partir de ruído, pesquisadores recentemente tentaram usar essa abordagem de "preencher as lacunas" para o texto. A grande questão é: Podemos combinar essa forma flexível e paralela de pensar com a capacidade de ver imagens? Se pudéssemos, poderíamos ter uma IA que não é apenas mais inteligente ao seguir regras estritas (como escrever um poema onde cada linha começa com uma letra específica), mas também muito mais rápida porque não precisa esperar uma palavra terminar antes de começar a próxima.

Apresentamos o LaViDa (Large Vision-Language Diffusion Model), uma nova família de modelos de IA introduzida por pesquisadores da UCLA, Panasonic, Adobe e Salesforce. Pense no LaViDa como o primeiro "artista multitarefa" que usa o método de difusão para entender imagens e escrever sobre elas. Em vez de escrever uma história uma palavra por vez como um robô tradicional, o LaViDa começa com uma tela em branco de "máscaras" (espaços reservados) e revela gradualmente a resposta, preenchendo as lacunas de uma forma que o permite olhar para a estrutura de toda a frase de uma só vez.

Os pesquisadores descobriram que essa abordagem possui algumas superpotências. Como o LaViDa pode olhar para a estrutura de toda a frase antes de finalizá-la, ele é incrivelmente bom em tarefas que exigem regras estritas, como completar um poema onde cada linha deve começar com uma letra específica. Em testes, ele esmagou a concorrência nessas tarefas "restritas", melhorando o desempenho em 59% em comparação com os melhores modelos padrão. Ele também oferece um "dial de velocidade" único para os usuários: você pode dizer a ele para ser super rápido preenchendo menos lacunas por vez, ou super alta qualidade levando mais etapas para refinar a resposta. Na legenda de imagens, ele conseguiu ser quase 2 vezes mais rápido que seus rivais enquanto escrevia descrições melhores (pontuando +4,1 pontos a mais em uma métrica de qualidade chamada CIDEr).

No entanto, o artigo também observa que este novo método não é uma varinha mágica que resolve tudo instantaneamente. Os pesquisadores tiveram que inventar alguns truques inteligentes para fazê-lo funcionar bem. Por um lado, criaram uma técnica de "mascaramento complementar", que é como dar ao modelo duas versões diferentes de um quebra-cabeça para resolver ao mesmo tempo para que ele não perca nenhum detalhe importante. Eles também construíram um sistema "Prefix-DLM", que atua como um atalho inteligente, permitindo que o modelo se lembre da imagem e da pergunta sem precisar reler a cada vez que adivinha uma nova palavra.

Apesar desses sucessos, o artigo é cuidadoso ao apontar onde o LaViDa ainda tem espaço para crescer. Embora supere outros modelos em muitos testes de raciocínio e conhecimento geral, às vezes ele tem dificuldade em ler textos minúsculos dentro de imagens (OCR) porque teve que comprimir os detalhes da imagem para caber em sua memória. Os autores sugerem que, embora os modelos de difusão sejam uma alternativa poderosa e promissora ao padrão de "uma palavra por vez", eles ainda estão aprendendo como escalar para igualar os modelos de IA muito maiores e que consomem mais dados. No final das contas, o LaViDa prova que o método de "preencher as lacunas" não serve apenas para criar imagens; pode ser uma forma forte, flexível e rápida para os computadores entenderem nosso mundo visual.

Resumo Técnico: LaViDa - Um Grande Modelo de Linguagem de Difusão para Compreensão Multimodal

Declaração do Problema

Os modelos modernos de Visão-Linguagem (VLMs) dependem predominantemente de arquiteturas Autorregressivas (AR) (ex: LLaVA, Qwen-VL), que geram texto token por token em uma sequência da esquerda para a direita. Embora eficaz, essa abordagem sofre de limitações inerentes:

Velocidade de Inferência: A geração sequencial é difícil de paralelizar, levando a uma inferência lenta.
Controlabilidade: Modelos AR têm dificuldade com tarefas que exigem contexto bidirecional ou restrições estruturais estritas, como o preenchimento de lacunas de texto (ex: completar um poema com começos de sílabas específicos) ou a geração de saídas estruturadas (ex: JSON) onde o conteúdo deve ser coordenado ao longo da sequência.

Modelos de Difusão Discreta (DMs) oferecem uma alternativa teórica ao tratar a geração como um processo de desmascaramento gradual de tokens. Eles permitem a decodificação paralela e a modelagem de contexto bidirecional. No entanto, sua aplicação em tarefas multimodais permanece pouco explorada, e adaptações ingênuas enfrentam desafios significativos em eficiência de treinamento e velocidade de inferência.

Metodologia

Os autores introduzem o LaViDa (Large Vision-Language Diffusion Model with Masking), a primeira família de VLMs construída sobre modelos de difusão discreta. A arquitetura integra um codificador de visão com um modelo de linguagem de difusão (DLM) via um projetor MLP, de forma análoga aos VLMs baseados em AR como o LLaVA.

Arquitetura Central

Codificador de Visão: Utiliza o SigLIP-400M para processar imagens de entrada. Para equilibrar resolução e comprimento de sequência, as imagens são redimensionadas e divididas em múltiplas visualizações (quatro visualizações de $384^2$ e uma de $768^2$ redimensionada para $384^2$ ). Estas são codificadas e agrupadas (average pooling $2\times2$ ) para reduzir a contagem de tokens para 980 por imagem antes da projeção.
Modelo de Linguagem de Difusão: Um DLM baseado em Transformer (usando backbones LLaDA-8B ou Dream-7B) que substitui a máscara de atenção causal dos modelos AR por uma máscara não-causal (bidirecional). Ele é treinado para prever tokens limpos $X_0$ dada uma sequência parcialmente mascarada $X_t$ e o contexto visual/prompt.

Principais Inovações Técnicas

Para abordar os desafios específicos de aplicar DMs a tarefas de visão-linguagem, o LaViDa incorpora três técnicas inovadoras:

Mascaramento Complementar (Eficiência de Treinamento):
- Problema: O treinamento padrão de DM mascara tokens estocasticamente. Em tarefas multimodais, tokens de resposta críticos (frequentemente curtos e esparsos) podem permanecer não mascarados em uma única amostra, excluindo-os do cálculo da perda e causando gradientes desalinhados para o codificador de visão.
- Solução: Para cada amostra de treinamento, o modelo gera duas versões mascaradas ( $X_t$ e $X^C_t$ ) com extensões corrompidas disjuntas. Isso garante que cada token na sequência de saída contribua para a perda. Os embeddings de visão são copiados para ambas as versões para maximizar a eficiência.
Prefix-DLM (Velocidade de Inferência):
- Problema: DMs tipicamente não podem utilizar o cache de KV porque exigem atenção bidirecional total, levando à recomputação repetida de chaves e valores para todo o prompt (incluindo centenas de tokens visuais) em cada etapa de decodificação.
- Solução: Uma máscara de atenção especializada é introduzida, onde os tokens de visão e do prompt (o "prefixo") podem atender apenas a outros tokens do prefixo, enquanto os tokens de resposta podem atender a todos os tokens. Isso permite que as chaves e valores dos embeddings de visão e do prompt sejam armazenados em cache, reduzindo significativamente a latência.
Deslocamento de Passo de Tempo (Compromisso entre Velocidade e Qualidade):
- Problema: Cronogramas de mascaramento lineares (desmascarar um número fixo de tokens por passo) apresentam desempenho insatisfatório em baixas contagens de passos, degradando a qualidade da amostra.
- Solução: Inspirados em modelos de difusão de imagem (SD3), os autores adotam um cronograma de deslocamento de passo de tempo convexo ( $\alpha = 1/3$ ). Isso desmascara adaptativamente mais tokens nos estágios iniciais do processo inverso, permitindo uma redução agressiva de passos (inferência mais rápida) sem perda significativa de qualidade.

Resultados Experimentais

O LaViDa foi avaliado em uma ampla gama de benchmarks, incluindo compreensão geral (MMMU, MME), raciocínio (MathVista, ScienceQA), OCR (ChartQA, TextVQA) e tarefas de geração com restrições.

Desempenho Competitivo: O LaViDa alcança um desempenho comparável ou superior aos baselines AR (LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B) na maioria dos benchmarks. Notavelmente, o LaViDa-8B atinge a pontuação mais alta no MMMU (43.3) entre modelos comparáveis.
Geração com Restrições: Em tarefas bidirecionais como "Constrained Poem Completion", o LaViDa supera significativamente os baselines AR, alcançando uma melhoria de 59% na satisfação das restrições.
Compromisso entre Velocidade e Qualidade:
- No legendagem de COCO, o LaViDa supera o Open-LLaVA-Next-Llama3-8B em +4.1 CIDEr enquanto oferece uma aceleração de 1.92×.
- Ao ajustar o número de passos de difusão (NFE), o LaViDa oferece um compromisso flexível: com 50% de NFE, ele é mais rápido que os baselines AR enquanto mantém melhor qualidade; com 25% de NFE, é significativamente mais rápido com uma queda de desempenho.
Estudos de Ablação: O mascaramento complementar mostrou melhorar o desempenho no ScienceQA em 67% em relação ao mascaramento padrão. O cache Prefix-DLM proporcionou uma aceleração de até 3.9× na latência de inferência com um custo de desempenho marginal.

Significância e Alegações

O artigo afirma que o LaViDa demonstra que abordagens baseadas em difusão podem escalar competitivamente com modelos autorregressivos para tarefas de visão-linguagem, oferecendo vantagens únicas que os modelos AR não conseguem replicar facilmente.

Primeiro de seu Tipo: O LaViDa é apresentado como a primeira família de VLMs baseada em modelos de difusão discreta.
Mudança de Paradigma: Prova que os DMs não são apenas alternativas teóricas, mas soluções práticas que oferecem flexibilidade de compromisso entre velocidade e qualidade e superior controlabilidade para geração estruturada e preenchimento de texto.
Escalabilidade: O trabalho estende o sucesso dos modelos de difusão do domínio da linguagem (ex: LLaDA, Dream) para o espaço da visão, validando que, com as técnicas de treinamento e inferência corretas (mascaramento complementar, cache de prefixo, deslocamento de passo de tempo), os DMs podem lidar com o seguimento de instruções multimodais complexas.

Os autores observam limitações, particularmente no desempenho de OCR (atribuído à compressão necessária de tokens via pooling médio) e o atual hiato entre o LaViDa e os modelos AR de última geração treinados em conjuntos de dados significativamente maiores. Eles sugerem que trabalhos futuros devem explorar a escala dos DMs com modelos e dados maiores.