💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

O LaViDa-R1 é um modelo de linguagem de difusão multimodal unificado que avança as capacidades de raciocínio ao integrar o ajuste fino supervisionado e o aprendizado por reforço multitarefa dentro de um novo framework de pós-treinamento, demonstrando um forte desempenho através de diversas tarefas de compreensão e geração visual.

Autores originais: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um artista muito talentoso que pode tanto pintar quadros quanto escrever histórias. Este artista, chamado LaViDa-O, é bom em seguir instruções, mas quando lhe pedem para resolver um quebra-cabeça difícil ou explicar por que tomou uma certa decisão, ele às vezes apenas adivinha ou se apressa para dar a resposta.

O artigo apresenta um novo método de treinamento chamado LaViDa-R1. Pense nisso não como ensinar novos fatos ao artista, mas como ensinar o artista a pensar. É como dar ao artista um "chapéu de pensar" que o força a pausar, esboçar seu raciocínio, verificar seu trabalho e, só então, revelar sua obra-prima final.

Aqui está como eles fizeram isso, usando algumas analogias simples:

1. A "Academia Unificada" (Unified Post-Training)

Normalmente, se você quiser treinar uma IA para ser melhor em matemática, você só mostra a ela problemas de matemática. Se quiser que ela seja melhor em editar fotos, você só mostra tarefas de edição de fotos. Isso é como enviar um aluno para uma aula de matemática de manhã e uma aula de fotografia à tarde, mas nunca permitir que ele misture essas duas habilidades.

O LaViDa-R1 coloca tudo em uma "academia" gigante. Ele treina o modelo em matemática, edição de fotos, localização de objetos em imagens e resposta a perguntas, tudo ao mesmo tempo. O artigo afirma que essa abordagem "unificada" torna o modelo mais inteligente de forma abrangente, em vez de ser apenas um especialista em uma área.

2. O Truque da "Forçagem de Resposta" (Quando o Estudante está Travado)

Imagine que o artista está tentando resolver um problema de matemática. Ele tenta três vezes, e todas as três respostas estão erradas. Em uma sessão de treinamento normal, o professor apenas diria: "Tente novamente", e o artista poderia ficar frustrado ou não aprender nada porque não sabe como falhou.

O LaViDa-R1 usa um truque chamado Answer-Forcing (Forçagem de Resposta).

O Cenário: O modelo falha ao resolver o problema.
O Truque: O professor escreve secretamente a resposta correta no final do papel.
A Magia: Como este modelo é construído como um modelo de "difusão" (que funciona preenchendo lacunas), ele pode olhar para a resposta correta no final e trabalhar de trás para frente para preencher os passos de raciocínio ausentes no meio.
O Resultado: O modelo aprende: "Ah, se eu quero chegar a esta resposta, preciso pensar desta maneira". Ele cria um "processo de pensamento" perfeito do nada para ensinar a si mesmo.

3. A "Busca em Árvore" (Explorando a Floresta)

Às vezes, não existe uma única "resposta correta" para verificar (como ao editar uma foto para que pareça "mais tropical"). O modelo apenas tem que adivinhar o que parece bom.

Se o modelo tentar 10 vezes e todas as 10 ficarem ruins, ele não recebe um feedback útil.
O LaViDa-R1 usa a Tree Search (Busca em Árvore).

Imagine que o modelo inicia uma jornada e percorre 10 caminhos diferentes.
Ele verifica qual caminho parece o melhor.
Em vez de recomeçar do início, ele pega esse melhor caminho, volta um pouco e então se ramifica para tentar 10 novas variações a partir daquele ponto específico.
Isso é como um trilheiro que percebe: "A trilha que eu segui foi ótima", então ele volta àquele ponto e tenta 10 novas direções a partir dali, em vez de começar novamente do pé da montanha. Isso o ajuda a encontrar a melhor solução mais rapidamente.

4. O "Placar de Pontuação Equilibrado" (Melhorando a Avaliação)

Ao treinar esses modelos, o computador precisa calcular o quão "boa" foi uma suposição. Normalmente, esse cálculo é confuso e desigual — como um professor corrigindo uma prova onde algumas questões contam 10 pontos e outras 1 ponto, apenas por acidente.

O artigo introduz um Complementary Likelihood Estimator (Estimador de Verossimilhança Complementar).

Pense nisso como um sistema de graduação que garante que cada única palavra na resposta do modelo receba uma nota justa.
Ele utiliza duas "visões" diferentes da resposta para garantir que nenhuma parte do raciocínio seja ignorada. Isso evita que o modelo fique confuso com feedbacks desiguais.

Os Resultados: O Que Eles Alcançaram?

O artigo afirma que, ao usar esses truques, o LaViDa-R1 tornou-se significativamente melhor em:

Matemática Visual: Resolver problemas matemáticos que envolvem imagens e gráficos.
Localização de Objetos (Object Grounding): Encontrar objetos específicos em uma imagem com base em descrições complexas (ex: "Encontre a pessoa que não é provavelmente um jogador").
Edição de Imagem: Alterar fotos com base em instruções (ex: "Transforme esta cabana na floresta em uma casa de praia") ao primeiro raciocinar sobre o que precisa ser alterado.

Em resumo: O artigo apresenta uma nova maneira de treinar uma IA multimodal (que vê e lê) para "pensar antes de falar". Ao misturar diferentes tipos de tarefas, forçar o modelo a aprender com seus próprios erros usando respostas corretas como guia, e usar estratégias de busca inteligentes, eles criaram um modelo que é muito melhor em raciocinar do que as versões anteriores.

Resumo Técnico: LaViDa-R1

Declaração do Problema

Os Modelos de Linguagem de Difusão (dLLMs) emergiram como uma alternativa promissora aos modelos autorregressivos (AR), oferecendo benefícios como contexto bidirecional, decodificação paralela e paradigmas de geração unificados para texto e imagem. No entanto, estender as capacidades de raciocínio dos dLLMs para um cenário multimodal de uso geral apresenta vários desafios críticos que os métodos existentes não abordaram totalmente:

Especificidade de Tarefa: Os atuais dLLMs de raciocínio frequentemente focam em domínios estreitos (ex: raciocínio matemático) e requerem ajuste fino específico para a tarefa, carecendo de um framework unificado para diversas tarefas multimodais, como edição de imagem e localização de objetos (object grounding).
Instabilidade de Treinamento: Aplicar Aprendizado por Reforço (RL) a dLLMs é propenso ao colapso do modelo. Além disso, a inclusão de regularizadores de divergência KL, embora destinada a prevenir o colapso, muitas vezes dificulta a exploração e degrada o desempenho da tarefa.
Sinais de Treinamento Desvanecentes: Para tarefas complexas, os modelos podem falhar em gerar amostras de alta qualidade durante o treinamento, levando a sinais de recompensa baixos ou nulos. Isso é particularmente problemático em configurações de RL on-policy, onde o cálculo de vantagem baseado em grupos resulta em vantagens zero se todas as amostras de um grupo receberem recompensas baixas.
Estimativa de Verossimilhança Intratável: Ao contrário dos modelos AR, os dLLMs não podem calcular a verossimilhança da sequência exatamente. Os métodos de estimativa existentes (ex: Monte Carlo) frequentemente sofrem com sinais ausentes para tokens não mascarados ou gradientes de tokens desequilibrados, levando à instabilidade do treinamento.

Metodologia

O artigo propõe o LaViDa-R1, um dLLM de raciocínio multimodal de uso geral construído sobre um novo framework de pós-treinamento unificado. A metodologia integra três componentes principais:

1. Objetivo de Pós-Treinamento Unificado

O LaViDa-R1 introduz um objetivo de gradiente de política unificado que combina perfeitamente o Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço Online (RL) e Autodestilação.

Formulação: Os autores observam que objetivos como GRPO Online, SFT e destilação Best-of-N podem ser expressos em uma forma unificada: $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ .
SFT como Regularização: Em vez de usar um termo de divergência KL (que requer um modelo de referência e dificulta a exploração), o framework o substitui por um termo de regularização SFT. Isso permite que o modelo explore o espaço de ações além da distribuição pré-treinada enquanto evita o colapso, reduzindo significamente os custos computacionais ao eliminar a necessidade de um modelo de referência.
Agregação Ponderada: O framework agrega vantagens de diferentes objetivos (ex: GRPO e autodestilação) usando uma média ponderada, permitindo a otimização simultânea sem necessidade de reamostragem.

2. Geração de Rollout Guiada

Para abordar o problema de sinais de treinamento desvanecentes quando os modelos falham em gerar saídas de alta qualidade, o LaViDa-R1 emprega dois mecanismos de geração guiada:

Forçamento de Resposta (Answer Forcing): Para tarefas com respostas de verdade fundamental verificáveis (ex: raciocínio matemático, localização de objetos), se o modelo falhar em gerar uma resposta correta em um grupo, o sistema injeta o token da resposta correta em uma sequência totalmente mascarada. Ele então aproveita as capacidades de inpainting bidirecional do dLLM para gerar um traço de raciocínio sintético condicionado à resposta correta. Isso garante um sinal de treinamento de alta qualidade mesmo quando a geração inicial do modelo é ruim.
Busca em Árvore (Tree Search): Para tarefas sem respostas de verdade fundamental (ex: edição de imagem), o framework utiliza um algoritmo de busca em árvore. Ele gera um grupo inicial de amostras, seleciona a trajetória com a maior recompensa e ramifica a partir de um estado de difusão intermediário dessa melhor amostra para gerar novas amostras. Essa expansão iterativa aumenta o tamanho efetivo do grupo e a probabilidade de encontrar trajetórias de alta recompensa.

3. Estimador de Verossimilhança de Mascaramento Complementar

Para resolver os desafios de estimar a verossimilhança da sequência em dLLMs, os autores propõem um novo estimador:

Mecanismo: Em vez da amostragem padrão de Monte Carlo, o método utiliza duas amostras com mascaramento complementar. Se uma amostra mascara um conjunto de tokens, a segunda amostra mascara o conjunto complementar (desmascarando o que a primeira mascarou e vice-versa).
Ponderação: Diferente de trabalhos anteriores que utilizam uma função de peso $w(t) = 1/t$ , o LaViDa-R1 utiliza um peso uniforme $w(t) = 1$ .
Benefícios: Esta abordagem garante que cada token na sequência seja contabilizado exatamente uma vez através das duas amostras, evitando que tokens importantes sejam negligenciados. Também evita os gradientes de tokens desequilibrados causados pelo peso $1/t$ , que favorece desproporcionalmente tokens mascarados em etapas iniciais de difusão.

Principais Contribuições

Framework de Raciocínio Multimodal Unificado: O LaViDa-R1 é o primeiro trabalho a estender as capacidades de raciocínio via RL para um amplo espectro de tarefas multimodais, incluindo raciocínio matemático visual, perguntas e respostas visuais, localização de objetos intensiva em raciocínio e edição de imagem, dentro de um único modelo unificado.
Pós-Treinamento Unificado Estável: O artigo introduz um paradigma prático de pós-treinamento que substitui a regularização KL por SFT, permitendo uma exploração estável e prevenindo o colapso do modelo sem o custo computacional de modelos de referência.
Algoritmos de Geração Guiada: O desenvolvimento dos mecanismos de "Forçamento de Resposta" e "Busca em Árvore" mitiga efetivamente o problema de sinal de treinamento desvanecente inerente ao RL online para tarefas complexas.
Melhor Estimativa de Verossimilhança: O estimador de mascaramento complementar proposto, com ponderação uniforme, fornece um sinal de gradiente mais estável e preciso para o treinamento de dLLMs em comparação com os métodos baseados em MC existentes.

Resultados Experimentais

Experimentos extensos demonstram que o LaViDa-R1 alcança um forte desempenho em diversos benchmarks, superando o modelo base (LaViDa-O) e os baselines de SFT:

Raciocínio Matemático Visual: Melhorias significativas no MathVista (+3.10) e MathVerse.
Perguntas e Respostas Visuais: Ganhos no ChartQA (+1.70) e MMMU-Pro.
Localização Intensiva em Raciocínio: Um aumento substancial no dataset Lisa-Grounding, com um aumento de +37.50 pontos em P@0.5 comparado ao modelo base.
Edição de Imagem: Desempenho melhorado no benchmark ImgEdit (+0.10 na pontuação geral), demonstrando a capacidade de explorar além dos modos supervisionados.
Tarefas Apenas de Linguagem: Ganhos notáveis no GSM8K e Math500, sugerindo que o treinamento de raciocínio unificado beneficia também as capacidades puras de linguagem.

Significância e Alegações

O artigo afirma que o LaViDa-R1 representa um passo significativo para unificar a compreensão e a geração multimodal com o raciocínio. Ao integrar com sucesso diversas tarefas em um único dLLM capaz de raciocínio, o trabalho aborda a fragmentação dos modelos multimodais atuais. Os autores enfatizam que sua estratégia de pós-treinamento unificada, que combina SFT e RL sem divergência KL, oferece um caminho mais estável e computacionalmente eficiente para aumentar o raciocínio em modelos de difusão.

O trabalho destaca que os dLLMs de raciocínio podem aproveitar a visibilidade global para modelar conjuntamente traços de raciocínio e saídas finais, permitindo um refinamento holístico que é difícil para modelos autorregressivos. Embora o artigo reconheça limitações — como a lacuna atual entre dLLMs e o estado da arte em MLLMs AR em termos de desempenho de raciocínio, e a falta de frameworks de inferência eficientes para dLLMs — ele posiciona a receita proposta como uma base robusta para o escalonamento futuro e a exploração de tarefas de raciocínio multimodal mais complexas.