🤖 AI

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

Este artigo apresenta os Modelos de Linguagem de Difusão Mascarada (MDLMs) como modelos de mundo baseados em texto superiores e direcionáveis para o aprendizado por reforço agêntico, que superam os vieses autorregressivos para alcançar uma diversidade de rollout e um desempenho de transferência zero-shot significativamente maiores em comparação com LLMs maiores, apoiados por um conjunto de dados de larga escala e uma nova estrutura de treinamento GRPO.

Autores originais: Darshan Deshpande

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Darshan Deshpande

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a jogar um videogame complexo, como navegar em uma cidade gigante e mutável ou gerenciar uma cafeteria movimentada. Para aprender, o robô precisa praticar milhões de vezes. No mundo real, você teria que construir uma cafeteria física para cada rodada de prática, o que é impossível. Por isso, cientistas usam "simuladores" — mundos digitais onde o robô pode tentar, errar e aprender sem quebrar nada. Isso é o coração do Aprendizado por Reforço (RL): uma IA aprendendo por tentativa e erro em um ambiente controlado (sandbox).

Mas aqui está o problema: construir esses sandboxes é difícil. Geralmente, humanos precisam criar manualmente cada regra e cenário, o que é lento e limita quantos diferentes tipos de situações o robô pode observar. Se o robô ficar bom demais em um cenário específico, ele começa a "trapacear" ao memorizar os passos exatos em vez de realmente aprender a pensar. É como um aluno que memoriza as respostas de um teste prático, mas falha no exame real porque as perguntas eram ligeiramente diferentes. Para corrigir isso, pesquisadores estão tentando construir "Modelos de Mundo" (World Models) — sistemas de IA que podem imaginar e simular esses mundos digitais por conta própria, criando cenários de prática infinitos e diversos. A grande questão é: será que esses simuladores de IA podem ser inteligentes o suficiente para prever o que acontece a seguir em um ambiente complexo e cheio de regras sem ficarem confusos?

Este artigo apresenta um novo tipo de simulador de IA chamado Modelo de Linguagem de Difusão Mascarada (MDLM) e argumenta que ele é um "mestre de jogo" muito melhor do que os modelos de IA padrão que costumamos usar.

O Problema: A Via de Mão Única vs. A Via de Mão Dupla

Para entender por que isso importa, imagine como uma IA padrão (chamada de modelo Autorregressivo ou AR) pensa. É como uma pessoa escrevendo uma história palavra por palavra, estritamente da esquerda para a direita. Uma vez que ela escreve uma palavra, não pode voltar atrás para mudá-la. Se ela escrever "O banco recusou o cartão", ela está presa nessa frase. Se mais tarde ela perceber que deveria ter escrito "O banco aprovou o cartão", é tarde demais; a história já está quebrada. Em uma simulação complexa, isso causa um problema chamado incoerência global. A IA pode escrever um começo perfeito, mas quando chega ao fim, os detalhes não combinam com as regras do mundo. É como um detetive que resolve um crime, mas esquece o nome do suspeito, ou um chef que cozinha uma refeição, mas esquece de desligar o fogão.

Os autores sugerem que a forma padrão de pensar "da esquerda para a direita" é o gargalo. Eles propõem uma abordagem diferente: a Difusão Mascarada. Imagine que, em vez de escrever uma história do início ao fim, você tem uma página de texto onde algumas palavras estão escondidas atrás de caixas pretas (máscaras). Seu trabalho é adivinhar quais são essas palavras escondidas, mas aqui está o truque: você pode olhar para as palavras antes da caixa E para as palavras depres da caixa para fazer sua suposição. Você pode preencher o meio, o fim ou o começo de uma só vez, usando a imagem completa para guiar seu pensamento. Isso permite que a IA verifique se o início combina com o fim, garantindo que toda a história faça sentido em conjunto.

O Experimento: Construindo um Sandbox Melhor

Os pesquisadores não apenas falaram sobre isso; eles construíram. Eles criaram um enorme conjunto de dados de 239.403 diferentes "rodadas de prática" (trajetórias) em nove ambientes distintos, variando de ferramentas de codificação a cenários de atendimento ao cliente. Eles treinaram seus novos modelos de Difusão Mascarada nesses dados e depois os colocaram à prova contra os melhores modelos "da esquerda para a direita" disponíveis.

Eles descobriram que os novos modelos eram surpreendentemente poderosos. Embora os modelos de Difusão Mascarada fossem muito menores (alguns tinham apenas 8 bilhões de parâmetros, enquanto os modelos padrão que eles superaram tinham mais de 30 bilhões), eles produziram simulações muito mais consistentes e realistas.

Pense nisso da seguinte forma: o modelo gigante padrão é como um digitador muito rápido que digita uma letra por vez. Se ele cometer um erro de digitação no início, a frase inteira é arruinada. O novo modelo de Difusão Mascarada é como um escultor que olha para todo o bloco de argila de uma vez, esculpindo diferentes pontos simultaneamente para garantir que a estátua final pareça correta de todos os ângulos.

Os Resultados: Prática Mais Inteligente, Jogadores Melhores

O teste real veio quando eles usaram esses simuladores para treinar agentes de IA reais (os "robôs" tentando aprender tarefas). Eles deixaram esses agentes praticarem nos mundos criados pelos modelos de Difusão Mascarada e depois os testaram em ambientes completamente novos e não vistos (como ScienceWorld, ALFWorld e AppWorld).

Os resultados foram impressionantes. Agentes treinados com os novos simuladores de Difusão Mascarada melhoraram suas taxas de sucesso em até 47% em comparação com agentes treinados com os antigos modelos padrão. Isso aconteceu sem que os pesquisadores tivessem que ensinar nada específico sobre esses novos ambientes; os agentes apenas aprenderam habilidades gerais melhores porque os mundos de prática eram mais diversos e lógicos.

Por exemplo, um pequeno agente de IA com 1,2 bilhão de parâmetros, que geralmente tinha dificuldade em concluir uma tarefa complexa (apenas 5,7% de sucesso), saltou para 53,6% de sucesso após o treinamento com o novo simulador. Esse é um salto enorme, sugerindo que o simulador forneceu um conjunto de desafios muito mais rico e variado que ajudou o agente a aprender como se adaptar.

Por Que Isso Importa

O artigo sugere que a maneira como construímos simuladores de IA precisa mudar. O antigo método de "escrever da esquerda para a direita" está atingindo um limite, causando loops repetitivos ou erros lógicos que quebram a simulação. Ao mudar para um método que observa o quadro completo de uma só vez (denoising bidirecional), podemos criar simuladores que não são apenas mais inteligentes, mas também mais eficientes.

Os autores também realizaram uma "verificação humana", pedindo a especialistas que avaliassem as simulações. Os modelos de Difusão Mascarada obtiveram pontuações muito altas em realismo (4,75 de 5) e correção (4,25 de 5), o que significa que os humanos consideraram os mundos simulados críveis e úteis para o treinamento.

No entanto, o artigo faz questão de notar que este ainda não é um produto perfeito e finalizado. Os novos modelos ainda às vezes têm dificuldade com detalhes específicos, como gerar chaves de API corretas ou lidar com listas de itens muito longas sem se confundirem. Mas a descoberta central é clara: ao mudar a forma como a IA "pensa" sobre o futuro — de uma via de mão única para uma via de mão dupla — podemos construir campos de treinamento melhores para a próxima geração de agentes de IA. Isso pode significar robôs mais rápidos e inteligentes que podem lidar com tarefas complexas no mundo real, desde corrigir erros de software até gerenciar o atendimento ao cliente, simplesmente porque praticaram em um mundo que faz mais sentido.

Resumo Técnico: Modelos de Linguagem de Difusão com Máscara como Modelos de Mundo Baseados em Texto Direcionáveis

Declaração do Problema

O aprendizado por reforço (RL) para sistemas agentes requer ambientes de treinamento diversos e adaptáveis. No entanto, os ambientes atuais são tipicamente curados manualmente com dificuldades de tarefa e recompensa fixas, o que leva a sinais de treinamento ineficazes à medida que os modelos melhoram. Conforme os agentes encontram menos situações diversas durante os rollouts, eles sofrem de colapso de modo (mode collapse), sobreajustando-se a fluxos de trabalho ou estruturas de ferramentas específicas. Embora os modelos de mundo (modelos generativos que preveem estados futuros) ofereçam uma solução escalável para diversificar os dados de treinamento, os modelos de linguagem autorregressivos (AR) existentes usados como modelos de mundo sofrem de um viés fundamental da esquerda para a direita. Essa restrição causal impede que eles condicionem em âncoras de estado globalmente interdependentes (ex: esquemas de ferramentas, turnos anteriores, resultados esperados) simultaneamente, resultando frequentemente em saídas que são consistentes com o prefixo, mas globalmente incoerentes (ex: uma ação de reembolso bem-sucedida pareada com um status de erro).

Metodologia

1. Formalização de Modelagem de Mundo Baseada em Texto

Os autores formalizam a modelagem de mundo como um problema de dinâmica de transição direcionável. Eles decompõem o estado do ambiente $s_t$ em cinco componentes fundamentados:

$e_0$ : Estado inicial do ambiente (arquivos, bancos de dados, UI).
$c_t$ : Contexto da tarefa (objetivos, histórico).
$\mathcal{T}$ : Esquemas de ferramentas (assinaturas e restrições).
$\mathcal{R}$ : Regras de domínio (transições válidas).
$D$ : Diretrizes de direcionamento (restrições de segurança, instruções de alto nível).

O objetivo é aprender a distribuição $p_\theta(c_{t+1} | e_0, c_{\le t}, a_{\le t}; \mathcal{T}, \mathcal{R}, D)$ , onde $\mathcal{T}, \mathcal{R}$ e $D$ permanecem fixos ao longo da trajetória.

2. Modelos de Linguagem de Difusão com Máscara (MDLMs)

Em vez da geração AR, o artigo utiliza Modelos de Linguagem de Difusão com Máscara (MDLMs).

Mecanismo: Os MDLMs aprendem a realizar a denoização iterativa de sequências de tokens corrompidas. Durante o treinamento, uma sequência de próximo estado limpa é mascarada com probabilidade $\tau$ , e o modelo prevê os tokens mascarados condicionado ao histórico e ao contexto não mascarado (incluindo âncoras futuras).
Vantagem sobre AR: Diferente dos modelos AR que devem se comprometer com uma ordenação da esquerda para a direita, os MDLMs realizam a denoização bidirecional. Eles podem condicionar estados previstos tanto em contextos precedentes quanto subsequentes dentro de um estado (ex: usando uma âncora conhecida de status: "error" para informar a geração de error_code e resolution). Isso permite a geração paralela de tokens e evita a acumulação de erros induzidos pelo prefixo.
Diversidade: O processo de denoização introduz estocasticidade tanto na escolha de tokens quanto na ordem de geração, prevenindo o "colapso de modo de prefixo" comum em decodificadores AR.

3. Conjunto de Dados e Estrutura de Treinamento

Conjunto de Dados: Um conjunto de dados curado de 239.403 trajetórias de estado-ação fundamentadas abrangendo nove ambientes de código aberto (ex: SWE-SMITH, TAUBENCH, TOOLATHLON) e doze famílias de modelos de fronteira (incluindo Qwen, GPT, Claude e Gemini).
Treinamento: Os modelos foram ajustados usando AdamW com um cronograma de cosseno. Os autores introduzem uma estrutura de treinamento GRPO (Otimização de Política Relativa de Grupo) plug-and-play com verificações de estado determinísticas para treinar agentes de RL em rollouts gerados por MDLM.

Principais Contribuições

Formalização e Conjunto de Dados: A primeira formalização sistemática da modelagem de mundo baseada em texto como um problema de transição direcionável com cinco componentes específicos, acompanhada por um conjunto de dados de larga escala de 239 mil trajetórias.
Estudo Comparativo: Uma comparação abrangente entre LMs AR e MDLMs, demonstrando que os MDLMs alcançam superioridade em coerência e fundamentação através da denoização bidirecional consciente de âncoras.
Ganhos de Desempenho: Demonstração de que MDLMs (especificamente modelos de 8 bilhões de parâmetros como o SDAR-8B) superam modelos autorregressivos com 4× mais parâmetros (ex: Qwen-3.5-35B) em fidelidade de modelagem de mundo.
Transferência Zero-Shot: Aplicação bem-sucedida de rollouts gerados por MDLM para treinar agentes de RL em ambientes fora da distribuição (OOD) (ScienceWorld, ALFWorld, AppWorld) sem ajuste fino específico do ambiente.
Avaliação Humana: Avaliação humana rigorosa de realismo, correção e utilidade, confirmando a confiabilidade dos rollouts de MDLM.

Resultados

Fidelidade de Geração (RQ1)

Métricas: Avaliado usando BLEU-1, ROUGE-L e MAUVE (alinhamento de distribuição).
Descobertas: Em configurações zero-shot, os MDLMs superaram seus equivalentes AR em alinhamento de distribuição (MAUVE). Após o ajuste fino, os MDLMs dominaram em todas as divisões.
- O SDAR-8B (8B params) superou o Qwen-3.5-35B-A3B (35B params) em MAUVE in-domain (0.982 vs 0.932) e OCCUBENCH MAUVE (0.979 vs 0.960).
- Isso sugere que o viés indutivo causal, em vez da capacidade do modelo, é o principal gargalo na modelagem de mundo via LLM.

Desempenho de RL Downstream (RQ2)

Configuração: Agentes (LFM2.5-1.2B, Qwen3-4B, Mistral-7B) foram treinados usando GRPO com rollouts de modelos de mundo baseados em Qwen (AR) ou SDAR (MDLM).
Descobertas: O treinamento com rollouts de SDAR-WM rendeu ganhos absolutos significativos sobre as linhas de base e os rollouts do modelo de mundo Qwen-WM:
- ALFWorld: LFM2.5-1.2B melhorou de 5.7% (base) para 53.6% (+47.9% absoluto) usando SDAR-WM.
- ScienceWorld: Mistral-7B melhorou de 3.3% para 48.4% (+45.1% absoluto).
- Essas melhorias ocorreram em um cenário zero-shot em relação aos ambientes de teste.

Avaliação Humana (RQ3)

Métricas: Realismo, Correção de Resultado e Utilidade de Treinamento (Escala Likert de 1–5).
Resultados: O SDAR obteve pontuações altas: 4.75 (Realismo), 4.25 (Correção) e 4.50 (Utilidade).
Concordância: O $\alpha$ de Krippendorff excedeu 0.89 em todas as dimensões, indicando forte concordância entre os anotadores.
Modos de Falha: Os anotadores observaram problemas com coerções de tipo de chave numérica, chaves de API corrompidas e uma tendência de colapsar em erros repetidos após uma falha inicial.

Significância e Alegações

O artigo afirma que os Modelos de Linguagem de Difusão com Máscara representam uma arquitetura superior para a modelagem de mundo baseada em texto comparada aos modelos autorregressivos. Ao aproveitar a condicionação bidirecional, os MDLMs podem manter a consistência global com esquemas de ferramentas e regras de domínio, produzindo simulações de ambiente diversas e fundamentadas.

Os autores afirmam que esta abordagem permite sinais de treinamento escaláveis, diversos e direcionáveis para RL de agentes. Crucialmente, eles demonstram que a modelagem de mundo de alta fidelidade não requer contagens massivas de parâmetros; em vez disso, a escolha arquitetural (difusão vs. autorregressiva) é o fator crítico. O trabalho fornece um caminho para o "RL em mundos imaginários", permitindo que agentes treinem em ambientes simulados e diversos sem a necessidade de campos de treinamento estáticos e criados à mão.

Limitações Reconhecidas: O artigo observa que, embora os MDLMs mostrem potencial, eles ainda enfrentam dificuldades com campos estruturados como chaves de API e exibem "deriva de paginação" em tarefas de navegação complexas. Esses problemas são atribuídos ao alinhamento de segurança dos modelos base e às restrições de tamanho de bloco na difusão, sugerindo áreas para otimização futura.