Resumo Técnico: Agents of Diffusion (AoD)

Declaração do Problema

Gerar dados estruturados de alta qualidade, como registros JSON, apresenta um compromisso fundamental para os Grandes Modelos de Linguagem (LLMs). Os LLMs autorregressivos possuem fortes vieses indutivos para consistência estrutural e ordem de tokens, tornando-os eficazes para a adesão ao esquema. No entanto, esses mesmos vieses frequentemente restringem a diversidade de saída, levando a sequências repetitivas, alucinações e falta de variação semântica. Por outro lado, os Modelos de Linguagem de Difusão (DLMs) oferecem mecanismos poderosos para riqueza semântica e decodificação bidirecional, permitindo uma variação mais ampla. Contudo, os DLMs carecem dos vieses posicionais necessários para uma preservação estrutural confiável, tornando-os propensos a falhas em tarefas sensíveis ao formato, como a síntese de JSON aninhado. Além disso, os métodos existentes para controlar DLMs geralmente dependem de ajuste fino (fine-tuning), restrições manuais ou modelagem de recompensa escalar, que podem ser frágeis, não interpretáveis ou computacionalmente caros.

Metodologia: Agents of Diffusion (AoD)

Para abordar essas limitações, os autores propõem o Agents of Diffusion (AoD), um framework de aprendizado por reforço multiagente (RL) que unifica a flexibilidade generativa dos DLMs com as capacidades de raciocínio de agentes autorregressivos. A inovação central é um loop de otimização livre de parâmetros onde um DLM congelado é guiado exclusivamente através de feedback em linguagem natural de agentes cooperativos, sem modificar os pesos do DLM.

Arquitetura do Framework

O sistema opera como um processo de alinhamento multiagente envolvendo três componentes primários:

1. Agente de Modelo de Linguagem de Difusão (DLM): Atua como a espinha dorsal generativa (especificamente utilizando o modelo LLaDA-8B congelado). Ele gera candidatos de texto estruturado iterando a desruição de sequências de maneira não causal e bidirecional. Isso permite trajetórias semânticas diversas condicionadas a um prompt.
2. Agente de Otimização de Prompt: Um LLM autorregressivo que funciona como uma política estocástica ($\pi_\theta$). Ele não gera os dados finais, mas aprende a refinar os prompts de condicionamento ($P_t$) com base no feedback. Ele trata o design de prompts como um problema de tomada de decisão sequencial, gerando edições discretas ($\Delta P$) para direcionar o DLM em direção a saídas conformes ao esquema.
3. Cluster de Juiz (Judge Cluster): Um subsistema de avaliação composto por:
   • Avaliador de Linguagem Natural (NLE): Computa cinco métricas quantitativas no JSON gerado: similaridade semântica, diversidade, entropia, novidade e perplexidade. Estas são convertidas em declarações de linguagem natural estruturadas.
   • Juiz LLM: Um modelo autorregressivo que consome as métricas do NLE e uma rubrica específica da tarefa para produzir uma crítica final ($y$) por meio de uma série de perguntas de sim/não e feedback textual. Este feedback é traduzido em recompensas escalares ($r$) e vetores de sub-recompensa.

Loop de Otimização

O processo é formalizado como um Processo de Decisão de Markov (MDP) episódico:

• Inicialização: Um prompt $P_t$ é inicializado.
• Geração: O DLM gera um candidato $x_t \sim g_\phi(P_t)$.
• Avaliação: O Cluster de Juiz avalia $x_t$, produzindo feedback $y_t$ e um sinal de recompensa $r_t$.
• Atualização de Política: O Otimizador de Prompt amostra uma edição $\Delta P_t \sim \pi_\theta(\Delta P | h_t)$ baseada no histórico $h_t$ e atualiza o prompt: $P_{t+1} = U(P_t, \Delta P_t)$.
• Objetivo: Os parâmetros da política $\theta$ são otimizados para maximizar o retorno descontado esperado, efetivamente aprendendo a refinar prompts que rendam altas recompensas (validade estrutural + diversidade semântica) sem retropropagação através do DLM.

Os autores provam que, sob condições específicas (funções de recompensa localmente Lipschitz e edições limitadas), esta atualização iterativa constitui um mapeamento de contração, garantindo a convergência estável em direção a prompts alinhados ao esquema.

Principais Contribuições

1. Primeiro Framework de RL Multiagente para DLMs: O AoD é o primeiro framework para guiar Modelos de Linguagem de Difusão usando feedback de linguagem natural dentro de um ambiente de RL multiagente, eliminando a necessidade de ajuste fino do gerador.
2. Otimização de Alinhamento Verbal: Os autores propõem um novo loop de otimização onde agentes de LLM refinam iterativamente os prompts através de crítica verbal. Isso alcança o controle alinhado ao esquema sem modelagem explícita de recompensa ou modelagem de recompensa escalar, baseando-se, em vez disso, em feedback de linguagem natural interpretável.
3. Resultados de Estado da Arte Reproduzíveis: O framework demonstra desempenho superior na síntese de instruções baseadas em JSON em múltiplos conjuntos de dados estruturados, estabelecendo uma base para a geração controlável em domínios simbólicos e com restrição de formato usando hardware de nível consumidor.

Resultados Experimentais

Os autores avaliaram o AoD em quatro benchmarks de geração estruturada: MultiWOZ, Super-NaturalInstructions, Self-Instruct e TruthfulQA. Esses conjuntos de dados foram escolhidos por seus campos aninhados, formatos de esquema variados e diversos estilos linguísticos.

Métricas de Desempenho

O AoD foi comparado com seis baselines, incluindo modelos autorregressivos estáticos (variantes de LLaMA, Qwen, GPT-4), modelos baseados em difusão (Diffusion-LM, DiffLM) e métodos de otimização de prompt (PromptBreeder, EvoPrompt).

• Taxa de Sucesso da Tarefa (TSR): O AoD alcançou a maior TSR de 0,79, superando significativamente os baselines autorregressivos (variando de 0,66 a 0,73) e os baselines de difusão (0,61 a 0,69).
• Sobreposição de Campos (Field Overlap): O AoD registrou a menor Sobreposição de Campos (0,29), indicando uma forte capacidade de gerar combinações distintas de chave-valor e evitar memorização, comparado aos baselines que variaram de 0,35 a 0,42.
• Métricas Semânticas e de Diversidade: O AoD alcançou pontuações altas em Similaridade (0,88), Diversidade (0,82) e Novidade (0,83). Notavelmente, alcançou uma alta Entropia (6,10) enquanto mantinha baixa Perplexidade (22,1), uma combinação que modelos autorregressivos tipicamente falham em alcançar simultaneamente (eles frequentemente possuem alta similaridade mas baixa diversidade, ou vice-versa).
• Acessibilidade de Hardware: Os experimentos foram conduzidos em uma estação de trabalho de nível consumidor (AMD Ryzen 9, NVIDIA RTX 4080 SUPER), demonstrando que a geração estruturada controlável e de alta qualidade não requer infraestrutura especializada.

Estudos de Ablação

• Componentes do Agente: Remover o componente de aprendizado por reforço ou substituir o feedback de linguagem natural por recompensas escalares resultou em menor diversidade e maior perplexidade. A combinação de um gerador de difusão com feedback de linguagem natural mostrou-se crítica para equilibrar exploração e regulação.
• Transferibilidade do Modelo: O framework provou ser robusto através de diferentes combinações de modelos autorregressivos para o Otimizador de Prompt e o Juiz (ex: LLaMA, Qwen, DeepSeek, Gemma), com pontuações de diversidade consistentes (0,79–0,86) e tempos de execução de GPU gerenciáveis (110–122 segundos por ciclo).

Significância e Alegações

O artigo alega que o AoD estabelece um novo caminho para a síntese de texto com consciência de estrutura e diversidade aprimorada. Ao unificar os pontos fortes dos modelos de difusão (diversidade semântica) e agentes autorregressivos (precisão estrutural) através de aprendizado por reforço multiagente cooperativo, o framework supera o tradicional compromisso entre adesão ao formato e variedade de saída.

Os autores enfatizam que o AoD é agnóstico ao modelo e livre de parâmetros em relação ao gerador, baseando-se apenas na interação entre agentes via linguagem natural. Essa abordagem permite a geração controlável sem o custo computacional do ajuste fino ou a fragilidade de restrições manuais. Embora o trabalho atual seja limitado à síntese de JSON, os autores postulam que este framework fornece uma abordagem fundamental para estender a geração controlável para outros domínios estruturados, como dados tabulares e código. Os resultados sugerem que os modelos de difusão, quando supervisionados por agentes cooperativos, podem alcançar tanto alta novidade semântica quanto fidelidade estrutural, desafiando a noção de que os modelos autorregressivos são a única opção viável para a geração de dados estruturados.