Resumo Técnico: A Orientação Não é um Hiperparâmetro: Aprendizado de Controle Dinâmico em Modelos de Linguagem de Difusão

Declaração do Problema

A Orientação Livre de Classificador (CFG) é o mecanismo padrão para controlar modelos generativos baseados em difusão, no entanto, sua escala de orientação ($\gamma$) é tipicamente tratada como um hiperparâmetro fixo durante todo o processo de geração. Este design estático cria um compromisso sub-ótimo entre controlabilidade (aderência às condições) e qualidade de geração (fluência). Os autores argumentam que o grau ótimo de orientação varia entre diferentes tarefas e, crucialmente, entre diferentes estágios do processo de difusão. Na Processamento de Linguagem Natural (PLN), onde modelos de linguagem de difusão discreta (dLLMs) estão emergindo, a aplicação de uma única escala globalmente fixa introduz uma incompatibilidade estrutural entre os requisitos etapa a etapa da geração e o mecanismo de controle.

As tentativas existentes de abordar isso têm recorrido a agendamentos heurísticos e pré-definidos (por exemplo, curvas exponenciais, distribuições Beta) que são independentes do estado de geração em evolução ou de objetivos no nível da tarefa. Esses métodos carecem de um mecanismo sistemático para incorporar feedback no nível da tarefa durante a geração, assumindo que um único agendamento manual pode generalizar para entradas diversas e requisitos de controlabilidade variados.

Metodologia

O artigo propõe reclassificar a seleção da escala CFG como um problema de tomada de decisão sequencial resolvido via Aprendizado por Reforço (RL). Em vez de ajustar manualmente um agendamento, os autores aprendem uma política que seleciona dinamicamente a escala de orientação em cada etapa de geração com base no estado atual de difusão.

Estrutura Central

1. Formulação da Política: A seleção de orientação é modelada como um Processo de Decisão de Markov (MDP). Uma política $\pi_\phi(a|s)$ mapeia o estado de amostragem atual $s$ (incluindo razão de etapa, razão de máscara, progresso específico da tarefa e ação anterior) para uma ação de orientação $a$ (a escala CFG).
2. Recompensas Terminais Esparsas: Como os objetivos de tarefas a jusante (por exemplo, inclusão de palavras-chave, precisão de sentimento) são observáveis apenas na conclusão e são não diferenciáveis, os autores empregam um design de recompensa esparsa. As recompensas são atribuídas apenas na etapa final de difusão ($k=0$), definidas como uma combinação ponderada de métricas de controlabilidade e qualidade de geração (medida via perplexidade).
3. Repetição de Ação e Abstração Temporal: Para mitigar a alta variância associada a recompensas esparsas em horizontes longos, a política seleciona uma única ação de orientação que é mantida constante por $n$ etapas consecutivas de difusão. Isso reduz o horizonte de decisão efetivo e incentiva trajetórias suaves.
4. Espaço de Ação Discreto: Para garantir tratabilidade e estabilidade, o espaço de ação é restrito a um conjunto discreto de 13 escalas CFG variando de 0 a 3,0.
5. Otimização: A política é otimizada usando Otimização de Política Próxima (PPO), que é bem adequada para dinâmicas estocásticas e recompensas atrasadas. O modelo generativo subjacente é um modelo de linguagem de difusão discreto (especificamente LLaDA), que permanece congelado; apenas a rede leve da política de RL é treinada.

Agregação de Trajetórias

Após o treinamento, a política induz uma distribuição sobre trajetórias de orientação em vez de um único agendamento determinístico. Para derivar uma estratégia generalizada para tarefas na inferência, os autores propõem agregar trajetórias amostradas. Eles comparam uma trajetória média simples contra uma agregação ponderada por frequência, que enfatiza padrões de orientação consistentemente selecionados pela política, filtrando assim o ruído exploratório.

Contribuições Principais

• Reformulação da Orientação: O artigo muda o paradigma da CFG de um hiperparâmetro estático para um processo de controle dinâmico e aprendível.
• Controle Adaptativo Baseado em RL: Introduz um framework principiado usando PPO para aprender trajetórias de orientação específicas da tarefa que se adaptam ao estado de geração em evolução sem modificar os parâmetros do modelo pré-treinado.
• Insights Dependentes da Tarefa: O estudo revela que os comportamentos de orientação ótimos são fundamentalmente dependentes da tarefa. Para restrições estruturais (palavras-chave, comprimento), a política aprendida adota uma trajetória em forma de "colina" (aumentando e depois diminuindo), enquanto para controle estilístico (sentimento), ela aprende uma trajetória monotonicamente decrescente.
• Validação Empírica: A abordagem é validada em três tarefas distintas de PLN: geração condicionada a palavras-chave, reescrita controlada por comprimento e transferência de estilo de sentimento.

Resultados Experimentais

Os experimentos foram conduzidos em modelos de linguagem de difusão discreta (LLaDA) usando 30 e 60 etapas de amostragem de difusão. O método proposto (RL-Mean e RL-Freq) foi comparado contra CFG fixo e vários agendamentos heurísticos (linear, cosseno, Beta).

• Ganhos de Desempenho: Os agendamentos aprendidos por RL superaram consistentemente tanto as bases fixas quanto as heurísticas em todas as tarefas.
  • Geração de Palavras-chave: Alcançou maior cobertura de palavras-chave (74,6% vs. 71,4% para CFG fixo) com perplexidade significativamente menor (56,2 vs. 61,3).
  • Controle de Comprimento: Demonstrou uma melhoria de Pareto, alcançando 92,8% de precisão (vs. 76,0% para CFG fixo) e a menor perplexidade (205,6 vs. 301,9).
  • Transferência de Sentimento: Melhorou a precisão na direção desafiadora de negativo para positivo (40,6% vs. 32,8%) enquanto mantinha alta preservação de conteúdo e menor perplexidade.
• Quebra do Compromisso: Enquanto agendamentos heurísticos exibiam um compromisso claro (por exemplo, agendamentos crescentes melhoravam a controlabilidade, mas degradavam a fluência), a abordagem de RL melhorou simultaneamente ambas as métricas aprendendo quando aplicar orientação forte versus fraca.
• Análise Qualitativa: Estudos de caso mostraram que a orientação adaptativa produziu frases mais coerentes com menos repetições e melhor preservação semântica em comparação com agendamentos estáticos ou heurísticos.

Significado e Alegações

O artigo afirma que tratar a orientação como um processo de controle dinâmico, em vez de uma escolha de design estática, é essencial para otimizar o compromisso entre controlabilidade e qualidade em modelos de linguagem de difusão. As trajetórias aprendidas fornecem insights interpretáveis sobre como a orientação deve evoluir: tarefas estruturais beneficiam-se de orientação forte durante a fase de formação da estrutura grosseira, enquanto tarefas estilísticas requerem orientação forte inicial para estabelecer polaridade, seguida por uma redução para garantir fluência.

Os autores mantêm uma postura modesta quanto às limitações. Eles reconhecem que, embora o agendamento adaptativo melhore significativamente o desempenho dentro do paradigma de difusão discreta, uma lacuna permanece em comparação com modelos de linguagem grandes autoregressivos devido aos priores de modelagem de linguagem mais fortes destes últimos. O mecanismo de orientação pode mitigar, mas não compensar totalmente, as limitações inerentes dos modelos de difusão atuais, como repetição de tokens sob condicionamento forte. O trabalho não afirma resolver todos os problemas na geração controlável, mas oferece um framework flexível e adaptável a tarefas que supera as estratégias estáticas e heurísticas atuais.