Resumo Técnico: Aprendizado por Reforço Variacional Acoplado para Raciocínio Geral em Modelos de Linguagem

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) demonstrou sucesso significativo em aprimorar o raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em domínios matemáticos onde programas baseados em regras podem verificar respostas finais. No entanto, esse paradigma é limitado pela exigência de recompensas verificáveis, restringindo sua aplicabilidade a tarefas de raciocínio geral (por exemplo, química, perguntas abertas) onde a verificação formal é difícil ou impossível.

Abordagens recentes "livres de verificador" tentam contornar isso usando a própria probabilidade do LLM de gerar uma resposta de referência correta como sinal de recompensa. Embora eficazes, esses métodos geralmente dependem de geração apenas com a pergunta, onde o modelo amostra traços de raciocínio condicionados exclusivamente à pergunta de entrada. Os autores identificam duas limitações fundamentais nesse design:

1. Baixa Eficiência de Amostragem: Sem orientação, o modelo luta para gerar traços de raciocínio úteis para perguntas difíceis, levando a uma exploração ineficiente do espaço de raciocínio.
2. Incoerência Traço-Resposta: A amostragem sem acesso à resposta alvo pode resultar em traços de raciocínio que são logicamente sólidos, mas falham em alinhar com o formato ou representação específicos da verdade fundamental, fazendo com que raciocínios corretos recebam recompensas baixas.

Metodologia: Aprendizado por Reforço Variacional Acoplado (CoVRL)

O artigo propõe o CoVRL, um framework que une inferência variacional e aprendizado por reforço para abordar as limitações do treinamento apenas com perguntas. A inovação central é o acoplamento das distribuições a priori e a posteriori através de uma estratégia de amostragem híbrida.

1. Formulação Variacional

O processo de raciocínio é enquadrado como um problema de variável latente onde os traços de raciocínio ($z$) mediam entre a pergunta ($x$) e a resposta ($y$). O objetivo é otimizar a verossimilhança marginal $p(y|x) = \int p(y|z, x)p(z|x) dz$.

• Distribuição A Priori ($p_\phi(z|x)$): Representa a geração apenas com a pergunta, refletindo condições reais de inferência onde a resposta é desconhecida.
• Distribuição A Posteriori ($q_\psi(z|x, y)$): Representa a geração guiada pela resposta, amostrando traços condicionados tanto à pergunta quanto à resposta correta para garantir coerência.

Abordagens padrão otimizam ou o prior (ineficiente) ou o posterior (causando incompatibilidade entre treinamento e inferência). O CoVRL introduz uma Distribuição Composta $p'(z|x, y)$ que acopla essas duas:
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
Essa distribuição composta permite que o modelo aprenda com sinais guiados pela resposta enquanto mantém o alinhamento com as condições no momento da inferência.

2. Estratégia de Amostragem Híbrida

Amostrar diretamente da distribuição composta ao nível de tokens é computacionalmente complexo. Em vez disso, o CoVRL emprega uma estratégia de amostragem híbrida off-policy:

• Para cada exemplo de treinamento, o modelo amostra aleatoriamente do prior com probabilidade $\alpha$ ou do posterior com probabilidade $1-\alpha$.
• Ponderação por Importância: Para otimizar a distribuição composta alvo usando amostras da distribuição híbrida, o método aplica ponderação por importância às atualizações do gradiente da política.
• Engenharia de Prompt: O prior e o posterior são implementados usando um único LLM com diferentes modelos de prompt:
  • Prior: Pergunta $\to$ Raciocínio $\to$ Resposta.
  • Posterior: Pergunta $\to$ Resposta $\to$ Raciocínio (fornecendo a resposta como contexto para a geração do raciocínio).

3. Objetivo de Otimização

O objetivo de treinamento maximiza o Limite Inferior da Evidência (ELBO), consistindo em:

• Termo de Reconstrução: Incentiva a geração de traços que levam à resposta correta. Isso é otimizado usando Otimização de Política Relativa em Grupo (GRPO) com recompensas derivadas da própria probabilidade de previsão de resposta do modelo (eliminando verificadores externos).
• Termo de Regularização: Um termo de divergência KL $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ restringe a distribuição composta a permanecer próxima do prior. Isso garante que os padrões de raciocínio aprendidos durante o treinamento (que podem usar orientação de resposta) se transfiram efetivamente para a inferência (onde nenhuma resposta está disponível).
• Estimação de KL: O artigo deriva estimadores de KL de baixa variância e não negativos usando variáveis de controle baseadas em divergência de Bregman, lidando com a incompatibilidade de distribuição entre a amostragem híbrida e a distribuição composta alvo.

Contribuições Principais

1. Formulação Variacional do Raciocínio: Os autores formulam a otimização do raciocínio como um problema de inferência variacional, unificando teoricamente os modos de geração a priori (apenas com pergunta) e a posteriori (guiado por resposta) dentro de um framework tratável.
2. Estratégia de Amostragem Híbrida: Eles propõem um mecanismo que equilibra a aprendizagem guiada por resposta (para eficiência e coerência) com a transferibilidade no momento da inferência (via prior), abordando o trade-off entre eficiência de amostragem e alinhamento traço-resposta.
3. Otimização de Distribuição Composta: Ao construir e otimizar uma distribuição composta, o CoVRL permite uma exploração eficiente enquanto preserva uma forte coerência pensamento-resposta, evitando problemas de cobertura do treinamento apenas com posterior.

Resultados Experimentais

Os autores avaliaram o CoVRL em uma suíte abrangente de benchmarks, incluindo raciocínio geral (MMLU-Pro, GPQA, TheoremQA) e raciocínio matemático (AIME'24, MATH-500, etc.), usando os modelos Qwen2.5-7B-Base e Qwen3.

• Ganhos de Desempenho: O CoVRL alcançou uma melhoria de 12,4% sobre o modelo base e uma melhoria de 2,3% sobre as melhores linhas de base de RL livres de verificador (como VeriFree, RLPR e LaTRO) em média.
• Generalização: Apesar de ser treinado principalmente em perguntas não matemáticas, o modelo mostrou ganhos substanciais em benchmarks matemáticos, indicando que as capacidades de raciocínio aprendidas são generalizáveis entre domínios.
• Dinâmica de Treinamento: Os experimentos mostraram que a distribuição posterior fornece orientação eficaz para a melhoria da recompensa, enquanto a distribuição anterior melhora consistentemente, confirmando que a orientação se transfere para a inferência.
• Estudos de Ablação:
  • Razão de Amostragem ($\alpha$): Uma razão de amostragem equilibrada ($\alpha=0,5$) superou configurações extremas, confirmando a necessidade de acoplar ambas as distribuições.
  • Robustez: O método demonstrou melhorias consistentes em diferentes tamanhos de modelo (de 7B a 14B) e arquiteturas.
  • Qualidade do Raciocínio: Avaliações humanas e de LLM como juiz indicaram melhorias na factualidade, validade, coerência e utilidade dos traços de raciocínio intermediários.

Significado e Alegações

O artigo afirma que o CoVRL fornece um framework principiado para aprimorar as capacidades de raciocínio geral de modelos de linguagem sem depender de verificadores externos. Ao acoplar explicitamente distribuições a priori e a posteriori, o método supera a ineficiência da amostragem apenas com perguntas e a incompatibilidade de inferência do treinamento guiado por resposta.

Os autores enfatizam que sua abordagem democratiza o acesso ao raciocínio avançado de IA, removendo a dependência de motores de verificação robustos e específicos de domínio. Embora reconheçam o potencial de uso indevido (por exemplo, gerar desinformação sofisticada), o trabalho se posiciona como um passo em direção a um raciocínio mais robusto e generalizável em LLMs, particularmente em domínios onde a verificação formal é atualmente inviável. Os resultados sugerem que desenvolver padrões fundamentais de raciocínio através dessa abordagem variacional acoplada é mais eficaz do que otimizar para soluções específicas de domínio.