Reinforcement Learning with Conditional Expectation Reward

O artigo propõe a Recompensa de Expectativa Condicional (CER), um método que utiliza o próprio modelo de linguagem como verificador implícito para fornecer sinais de recompensa graduais e eliminar a dependência de regras de verificação externas, ampliando assim a eficácia do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para domínios de raciocínio de resposta livre.

O essencial

Imagine que você está ensinando um robô superinteligente (um modelo de linguagem) a resolver problemas. O objetivo é fazer com que ele pense melhor, como um matemático ou um cientista.

Para ensinar o robô, usamos um método chamado Aprendizado por Reforço. Pense nisso como um jogo de "quente e frio": quando o robô acerta, ganha um ponto (recompensa); quando erra, não ganha nada. O problema é: como sabemos se ele acertou?

O Problema: A Regra Rígida

Até agora, para dar pontos, usávamos "juízes" muito rígidos, baseados em regras manuais.

• Exemplo: Se a pergunta é "Quanto é 2+2?", o juiz só aceita "4". Se o robô disser "Quatro", "4.0" ou "A soma de dois mais dois é quatro", o juiz diz: "ERRADO! Zero pontos!".
• O Dilema: Isso funciona bem em matemática, onde a resposta é única. Mas e se a pergunta for: "Por que o céu é azul?" ou "Qual a melhor estratégia de negócios?". Aqui, existem muitas respostas corretas, mas escritas de formas diferentes. O juiz rígido fica confuso, rejeita respostas boas e o robô fica frustrado, aprendendo pouco.

A Solução: O "CER" (Recompensa de Expectativa Condicional)

Os autores deste paper propõem uma ideia genial: e se o próprio robô fosse o juiz?

Eles criaram um método chamado CER. Em vez de usar um manual de regras, o CER pergunta ao robô: "Se você já deu essa resposta, qual a chance de você gerar a resposta 'correta' (a que o professor tem) se tentasse de novo?"

A Analogia do "Espelho da Memória"

Imagine que o robô é um ator ensaiando uma peça.

1. O Método Antigo (Regras): O diretor grita "Corte!" se o ator não disser a frase exata do roteiro, mesmo que ele tenha dito algo com o mesmo sentido. O ator fica sem saber o que fazer.
2. O Método CER: O diretor (que é o próprio ator) olha para o que ele acabou de dizer e pensa: "Hmm, o que eu disse foi muito parecido com o roteiro. Se eu tentasse de novo, eu provavelmente diria a frase exata do roteiro. Então, vou te dar 80% de pontos!".
   • Se a resposta for totalmente errada, o ator pensa: "Nossa, isso não tem nada a ver com o roteiro. Se eu tentasse de novo, eu não diria a frase certa. Zero pontos."

O CER não dá apenas "Certo" ou "Errado". Ele dá uma nota de 0 a 100, baseada em quão "congruente" a resposta do robô é com a resposta certa.

Por que isso é revolucionário?

1. Funciona em Qualquer Lugar: Não importa se é matemática, física, finanças ou uma pergunta criativa. O robô usa sua própria "inteligência interna" para julgar, sem precisar de um manual de regras feito por humanos.
2. Recompensa Parcial: Se o robô der uma resposta que está "quase lá", o CER dá uma pontuação média. Isso é como um professor que diz: "Você entendeu o conceito, mas errou o detalhe. Bom trabalho, mas pode melhorar". Isso ensina o robô a refinar sua resposta, em vez de apenas tentar de novo aleatoriamente.
3. Economia de Recursos: O método é inteligente o suficiente para reutilizar os dados que o robô já gerou, não precisando de computadores extras para julgar as respostas.

Resumo da Ópera

Os autores criaram um sistema onde o robô aprende a autoavaliar-se de forma flexível. Em vez de um juiz de "tudo ou nada", eles criaram um mentor que entende que existem várias maneiras de chegar à verdade.

Isso permite que a Inteligência Artificial aprenda a raciocinar em qualquer assunto do mundo real, não apenas em exercícios de matemática onde a resposta é sempre um número exato. É como trocar um martelo (que só serve para pregos) por uma mão humana capaz de moldar qualquer material.

Resumo técnico

Resumo Técnico: Aprendizado por Reforço com Recompensa de Expectativa Condicional (CER)

1. O Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem se mostrado eficaz para melhorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), especialmente em domínios como matemática. No entanto, o RLVR tradicional enfrenta duas limitações críticas ao ser aplicado a domínios de raciocínio geral (como física, química, finanças e respostas livres):

1. Dependência de Regras Manuais: O RLVR padrão depende de verificadores baseados em regras (handcrafted) que exigem respostas canônicas ou normalizáveis. Em domínios de resposta livre, onde a semântica correta pode ser expressa de muitas formas superficiais diferentes, é extremamente difícil criar regras exaustivas e precisas.
2. Feedback Binário e Esparsidade: Verificadores baseados em regras geralmente fornecem feedback binário (correto/errado). Isso trata todas as respostas não idênticas à referência como igualmente incorretas, falhando em recompensar respostas "parcialmente corretas" ou semanticamente equivalentes. Isso resulta em sinais de aprendizado esparsos e ruidosos, dificultando a otimização do modelo.

2. Metodologia: Conditional Expectation Reward (CER)

Os autores propõem o CER, uma nova função de recompensa que utiliza o próprio LLM como um verificador implícito, eliminando a necessidade de verificadores externos ou modelos auxiliares.

• Definição Conceitual: O CER é definido como a probabilidade esperada de gerar a resposta de referência ($a^*$) condicionada à resposta gerada pelo modelo ($a$).
  • A intuição é que, se a resposta gerada $a$ for consistente com a referência $a^*$, o modelo deve atribuir uma probabilidade condicional mais alta para regenerar $a^*$ dado que já produziu $a$.
• Formulação Matemática:
  Para uma quadrupla $(q, s, a, a^*)$ (pergunta, solução, resposta gerada, resposta de referência), o CER $\rho(a, a^*)$ é definido como:
  $$\rho(a, a^*) = \mathbb{E}_{s' \sim \pi_\theta(\cdot|q, a)} [\pi_\theta(a^*|s', q)]$$
  Onde $\pi_\theta$ é a política do modelo.
• Estimativa Empírica: Como a soma sobre todos os possíveis resultados é intratável, os autores derivam uma estimativa empírica usando a Regra de Bayes e amostragem de Monte Carlo. A recompensa é calculada como uma média ponderada normalizada:
  $$R(q, s, a, a^*) \approx \frac{\sum_{j=1}^M \pi_\theta(a|s_j, q) \pi_\theta(a^*|s_j, q)}{\sum_{j=1}^M \pi_\theta(a|s_j, q)}$$
  Onde $s_j$ são soluções amostradas independentemente.
• Eficiência Computacional: O método reutiliza as amostras já geradas para o cálculo do gradiente da política, evitando custos adicionais de amostragem. Além disso, respostas idênticas recebem recompensas idênticas, permitindo otimizações de cache.

3. Propriedades Teóricas e Contribuições Chave

O artigo estabelece propriedades fundamentais que validam o CER:

• Generalização Suave: O CER atua como uma relaxação suave do critério de correspondência exata (exact-match). Enquanto o match exato é binário, o CER fornece um sinal de recompensa contínuo e graduado.
• Teorema de Equivalência de Valor: O valor esperado do objetivo CER é teoricamente equivalente ao objetivo de correspondência exata, garantindo que o modelo ainda seja otimizado para a resposta correta, mas com um caminho de aprendizado mais rico.
• Auto-Consistência: O CER demonstra um efeito de amplificação de auto-consistência; quando a resposta gerada corresponde à referência, a probabilidade de regenerar a referência aumenta.
• Eliminação de Verificadores Externos: Diferente de métodos baseados em perplexidade ou verificadores de modelos separados, o CER é intrínseco ao modelo em treinamento, tornando-o aplicável a qualquer domínio sem necessidade de ajuste fino de verificadores externos.

4. Resultados Experimentais

Os autores avaliaram o CER em dois conjuntos de dados principais: MATH-7.5K (matemática) e WebInstruct (domínio geral: física, química, biologia, finanças).

• Desempenho em Domínios Gerais:
  • Em tarefas de raciocínio geral (avaliadas em SuperGPQA e MMLU-Pro), o CER superou consistentemente recompensas de correspondência exata, verificadores baseados em regras e verificadores baseados em perplexidade (VeriFree).
  • O CER alcançou desempenho superior ou comparável a verificadores de modelos externos (General-verifier), mas sem a necessidade de treinar um modelo verificador separado.
• Desempenho em Matemática:
  • Em benchmarks matemáticos (MATH500, AIME, AMC), o CER atingiu desempenho comparável aos verificadores baseados em regras (o estado da arte para matemática), demonstrando que não há perda de desempenho ao abandonar as regras manuais.
• Combinação Híbrida:
  • A combinação de CER com recompensas baseadas em regras (Rule+CER) resultou no melhor desempenho geral, sugerindo que os dois métodos são complementares: as regras garantem precisão em domínios estruturados, enquanto o CER fornece sinais densos em domínios de resposta livre.
• Eficiência:
  • O CER oferece um trade-off controlável entre custo computacional e precisão através do hiperparâmetro $M$ (número de amostras). Mesmo com valores menores de $M$, o CER superou métodos mais caros como VeriFree.

5. Significado e Impacto

O trabalho apresenta o CER como uma solução unificada e robusta para estender o Aprendizado por Reforço a uma ampla gama de domínios de raciocínio.

• Flexibilidade: Permite o treinamento de RL em domínios onde a definição de regras de verificação é inviável (respostas abertas).
• Sinais de Aprendizado Ricos: Ao fornecer recompensas graduadas em vez de binárias, o CER facilita a exploração de respostas semanticamente corretas, mas lexicalmente diferentes, acelerando a convergência e melhorando a qualidade do raciocínio.
• Simplicidade Arquitetural: Ao eliminar a dependência de modelos verificadores externos ou regras manuais complexas, o CER simplifica o pipeline de treinamento de RL para LLMs, tornando-o mais escalável e aplicável a novos domínios.

Em suma, o CER representa um avanço significativo ao transformar o LLM em seu próprio verificador, permitindo que o aprendizado por reforço supere as barreiras impostas pela rigidez das verificações baseadas em regras.