🤖 machine learning

Maximum Likelihood Reinforcement Learning

Este artigo introduz o Aprendizado por Reforço de Máxima Verossimilhança (MaxRL), um novo framework que preenche a lacuna entre o RL de recompensa esperada e a máxima verossimilhança ao oferecer um objetivo indexado por computação que domina o sentido de Pareto os métodos existentes e melhora significativamente a eficiência de escalonamento em tempo de teste.

Autores originais: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Publicado 2026-08-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existem duas formas dominantes de ensinar um computador a pensar. A primeira é como um professor rigoroso que fornece a resposta correta para cada pergunta, permitindo que o aluno compare seu trabalho com um gabarito e ajuste sua compreensão de acordo. Este método, conhecido como aprendizado supervisionado, impulsionou os mais impressionantes reconhecedores de imagem e ferramentas de linguagem que usamos hoje. A segunda abordagem é mais parecida com uma criança aprendendo a andar: não há gabarito, apenas o ambiente em si. O aprendiz tenta um passo, cai, tenta novamente e, eventualmente, aprende a se equilibrar ao sentir as consequências de suas ações. Isso é o aprendizado por reforço, um método projetado para situações onde o caminho para uma solução não é uma linha reta de dados, mas uma série de escolhas que levam a um resultado final. Durante anos, quando os sistemas de IA enfrentavam problemas onde o único feedback era um simples "sim" ou "não" ao final — como resolver um problema matemático ou navegar em um labirinto — os pesquisadores dependiam deste segundo método. Eles tratavam o problema como um jogo de maximização de recompensas, assumindo que, se a IA pudesse apenas obter sinais de "sim" suficientes, ela aprenderia a ter sucesso.

Um novo estudo desafia essa suposição de longa data, sugerindo que a maneira padrão de ensinar esses sistemas é, na verdade, uma aproximação grosseira de um princípio muito mais poderoso, mas anteriormente inacessível. Os pesquisadores, trabalhando em diversas universidades, descobriram que, quando um modelo de IA gera uma resposta correta, ele está criando implicitamente uma probabilidade de sucesso. Em um mundo perfeito, a melhor maneira de treinar o modelo seria maximizar essa probabilidade diretamente, um conceito conhecido como máxima verossimilhança (maximum likelihood). No entanto, como o processo de gerar uma resposta frequentemente envolve etapas imprevisíveis que não podem ser facilmente medidas pela matemática interna de um computador, os cientistas foram forçados a usar a abordagem de "jogo" do aprendizado por reforço. O novo trabalho prova que essa abordagem padrão é apenas um palpite de primeira ordem em relação ao verdadeiro objetivo. Ela perde as informações sutis e críticas escondidas nos momentos raros em que o modelo tem dificuldades, mas acaba tendo sucesso. Ao desenvolver um novo framework de treinamento chamado Maximum Likelihood Reinforcement Learning, ou MaxRL, a equipe encontrou uma maneira de preencher essa lacuna, permitendo que o sistema aprenda com seus sucessos com uma precisão que era anteriormente impossível.

O cerne da descoberta reside em como o computador pesa seus erros e suas vitórias. No método tradicional, toda vez que o modelo produz uma resposta correta, ele recebe uma recompensa, e o sistema ajusta suas configurações internas para tornar esse resultado mais provável. No entanto, este método trata uma resposta correta da mesma forma, independentemente de quão difícil foi o problema. Se o modelo resolve um quebra-cabeça simples e um complexo com a mesma facilidade, o sistema tradicional dá a eles o mesmo crédito. A nova pesquisa mostra que isso é ineficiente. O verdadeiro objetivo é maximizar a verossimilhança de estar correto, o que matematicamente exige que o sistema preste muito mais atenção aos problemas difíceis onde o sucesso é raro. O método padrão falha em fazer isso porque olha apenas para a taxa média de sucesso. O novo framework, MaxRL, muda o cálculo ao olhar para todo o histórico de tentativas. Ele pergunta: "Se tentássemos este problema muitas vezes, com que frequência acertaríamos?". Ao analisar a frequência de sucesso através de muitas tentativas, o sistema pode inferir a verdadeira dificuldade do problema e ajustar seu aprendizado de acordo.

Para testar essa ideia, os pesquisadores construíram um sistema que pudesse simular esse processo de aprendizado mais sofisticado. Eles criaram uma família de objetivos que poderiam ser ajustados como um botão giratório. Em uma extremidade do botão, o sistema se comporta exatamente como os métodos de aprendizado por reforço padrão usados hoje. Na outra extremidade, ele se comporta como o treinador de máxima verossimilhança ideal, que é teoricamente perfeito, mas geralmente impossível de executar. No meio, o botão permite que o sistema use mais poder computacional para obter uma aproximação melhor e mais precisa desse ideal. A equipe descobriu que, à medida que aumentavam a quantidade de poder computacional dedicado à geração de múltiplas tentativas para cada problema, o desempenho do sistema melhorava dramaticamente. Não era apenas que o sistema se tornava mais estável; a própria natureza do que ele estava aprendendo mudava. Ele começou a focar intensamente nos problemas difíceis que os métodos antigos ignoravam, levando a uma compreensão muito mais profunda da tarefa.

Os resultados desta abordagem foram impressionantes em uma variedade de testes. Em um ambiente controlado onde os pesquisadores podiam comparar diretamente o novo método com o ideal teórico, o novo sistema aproximou-se do desempenho do treinador perfeito conforme adicionavam poder computacional. Em contraste, os métodos padrão atingiram um teto, falhando em fazer progressos significativos mesmo quando recebiam quantidades massivas de dados. Quando a equipe passou para cenários mais complexos e do mundo real, como navegar em labirintos e resolver problemas matemáticos, a vantagem tornou-se ainda mais clara. Em tarefas envolvendo raciocínio matemático, o novo método alcançou ganhos de desempenho até vinte vezes mais eficientes do que os métodos de ponta atuais. Isso significa que, para atingir o mesmo nível de habilidade, o novo sistema exigiu muito menos tentativas e menos tempo de computação. Talvez o mais importante seja que o novo método não sofreu com o problema de "overfitting" (sobreajuste) que frequentemente assola esses sistemas, onde um modelo aprende a memorizar tão bem os dados de treinamento que falha ao generalizar para novos problemas não vistos. Enquanto outros métodos viram sua capacidade de gerar soluções corretas e diversas degradar ao longo do tempo, o novo framework manteve uma variedade saudável de respostas corretas, sugerindo que estava realmente aprendendo a lógica subjacente, em vez de apenas memorizar padrões.

As implicações deste trabalho estendem-se para além de apenas tornar a IA mais inteligente; elas mudam a forma como pensamos sobre os limites do aprendizado de máquina. Por muito tempo, a dificuldade em treinar esses sistemas em tarefas de raciocínio complexo foi atribuída aos próprios algoritmos ou à falta de dados. Este estudo sugere que o gargalo era, na verdade, a função objetivo — o objetivo matemático que o sistema estava tentando alcançar. Ao mudar o objetivo de simplesmente maximizar a recompensa média para maximizar a verossimilhança da correção, os pesquisadores desbloquearam um novo nível de eficiência. O sistema não está mais apenas adivinhando a resposta certa; está aprendendo a entender a probabilidade de sucesso de uma forma que espelha como os humanos aprendem com vitórias raras e conquistadas com dificuldade. Os pesquisadores observam que esta abordagem funciona melhor quando há uma forma clara de verificar se uma resposta está correta, como em matemática ou programação, mas os princípios poderiam potencialmente se aplicar a outras áreas onde o resultado é binário. À medida que a inteligência artificial continua a enfrentar problemas mais complexos e abstratos, a capacidade de aprender eficientemente a partir de feedbacks esparsos será crucial. Este novo framework fornece um caminho a seguir, mostrando que, ao refinar a maneira como definimos o sucesso, podemos ensinar as máquinas a aprender não apenas mais rápido, mas melhor.

Resumo Técnico: Aprendizado por Reforço de Máxima Verossimilhança (MaxRL)

Definição do Problema

O Aprendizado por Reforço (RL) é o paradigma padrão para treinar modelos em configurações onde a função objetivo é não diferenciável e só pode ser avaliada via amostragem, como tarefas com resultados binários de sucesso/falha (ex: síntese de programas, raciocínio matemático, navegação). Nestes cenários, o modelo induz uma verossimilhança implícita de correção, $p_\theta(y^*(x) | x)$ , para um dado input $x$ . Embora a Máxima Verossimilhança (ML) seja o objetivo principado para otimizar tais probabilidades em configurações diferenciáveis, ela é tradicionalmente intratável aqui devido ao processo estocástico de geração não diferenciável. Consequentemente, os praticantes recorrem ao RL padrão, que otimiza a recompensa esperada (a taxa de sucesso esperada, $E[p_\theta]$ ), em vez do log-verossimilhança ( $E[\log p_\theta]$ ).

Os autores observam que o RL padrão e a ML induzem comportamentos de otimização fundamentalmente diferentes. Especificamente, o gradiente do objetivo de ML envolve um reponderamento de probabilidade inversa ( $1/p_\theta$ ), o que coloca uma ênfase significativamente maior em inputs "difíceis" com baixas probabilidades de sucesso. Em contraste, os gradientes do RL padrão ( $\nabla p_\theta$ ) tratam todos os inputs linearmente, frequentemente subestimando casos difíceis. Esse descompasso sugere que o RL é meramente um contorno para a não diferenciabilidade, em vez de ser o objetivo ideal para tarefas baseadas em correção.

Metodologia: Aprendizado por Reforço de Máxima Verossimilhança (MaxRL)

O artigo introduz o Aprendizado por Reforço de Máxima Verossimilhança (MaxRL), um framework que preenche a lacuna entre o RL de recompensa esperada padrão e a Máxima Verossimilhança exata, aproveitando o aumento do computacional de amostragem.

Fundamentação Teórica

Os autores derivam uma expansão de nível populacional do objetivo de Máxima Verossimilhança usando uma série de Maclaurin em termos de eventos de falha. Para uma taxa de sucesso $p$ , o log-verossimilhança é:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
Diferenciando isso, obtém-se o gradiente de ML como uma mistura harmônica infinita de gradientes de pass@k:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
O RL padrão corresponde à aproximação de primeira ordem ( $k=1$ ), otimizando apenas $\nabla_\theta \text{pass@}1$ . O MaxRL propõe truncar esta série em uma ordem finita $T$ , criando uma família de objetivos $J_{MaxRL}^{(T)}$ que interpolam entre o RL ( $T=1$ ) e a ML exata ( $T \to \infty$ ).

Estimativa de Gradiente

Para estimar esses objetivos truncados sem amostragem adaptativa (que é computacionalmente cara para baixas taxas de sucesso), os autores propõem um estimador on-policy simples.

Amostragem: Para um dado input, amostre $N$ trajetórias $z_1, \dots, z_N$ da política $m_\theta$ .
Condicionamento de Sucesso: Identifique trajetórias bem-sucedidas onde $f(z_i) = y^*(x)$ . Seja $K$ a contagem de sucessos.
Estimador: O estimador de gradiente faz a média das funções de score ( $\nabla_\theta \log m_\theta(z_i|x)$ ) apenas sobre as trajetórias bem-sucedidas, normalizada por $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{se } K \ge 1)$
onde $r_i$ é a recompensa binária e $S_i$ é o score.
Redução de Variância: Uma covariável de controle (a média incondicional do score) é subtraída para reduzir a variância, resultando no estimador final usado no Algoritmo 1.

Insight Chave: O Teorema 2 estabelece que este estimador é um estimador não viesado para o objetivo de ML truncado de ordem $T=N$ (ou $T=N-1$ com subtração de baseline). Crucialmente, aumentar o número de rollouts $N$ não apenas reduz a variância de um objetivo fixo; ele aumenta a ordem de aproximação do próprio objetivo, aproximando o alvo de otimização da verdadeira Máxima Verossimilhança.

Implementação

O MaxRL requer apenas uma modificação de uma linha em implementações de RL on-policy padrão (como RLOO ou GRPO). Em vez de normalizar a vantagem pelo número total de amostras ou pelo desvio padrão, a vantagem é normalizada pela média da recompensa (ou pela contagem de amostras bem-sucedidas), efetivamente reponderando o sinal do gradiente para corresponder ao objetivo de ML.

Contribuições Principais

Formalização: O artigo formaliza o RL baseado em correção como um problema de Máxima Verossimilhança de geração latente, provando que o RL padrão otimiza apenas a aproximação de primeira ordem do objetivo de ML.
Objetivos Indexados por Computação: Introduz uma família de objetivos que interpolam entre a recompensa esperada e a ML exata via expansão de Maclaurin em eventos de pass@k, controlados pelo orçamento de computação de amostragem.
Equivalência Estimador-Objetivo: Fornece um estimador on-policy simples e não viesado onde o aumento do número de rollouts $N$ melhora diretamente a fidelidade do objetivo de verossimilhança aproximado, em vez de apenas reduzir a variância.
Validação Empírica: Experimentos extensos demonstram que o MaxRL domina o Pareto de métodos existentes (RLOO, GRPO) em várias escalas e regimes de dados.

Resultados Experimentais

Os autores avaliam o MaxRL em quatro regimes distintos:

Configuração Diferenciável Controlada (ImageNet): Quando a ML exata (Cross-Entropy) está disponível, o MaxRL converge para ela conforme o número de rollouts aumenta. Em contraste, o REINFORCE padrão falha em progredir de baixas taxas iniciais de sucesso mesmo com orçamentos de amostragem massivos.
Regime de Dados Infinitos (Navegação de Labirinto): Em um cenário rico em dados com 1 milhão de labirintos únicos, o MaxRL escala significativamente melhor em termos de computação do que o GRPO e o RLOO. Enquanto outros métodos estagnam, o MaxRL continua a melhorar, mostrando um gap substancial entre pass@1 e pass@k, indicando diversidade retida e potencial de aprendizado.
Regime de Escassez de Dados (GSM8K): Em um dataset fixo (GSM8K) treinado por muitos epochs, o MaxRL demonstra uma resistência superior ao overfitting. Enquanto o RLOO e o GRPO sofrem de "degradação de pass@k" (perda de diversidade) e estagnam precocemente, o MaxRL sustenta a melhoria ao longo de muitos epochs, alcançando um pico de performance mais alto enquanto mantém a diversidade de saída.
Raciocínio de Larga Escala (Modelos Qwen3): Treinando modelos de 1.7B e 4B parâmetros em tarefas de raciocínio matemático, o MaxRL domina o Pareto do GRPO. Ele alcança pontuações pass@1 mais altas enquanto simultaneamente melhora o pass@k (cobertura). Notavelmente, o MaxRL gera ganhos de até 20x de eficiência de escalonamento de tempo de teste sobre o GRPO quando utiliza um verificador perfeito, pois requer menos amostras para atingir a mesma cobertura.

Significância e Alegações

O artigo afirma que o MaxRL oferece uma alternativa principada ao RL padrão para tarefas de recompensa binária. Sua principal significância reside em reenquadrar as limitações do RL de modelos de fundação não como algo inerente ao processo de otimização ou amostragem, mas como uma consequência da escolha do objetivo.

Dinâmica de Otimização: O MaxRL concentra os sinais de aprendizado em prompts mais difíceis (baixas taxas de sucesso), ao contrário do GRPO e RLOO que podem levar as distribuições a extremos (0 ou 1).
Escalonamento: O MaxRL escala de forma mais favorável tanto com dados adicionais quanto com computação. Em cenários de escassez de dados, ele evita o colapso de diversidade frequentemente visto em treinamentos de RL prolongados.
Eficiência: Ao alinhar o objetivo de treinamento com o objetivo de tempo de teste (maximizar a probabilidade de encontrar qualquer solução correta entre $k$ amostras), o MaxRL melhora drasticamente a eficiência de inferência.

Os autores concluem que o MaxRL é uma direção promissora para escalar o RL em domínios baseados em correção, oferecendo um caminho para recuperar os benefícios do treinamento de Máxima Verossimilhança em configurações não diferenciáveis através do aumento do computacional de amostragem.