💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

O GFlowRL introduz um algoritmo de aprendizado por reforço escalável e estável do tipo GFlowNet para grandes modelos de linguagem que elimina a necessidade de uma função de partição aprendida ao utilizar estimativas de Monte Carlo em lote e estabilizadores especializados, alcançando desempenho de estado da arte em benchmarks de matemática, código e adversários em arquiteturas densas e esparsas de até 235B de parâmetros.

Autores originais: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno brilhante e superveloz a resolver os enigmas mais difíceis do mundo, de problemas matemáticos complexos à escrita de códigos de computador que nunca travam. No mundo da inteligência artificial, esse aluno é um "Large Language Model" (LLM), e o método que usamos para ensiná-lo é chamado de Aprendizado por Reforço (Reinforcement Learning). Pense nisso como um videogame onde a IA ganha pontos (recompensas) por fazer a coisa certa. Por muito tempo, a estratégia padrão era agir como um jogador ganancioso: "Encontre o único movimento que dá mais pontos agora, e faça isso repetidamente." Isso funciona bem, mas tem uma falha. É como um aluno que memoriza uma forma específica de resolver um problema matemático e se recusa a tentar qualquer outro método, mesmo que esse outro método seja tão bom quanto. Eles ficam "presos" em uma maneira de pensar, perdendo a criatividade e a variedade necessárias para lidar com situações novas e complicadas.

Para corrigir isso, cientistas tentaram recentemente uma abordagem diferente chamada "Generative Flow Networks" (GFlowNets). Em vez de apenas caçar o melhor movimento único, este método ensina a IA a explorar todos os bons movimentos, dando a eles uma chance de serem usados com base no quão bem funcionam. É como dizer ao aluno: "Tente todos os caminhos válidos através do labirinto, não apenas aquele que parece mais rápido." O objetivo é criar um pensador diverso e flexível. No entanto, tentar escalar isso para modelos de IA massivos e superinteligentes foi um pesadelo. As ferramentas que os cientistas construíram para fazer isso funcionar eram tão complicadas e instáveis que frequentemente causavam o travamento da IA ou faziam com que ela não aprendesse nada, especialmente quando os modelos cresciam demais ou as tarefas se tornavam desordenadas.

Este artigo, intitulado "GFlowRL", aborda exatamente essa dor de cabeça. Os autores descobriram que a parte mais complicada da receita anterior de "pensamento diverso" era, na verdade, o próprio problema. Eles descobriram que uma ferramenta matemática específica, que deveria ajudar a equilibrar o aprendizado da IA, estava agindo mais como um rádio barulhento e quebrado do que como um guia útil. Ao descartar essa ferramenta quebrada e substituí-la por um cálculo muito mais simples e instantâneo, eles criaram um novo método chamado GFlowRL. Esta nova abordagem é estável, rápida e surpreendentemente eficaz. Ela permite que modelos de IA massivos aprendam diversas estratégias de resolução de problemas sem travar, mesmo nos desafios mais difíceis de matemática e programação. De fato, seu novo método superou os recordistas anteriores, alcançando um nível de habilidade em programação competitiva que rivaliza com os melhores sistemas de IA disponíveis atualmente, mantendo todo o processo de treinamento suave e constante.

O Problema: A "Calculadora Mágica" Que Quebrou Tudo

Para entender o avanço, primeiro precisamos olhar para a antiga maneira de fazer as coisas. Quando pesquisadores tentaram ensinar a IA a ser diversa usando GFlowNets, eles dependiam de uma "calculadora" especial (tecnicamente chamada de função de partição) para ajudar a equilibrar as recompensas. Imagine que você é um professor tentando avaliar uma turma de 1.000 alunos. Você quer garantir que, se um aluno encontrar uma solução inteligente e única, ele receba crédito, mas também precisa garantir que as notas não sejam tão altas que todo o sistema quebre.

O método antigo tentava construir um novo e minúsculo modelo de IA apenas para atuar como esta calculadora. O problema era que essa calculadora minúscula tinha que aprender do zero enquanto o estudante gigante (a IA principal) já era um gênio. Era como pedir a um bebê que gerenciasse o orçamento de uma empresa de bilhões de dólares enquanto o CEO tomava as decisões. O bebê (a calculadora) ficava confuso, gritava números aleatórios e fazia todo o sistema entrar em pânico. Os pesquisadores descobriram que essa "calculadora" estava, na verdade, fazendo mais mal do que bem. Ela era tão instável que causava a explosão de erros no processo de aprendizado da IA e, em muitos casos, a IA não aprendia nada melhor do que se a calculadora tivesse sido substituata por ruído aleatório.

A Solução: Descarte a Calculadora, Use o Grupo

Os autores do GFlowRL fizeram uma pergunta simples e ousada: "Nós realmente precisamos desta calculadora quebrada?"

Eles perceberam que a IA já estava fazendo o trabalho que a calculadora deveria fazer. Quando a IA pratica, ela não tenta apenas uma resposta; ela tenta um grupo de respostas de uma só vez (como um grupo de foco). Os pesquisadores notaram que poderiam simplesmente olhar para o grupo de respostas que a IA já havia gerado para entender o equilíbrio de que precisavam. Em vez de construir uma máquina separada e frágil para fazer a matemática, eles apenas usaram os dados que estavam bem diante deles.

Pense nisso como: em vez de contratar um contador nervoso para dizer quanto a equipe ganhou, você apenas olha os recibos que a equipe acabou de lhe entregar. É a mesma informação, mas é imediata, é real e não exige uma nova e cara máquina que possa quebrar.

Essa mudança simples — substituir a calculadora complexa e aprendida por uma estimativa rápida e instantânea a partir do grupo — mudou tudo.

Estabilidade: Os erros selvagens e explosivos desapareceram. O treinamento tornou-se tão suave quanto os métodos padrão usados hoje.
Simplicidade: Eles não precisaram treinar um segundo modelo extra. Isso economizou uma enorme quantidade de poder computacional e tempo.
Desempenho: Surpreendentemente, a IA não apenas parou de travar; ela ficou melhor.

Os Resultados: De Travando a Campeão

A equipe testou este novo método, GFlowRL, em alguns dos desafios mais difíceis para a IA:

Matemática: Eles treinaram modelos em competições matemáticas difíceis. O novo método ajudou a IA a resolver mais problemas do que qualquer método anterior que tentou incentivar a diversidade.
Programação: Eles o testaram em sites de programação competitiva como o Codeforces. Um modelo de 14 bilhões de parâmetros treinado com GFlowRL alcançou uma classificação de 2048. Para colocar em perspectiva, este é um nível de habilidade incrivelmente alto, superando recordes anteriores de código aberto e ficando a apenas 25 pontos da melhor IA de código fechado disponível (o3-mini).
Segurança (Red Teaming): Eles também o testaram em "red-teaming", que é uma forma de tentar quebrar as regras de segurança da IA para ver se elas se sustentam. Neste ambiente barulhento e desordenado, onde os métodos anteriores falharam completamente, o GFlowRL teve sucesso, alcançando a maior taxa de sucesso em atacar filtros de segurança, provando que poderia aprender estratégias complexas e diversas mesmo quando o feedback era confuso.

Talvez a parte mais impressionante tenha sido o quão bem ele escalou. Quando tentaram usar este método em modelos massivos de "Mistura de Especialistas" (MoE) — sistemas de IA com centenas de bilhões de parâmetros — os métodos anteriores travaram imediatamente. O GFlowRL, no entanto, continuou funcionando perfeitamente, mesmo em um modelo com 235 bilhões de parâmetros.

Por Que Isso Importa

A grande lição aqui não é apenas que eles construíram um treinador de IA melhor; é que eles perceberam que o "melhor" jeito de fazer as coisas nem sempre é o mais complicado. Ao remover as partes desnecessárias e instáveis da receita antiga, eles encontraram um caminho que é ao mesmo tempo mais simples e mais poderoso.

O GFlowRL sugere que, para tornar a IA verdadeiramente inteligente e diversa, não precisamos adicionar mais camadas de maquinário complexo. Às vezes, a melhor maneira de ensinar um aluno superinteligente é parar de superdimensionar o plano de aula e apenas deixá-lo aprender com o grupo de ideias que ele já está gerando. Acontece que a chave para escalar o raciocínio da IA não era adicionar mais ferramentas, mas saber exatamente quais ferramentas jogar fora.

Resumo Técnico: GFlowRL

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se o paradigma padrão de pós-treinamento para grandes modelos de linguagem (LLMs), particularmente para tarefas de raciocínio como matemática e codificação. No entanto, as abordagens dominantes de RL (ex: PPO, GRPO) são fundamentalmente maximizadoras de recompensa. Elas concentram a massa de probabilidade no único modo de maior recompensa, levando ao colapso de modo (mode collapse) e a uma redução na diversidade de soluções. Isso é estruturalmente limitador para o raciocínio de cadeia de pensamento (chain-of-thought), onde a generalização e a robustez dependem da cobertura de múltiplos caminhos de solução válidos.

Redes de Fluxo Generativo (GFlowNets) oferecem uma alternativa ao aprender políticas que amostram trajetórias em proporção à sua recompensa, thereby correspondendo à distribuição de recompensa em vez de maximizá-la. Tentativas recentes de aplicar GFlowNets a LLMs (ex: FlowRL, FOR) utilizam um objetivo de Equilíbrio de Trajetória (TB). Este objetivo requer a estimativa de uma função de partição $Z(x)$ , tipicamente implementada como uma rede auxiliar aprendida (ex: um MLP) condicionada ao prompt.

O artigo identifica um gargalo crítico de escalonamento: no contexto do pós-treinamento de LLMs modernos, treinar conjuntamente uma rede de partição inicializada aleatoriamente junto a uma política pré-treinada massiva é instável. A política requer apenas um refinamento modesto, enquanto a função de partição deve aprender uma quantidade complexa do zero dentro do mesmo curto horizonte de treinamento. Essa assimetria faz com que a função de partição aprendida atue como uma fonte de ruído e instabilidade de gradiente em vez de um normalizador útil, levando frequentemente à divergência do treinamento, especialmente em regimes de recompensa esparsa (ex: red-teaming adversarial) e em arquiteturas esparsas (Mistura de Especialistas, ou MoE).

Metodologia: GFlowRL

Os autores propõem o GFlowRL, um algoritmo de RL estilizado como GFlowNet que elimina inteiramente a função de partição aprendida, preservando o objetivo de correspondência da distribuição de recompensa.

Insight Central

Através de uma análise sistemática, os autores demonstram que a função de partição aprendida $Z_\phi(x)$ contribui com informação negligenciável para a atualização da política. Empiricamente, substituir o $Z_\phi$ aprendido por ruído aleatório produz um desempenho comparável, embora a versão aprendida introduza ordens de magnitude maiores em normas de gradiente e explosões frequentes de gradiente.

O Algoritmo

O GFlowRL substitui o $Z_\phi(x)$ aprendido por uma estimativa de Monte Carlo em lote (in-batch) simples, computada diretamente do grupo de rollouts já exigido para o treinamento (semelhante à normalização relativa ao grupo em GRPO).

Estimador In-Batch: Para um prompt $x$ e um grupo de $G$ rollouts $\{y^{(1)}, \dots, y^{(G)}\}$ , a estimativa para $\log Z(x)$ é computada como a média dos alvos de TB através do grupo:
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Este estimador serve como um baseline de parada de gradiente (stop-gradient baseline). Ele centraliza o resíduo, mas não carrega gradiente próprio, removendo a necessidade de uma rede auxiliar e seu estado de otimizador.
Estabilizadores: Para garantir a estabilidade, o GFlowRL incorpora dois mecanismos principais:
- Correção de Amostragem de Importância: Corrige o desvio entre a política de rollout ( $\pi_{old}$ ) e a política atual ( $\pi_\theta$ ).
- Clipping Assimétrico de Gap de Fluxo: O flow gap (o resíduo antes do termo de atualização da política) é clipado assimetricamente. Isso permite correções ascendentes mais agressivas para soluções corretas subamostradas, enquanto limita atualizações negativas, evitando que rollouts discrepantes desestabilizem o treinamento.
Função de Perda: A perda final minimiza o quadrado do resíduo do flow gap, normalizado pelo comprimento da resposta para evitar que sequências longas dominem o gradiente.

Principais Contribuições

Identificação da Fonte de Instabilidade: O artigo identifica a função de partição aprendida $Z_\phi$ como a principal fonte de instabilidade no RL baseado em GFlowNet para LLMs. Fornece evidência empírica de que $Z_\phi$ oferece quase nenhum benefício para o pós-treinamento e, em vez disso, introduz desafios de otimização desnecessários.
Algoritmo GFlowRL: A proposta de um algoritmo simplificado que substitui a rede de partição aprendida por uma estimativa de Monte Carlo em lote. Isso remove a rede auxiliar e seu overhead de treinamento distribuído, mantendo o ponto fixo do objetivo de equilíbrio de trajetória.
Escalonamento Estável: Demonstração de treinamento estável em ambas as arquiteturas densas e esparsas (MoE), incluindo regimes onde métodos anteriores (FlowRL) divergem.

Resultados Experimentais

Os autores avaliam o GFlowRL em benchmarks de raciocínio matemático, programação competitiva e red-teaming adversarial usando modelos variando de 7B a 235B de parâmetros.

Raciocínio Matemático: No modelo denso de 7B, o GFlowRL atinge uma precisão média de 40.92, superando o GRPO (32.48) e o FlowRL (35.63). Também supera o FlowRL no modelo de 32B.
Geração de Código: Na escala de 14B, o GFlowRL alcança um rating Codeforces de 2048, excedendo o DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) e o o1 da OpenAI (+157 Elo). Está a apenas 25 Elo do o3-mini.
Red-Teaming Adversarial: Em regimes de recompensa ruidosa onde o FlowRL falha em convergir, o GFlowRL treina de forma estável. Ele atinge a maior Taxa de Sucesso de Ataque média (ASR@1) no AdvBench (82.5%) e no HarmBench (79.5%), superando o anterior SOTA de atacante multi-turno (SEMA).
Escalonamento MoE: O GFlowRL treina com sucesso no Qwen3-30B-A3B (3B parâmetros ativos) e Qwen3-235B-A22B (22B parâmetros ativos). No modelo de 30B, atinge 1999 Elo de Codeforces. Em contraste, o FlowRL diverge em todos os benchmarks MoE testados.
Diversidade: O GFlowRL atinge uma pontuação de diversidade de 3.93 (em uma escala de 1-5), significativamente superior ao GRPO (1.21) e FlowRL (2.64), confirmando sua capacidade de manter caminhos de raciocínio diversos.

Significância e Alegações

O artigo afirma que o GFlowRL é o primeiro algoritmo de RL do tipo GFlowNet que escala de forma estável através de arquiteturas densas e esparsas para grandes modelos de raciocínio.

Os autores argumentam que o gargalo de escalonamento para o RL do tipo GFlowNet não é o objetivo de equilíbrio de trajetória em si, mas a função de partição aprendida. Ao substituir este componente por um estimador simples e não aprendido derivado do grupo de rollout, o GFlowRL alcança os benefícios da correspondência de distribuição (diversidade, robustez) sem o overhead de engenharia e a instabilidade das redes auxiliares. Isso sugere que o escalonamento do RL do tipo GFlowNet para modelos de fronteira depende menos da adição de maquinaria complexa e mais da identificação e remoção de componentes desnecessários do objetivo original.