💬 NLP

Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models

Este artigo propõe o MPO (Multi-token Policy Gradient Optimization), um framework que trata sequências de K tokens como ações semânticas unificadas para superar as limitações dos métodos tradicionais baseados em tokens individuais em tarefas de raciocínio complexo, demonstrando superioridade em benchmarks de matemática e programação.

Autores originais: Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

Publicado 2026-02-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a resolver problemas de matemática ou a escrever código. Até agora, a maneira padrão de treinar esse robô era como se ele estivesse aprendendo a andar: um passo de cada vez.

O robô olhava para a frase anterior, pensava: "Qual é a próxima palavra?" e escolhia uma. Depois, olhava para a nova frase e repetia o processo. O problema é que, em tarefas complexas (como resolver uma equação ou criar uma função de código), a "decisão" não é uma única palavra. É um bloco inteiro de pensamento.

Por exemplo, quando o robô decide escrever x = 5, ele não está apenas escolhendo a letra "x", depois o "=", depois o "5". Ele está tomando uma decisão lógica de definir uma variável. Se o robô focar apenas em cada letra isoladamente, ele pode perder o sentido do bloco inteiro, como tentar montar um quebra-cabeça olhando apenas para uma peça de cada vez, sem ver a imagem completa.

A Solução: O Método "MPO" (Otimização de Blocos)

Os autores deste artigo propuseram uma nova técnica chamada MPO (Otimização de Política de Múltiplos Tokens). Vamos usar uma analogia simples para entender como funciona:

1. A Analogia do Maestro e da Orquestra

O Método Antigo (Token por Token): Imagine um maestro que diz para cada músico: "Toque uma nota agora". O violinista toca uma nota, o flautista toca outra, e assim por diante. O maestro avalia se cada nota individual foi boa. O problema? Às vezes, a nota sozinha é perfeita, mas quando junta com as outras, a melodia fica estranha. O maestro não vê a "frase musical" completa.
O Novo Método (MPO): Agora, imagine que o maestro diz: "Toquem esta frase inteira de 5 notas". Ele avalia a frase como um todo. Se a frase faz sentido musicalmente, ele elogia o grupo. Se a frase está errada, ele corrige o grupo inteiro.

No mundo dos computadores, em vez de avaliar a probabilidade de gerar uma única palavra (token), o MPO avalia a probabilidade de gerar um bloco de palavras (por exemplo, 5 palavras seguidas) como uma única ação semântica.

2. Por que isso é importante?

Em raciocínio complexo, como matemática ou programação, as ideias são construídas em blocos:

Definir uma variável (let x = 10).
Escrever uma equação (y = x + 5).
Criar uma função inteira.

Se o robô tentar aprender apenas palavra por palavra, ele pode "esquecer" o objetivo do bloco no meio do caminho. O MPO força o robô a pensar: "Vou gerar esse pequeno parágrafo inteiro e ver se ele faz sentido lógico". Isso ajuda o robô a manter a coerência e a lógica por mais tempo.

3. O Resultado na Prática

Os pesquisadores testaram essa ideia em modelos de linguagem famosos (como o Llama e o DeepSeek) em tarefas de matemática e programação.

O que aconteceu? Os modelos treinados com o método "bloco a bloco" (MPO) ficaram melhores do que os treinados com o método "palavra por palavra".
A vantagem: Eles cometeram menos erros de lógica, mantiveram a coerência em respostas longas e resolveram problemas mais difíceis com mais precisão. Além disso, o treinamento foi mais estável, como se o robô tivesse menos "tonturas" enquanto aprendia.

Resumo em uma frase

O MPO ensina a inteligência artificial a pensar em parágrafos e ideias completas em vez de apenas em palavras soltas, permitindo que ela raciocine de forma mais humana, lógica e coerente, assim como um maestro que ouve a melodia inteira e não apenas uma nota isolada.

É um passo importante para fazer com que as IAs não apenas "adivinhem a próxima palavra", mas realmente "entendam e planejem" a próxima etapa do raciocínio.

1. O Problema

Os métodos atuais de Gradiente de Política (como PPO, GRPO e DAPO) utilizados no ajuste fino de Modelos de Linguagem Grandes (LLMs) tratam a geração de texto como uma sequência de decisões independentes, onde cada token individual é considerado uma ação distinta.

Incompatibilidade Granular: Em tarefas de raciocínio complexo (como matemática ou programação), uma única decisão semântica (ex: definir uma variável, compor uma equação ou escrever uma função) é frequentemente realizada através de um bloco de vários tokens.
Fragmentação Semântica: Ao otimizar token por token, os métodos existentes podem fragmentar a estrutura lógica do raciocínio. Isso cria uma desconexão entre a otimização local (próximo token) e a natureza global e coerente das etapas de raciocínio, levando a inconsistências semânticas e instabilidade no treinamento.
Limitação de Longo Alcance: A dependência de longo prazo e a estrutura composicional do raciocínio não são capturadas eficientemente quando o modelo é forçado a tomar decisões semânticas completas passo a passo, token a token.

2. Metodologia: MPO (Multi-token Policy Gradient Optimization)

Os autores propõem o MPO, um framework que altera a unidade de ação no processo de gradiente de política de "token único" para "blocos de tokens".

Conceitos Principais:

Ações de Bloco: Em vez de tratar a geração de cada token como uma ação isolada, o MPO agrupa sequências de K tokens consecutivos como uma única ação semântica unificada.
Módulos de Predição Multi-Token (MTP): O método utiliza módulos de MTP (inspirados em trabalhos como DeepSeek-V3) que permitem ao modelo prever até K tokens futuros a partir de um único estado, mantendo a consistência causal.
Razão de Importância Agregada:
- No PPO padrão, a razão de importância ( $r_t$ ) é calculada token a token.
- No MPO, a razão de importância é calculada sobre o bloco de K tokens. Para evitar a alta variância que ocorreria ao multiplicar as razões de probabilidade (produto de K termos), os autores propõem uma formulação baseada em soma ponderada de log-razões:
  $\tilde{R}^{(K)}_{i,t}(\theta) = \exp \left( \sum_{n=1}^{K} \beta_n \log r_{i,t+n}(\theta) \right)$
  Onde $\beta_n$ são pesos decrescentes que dão mais importância aos tokens mais próximos e menos aos mais distantes, controlando a variância e o viés.
Objetivo de Otimização: O objetivo de substituição (surrogate objective) do MPO utiliza essa razão agregada ponderada pelos benefícios (advantages) estimados, incentivando o modelo a otimizar padrões coerentes de múltiplos tokens em vez de movimentos isolados.

Fluxo de Treinamento:

Warm-up: Os módulos MTP são inicializados e pré-treinados (warm-up) usando uma tarefa de previsão de múltiplos tokens supervisionada para garantir a qualidade das previsões futuras antes do início do RL.
Fine-tuning (RL): O modelo é ajustado usando o gradiente de política com as razões de importância de bloco. O backbone do modelo permanece congelado (ou com aprendizado limitado), focando o treinamento nos módulos MTP e na política.

3. Contribuições Chave

Novo Paradigma de Otimização: Introdução do MPO, que permite a otimização sobre unidades de raciocínio estruturadas (blocos) em vez de tokens isolados, alinhando melhor o processo de aprendizado com a natureza do raciocínio humano.
Integração no Pós-Treinamento: Adaptação bem-sucedida da previsão multi-token (anteriormente usada principalmente em pré-treinamento ou inferência) para a fase de alinhamento por RL (Reinforcement Learning), demonstrando que é possível melhorar a coerência do raciocínio sem re-treinar o modelo do zero.
Desempenho Superior: Evidência empírica de que o MPO supera consistentemente os baselines de nível de token (PPO, GRPO, DAPO) em benchmarks de raciocínio matemático e geração de código.
Análise de Estabilidade: Demonstração de que a agregação de informações de múltiplos tokens reduz a variância da razão de importância e a fração de clipping (corte) durante o treinamento, levando a uma convergência mais estável.

4. Resultados Experimentais

Os autores avaliaram o MPO em três modelos de base (Llama3.2-1B, DeepSeek-Distilled-Qwen2.5-1.5B e 7B) em três benchmarks:

Raciocínio Matemático (GSM8K e MATH):
- O MPO superou os baselines em todos os cenários.
- No benchmark MATH (nível de competição), o MPO mostrou ganhos significativos, especialmente em modelos maiores (7B), onde a coerência estrutural é crítica.
- Exemplo: No DeepSeek-Qwen2.5-1.5B no MATH, o MPO alcançou 0.789 de acurácia, superando o PPO (0.769) e o GRPO (0.751).
Geração de Código (HumanEval):
- O MPO também obteve os melhores resultados, indicando que a abordagem é eficaz não apenas para raciocínio simbólico, mas também para síntese de programas, onde a estrutura de blocos (funções, loops) é fundamental.
Estabilidade e Eficiência:
- Variância: O MPO reduziu significativamente a variância da razão de importância em comparação ao PPO.
- Overhead Computacional: O tempo de treinamento aumentou apenas marginalmente (~30% mais rápido que GRPO em alguns casos devido a otimizações de implementação, ou comparável em custo de memória), pois os módulos MTP geram previsões em paralelo em uma única passagem forward.
- Análise de Ablação: Foi encontrado um ponto ótimo onde cerca de 10-20% do sinal de treinamento vem dos módulos MTP. Pesos excessivos introduzem ruído e viés, degradando o desempenho.

5. Significado e Impacto

Mudança de Granularidade: O trabalho desafia a suposição predominante de que a otimização de LLMs deve ocorrer estritamente no nível de token. Ele sugere que para tarefas de raciocínio complexo, a unidade de decisão deve ser semântica e estrutural (blocos).
Eficiência no Pós-Treinamento: Oferece uma solução prática para melhorar a capacidade de raciocínio de modelos pré-treinados sem a necessidade de um pré-treinamento massivo com perda multi-token, utilizando apenas uma fase de ajuste fino (fine-tuning) eficiente.
Futuro da Pesquisa: Abre caminho para novas pesquisas em "aprendizado de política estruturada", onde o modelo aprende a planejar e executar ações em múltiplos passos simultaneamente, melhorando a consistência lógica e a capacidade de resolver problemas de longo horizonte.

Em resumo, o MPO demonstra que tratar sequências de tokens como ações semânticas coesas é uma estratégia superior para o ajuste fino de modelos de linguagem em tarefas que exigem raciocínio profundo e estruturado.