Resumo Técnico: O Mirage da Otimização de Políticas de Treinamento (MIPU)

1. Declaração do Problema: Desalinhamento de Objetivos em LLM RL

O Aprendizado por Reforço (RL) tornou-se um paradigma crítico para o pós-treinamento de Large Language Models (LLMs), particularmente para o aprimoramento de capacidades de raciocínio e seguimento de instruções. No entanto, os pipelines modernos de RL para LLMs frequentemente sofrem de um descompasso entre treinamento e inferência (training-inference mismatch). Na prática, os LLMs utilizam motores distintos para geração (inferência, ex: vLLM, SGLang) e computação de gradiente (treinamento, ex: FSDP, Megatron). Mesmo com parâmetros de modelo sincronizados, diferenças em precisão (ex: FP8 vs. FP16), implementações de decodificação e backends de serviço fazem com que a política de treinamento ($\pi$) e a política de inferência ($\mu$) atribuam probabilidades diferentes às mesmas trajetórias.

Trabalhos existentes tentam mitigar esse descompasso corrigindo razões do lado do amostrador (sampler), filtrando amostras instáveis ou reduzindo taxas de aprendizado. Contudo, os autores argumentam que essas abordagens tratam o sintoma, não a causa raiz: o desalinhamento de objetivos. Algoritmos de RL padrão otimizam a política de treinamento ($\pi$), assumindo que uma melhoria em $\pi$ ($J(\pi_{k+1}) - J(\pi_k) \ge 0$) garante uma melhoria na política de inferência implantada ($\mu$). O artigo demonstra que, sob condições de descompasso, essa implicação não se sustenta:
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
Consequentemente, uma atualização sincronizada que parece benéfica no lado do treinamento pode, na verdade, degradar o desempenho da política de inferência utilizada na implantação.

2. Metodologia: Atualização Monotônica da Política de Inferência (MIPU)

Para abordar isso, os autores propõem um novo princípio de otimização, a Melhoria Monotônica da Política de Inferência (MIPI), que desloca o objetivo de melhorar a política de treinamento para garantir a melhoria monotônica da política de inferência ($J(\mu_{k+1}) - J(\mu_k) \ge 0$). Eles realizam este princípio através de um framework de dois passos chamado Atualização Monotônica da Política de Inferência (MIPU).

O núcleo do MIPU é a decomposição da melhoria da política de inferência em três termos:
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Termo 1: Gap de Inferência Pós-atualização}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Termo 2: Atualização do Lado do Treinamento}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Termo 3: Gap de Inferência Pré-atualização}}$$

Passo 1: Atualização de Política Referenciada pelo Amostrador

Este passo otimiza os Termos 2 e 3 combinados ($J(\pi_{k+1}) - J(\mu_k)$).

• Mecanismo: Em vez de usar a política de treinamento padrão $\pi_k$ como referência para o objetivo substituto (como no GRPO/PPO padrão), o MIPU usa a política de inferência $\mu_k$ (o amostrador) como referência.
• Implementação: Os autores adotam uma abordagem de Amostragem de Importância Truncada (TIS). Eles calculam um peso de correção $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ para contabilizar o descompasso pré-atualização. Para evitar alta variância, este peso é truncado. A restrição de clipping é então aplicada apenas à razão de atualização atual $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$.
• Objetivo: Isso gera uma política de treinamento candidata $\pi_{k+1}$ que é teoricamente alinhada com o amostrador $\mu_k$, garantindo a "meia" monotonicidade $J(\pi_{k+1}) - J(\mu_k) \ge 0$.

Passo 2: Aceitação de Atualização Consciente do Gap de Inferência

Este passo valida o Termo 1 ($J(\mu_{k+1}) - J(\pi_{k+1})$), que representa o gap entre a política de treinamento candidata e sua realização de inferência sincronizada.

• Mecanismo: Após sincronizar $\pi_{k+1}$ ao motor de inferência para criar $\mu_{k+1}$, o sistema avalia o gap de inferência pós-atualização.
• Estimativa de Proxy: Como a vantagem exata sob $\pi_{k+1}$ não está disponível, o MIPU usa uma identidade reversa para estimar o gap usando rollouts de validação de $\mu_{k+1}$. Ele computa um proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$, onde $\rho_i$ é um peso de importância normalizado pelo comprimento que corrige o desvio de distribuição de $\mu_{k+1}$ para $\pi_{k+1}$.
• Critério de Aceitação: A atualização é aceita apenas se $\hat{T}_{post} \ge -c$, onde $c$ é um parâmetro de tolerância. Se o gap for muito negativo (indicando que a política de inferência tem desempenho inferior à candidata de treinamento), a atualização é rejeitada e o sistema retorna ao checkpoint anterior.

3. Principais Contribuições

1. Princípio MIPI: O artigo identifica e formaliza o desalinhamento de objetivos em LLM RL, propondo que o alvo de otimização deve ser a trajetória da política de inferência, não o substituto de treinamento.
2. Framework MIPU: Um novo framework de RL de dois passos que desacopla a construção de candidatos (Passo 1) da validação do gap de inferência (Passo 2). Ele permite uma implementação flexível de atualizações referenciadas pelo amostrador e aceitação consciente da inferência.
3. Validação Empírica: Demonstra que o MIPU melhora tanto o desempenho de raciocínio quanto a estabilidade do treinamento em cenários de alto descompasso (especificamente rollouts quantizados em FP8) comparado ao GRPO padrão e outros baselines de estabilização.

4. Resultados Experimentais

Os autores avaliaram o MIPU nos modelos Qwen3-1.7B e Qwen3-4B utilizando rollouts quantizados em FP8 para induzir um descompasso significativo entre treinamento e inferência. O treinamento foi conduzido em datasets de raciocínio matemático (DAPO-Math-17, DeepMath-103K) e avaliado em cinco benchmarks (MATH-500, AIME24, AMC23, Minerva, OlympiadBench).

• Desempenho: O MIPU alcançou a maior acurácia média em ambas as escalas de modelo (66,71% no Qwen3-4B e 53,97% no Qwen3-1.7B), superando baselines como o GRPO padrão, MIS (filtragem de descompasso) e LR-decay.
• Estabilidade: Enquanto os baselines frequentemente exibiam degradação aguda de desempenho ou colapso após atingirem picos intermediários, o MIPU manteve a dinâmica de treinamento estável durante todo o processo.
• Estudos de Ablação:
  • Apenas Passo 1: Melhorou a qualidade dos candidatos, mas falhou em prevenir o acúmulo de erros de descompasso, levando à instabilidade.
  • Apenas Passo 2: Preveniu o colapso ao rejeitar atualizações ruins, mas não conseguiu melhorar o desempenho se os candidatos basais subjacentes fossem tendenciosos.
  • MIPU Completo: A combinação foi necessária; o Passo 1 corrigiu a direção da atualização, enquanto o Passo 2 filtrou candidatos não confiáveis, resultando em maior desempenho de pico e estabilidade de longo prazo.
• Análise do Passo 2: Os autores verificaram que o sucesso do Passo 2 não se deve meramente a rejeitar mais atualizações (um controle de "rollback aleatório" falhou apesar de rejeitar mais atualizações). Em vez disso, sua eficácia provém do uso do sinal de gap de inferência para distinguir entre candidatos sincronizados prejudiciais e benignos.

5. Significância e Alegações

O artigo afirma que o descompasso entre treinamento e inferência não deve ser visto apenas como uma discrepância de baixo nível do sistema a ser minimizada, mas como uma mudança fundamental no objetivo de melhoria da política. Ao deslocar o foco da política de treinamento para a política de inferência, o MIPU aborda o "mirage" onde melhorias no lado do treinamento não se traduzem em ganhos de implantação.

Os autores observam modestamente que seus experimentos estão atualmente limitados a modelos de escala moderada devido a restrições computacionais e que o Passo 2 representa um espaço de design flexível, não uma implementação fixa. Eles sugerem que trabalhos futuros poderiam explorar estimadores mais eficientes para o gap pós-atualização e aplicar esses princípios a modelos maiores e diversos sistemas de RL. A contribuição central é uma mudança de paradigma: garantir que a política usada para implantação seja aquela que está sendo otimizada, em vez de assumir que a otimização do lado do treinamento é suficiente.