Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

Declaração do Problema

A Aprendizagem por Reforço Online com Recompensas Verificáveis (RLVR) transforma resultados verificáveis (por exemplo, provas matemáticas, testes unitários de código) em sinais de treinamento escaláveis. No entanto, métodos online padrão (como PPO ou GRPO) mantêm a geração de trajetórias, a pontuação do verificador e as avaliações da política de referência no caminho crítico de otimização, levando a altos custos computacionais e uso de memória.

Uma alternativa natural é desacoplar a geração da otimização: amostrar trajetórias verificadas uma vez, atribuir pesos e treinar via Ajuste Fino Supervisionado (SFT) estático. Contudo, o artigo identifica uma ambiguidade fundamental nesta abordagem: a SFT ponderada não é um único objetivo. A política induzida pela SFT ponderada depende conjuntamente do amostrador que produziu as trajetórias e dos pesos atribuídos a elas. Simplesmente anexar pesos a dados pré-calculados não garante que a política resultante corresponda ao otimizador do objetivo original de RLVR online regularizado por KL. Sem uma condição específica de correspondência ao alvo, a SFT ponderada estática pode ajustar-se a uma política diferente da solução RLVR pretendida, mesmo com dados infinitos e otimização exata.

Metodologia: Teoria da Projeção Boltzmann

O artigo desenvolve um quadro teórico para identificar a correspondência exata ao nível da política entre a SFT ponderada estática e o RLVR regularizado por KL de referência fixa.

1. A Política Alvo (Alvo Boltzmann de Referência Fixa)
O artigo estabelece que o otimizador do objetivo de RLVR regularizado por KL (maximizar recompensa menos divergência KL de uma política de referência $\pi_{ref}$) é uma política condicional específica, o alvo Boltzmann $\pi^*$:
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
onde $r(x, y)$ é a recompensa do verificador e $\beta$ é a temperatura. Este alvo é uma inclinação exponencial da política de referência.

2. A Identidade Alvo-Induzida
Usando a Proposição 1, os autores mostram que qualquer objetivo de SFT ponderada induz uma política alvo $\tilde{\pi}_w$ proporcional ao produto do amostrador $q$ e do peso $w$: $\tilde{\pi}_w \propto q(y|x)w(x,y)$.
Para substituir fielmente o RLVR online, a política induzida $\tilde{\pi}_w$ deve ser igual ao alvo Boltzmann $\pi^*$.

3. A Lei de Correspondência ao Alvo
O artigo deriva a condição necessária para esta correspondência (Teorema 4). Para um amostrador fixo $q$, os pesos devem ser proporcionais à razão de densidade $\pi^*/q$.
Crucialmente, na subclasse amostrada por referência onde as trajetórias são geradas a partir da política de referência ($q = \pi_{ref}$), a condição simplifica-se unicamente para o peso Boltzmann normalizado pelo prompt:
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
onde $Z(x)$ é a função de partição (normalizador). Este peso é exatamente a derivada de Radon–Nikodym que converte trajetórias de referência em trajetórias alvo.

4. O Algoritmo BOLT
Com base nesta teoria, os autores propõem o BOLT (SFT Alvo-Boltzmann). Ele opera em duas fases:

• Fase 1 (Pré-cálculo): Amostragem de trajetórias a partir da política de referência, avaliação delas com um verificador e cálculo dos pesos empíricos Boltzmann normalizados pelo prompt usando estimativa de Monte Carlo de $Z(x)$.
• Fase 2 (Otimização): Treinamento do modelo usando SFT multi-época padrão neste conjunto de dados ponderado fixo.
  Como o trabalho pesado (amostragem, pontuação, normalização) é pré-calculado, a fase de otimização não requer passadas adiante do modelo de referência, reduzindo significativamente os custos de memória e computação em comparação com o RLVR online.

Análise de Uma Única Tentativa Finita e Limitações

O artigo fornece uma análise rigorosa de amostras finitas (Seções 5 e 6) que decompõe o erro da substituição estática em componentes distintos:

• Lacuna Restrita ao Suporte: Se a política de referência $\pi_{ref}$ nunca amostrar uma conclusão de alta recompensa, nenhuma quantidade de ponderação ou otimização pode recuperá-la. O artigo prova um limite inferior exato na perda de valor: $\beta \log(1/\pi^*(S_N | x))$, onde $S_N$ é o suporte armazenado. Isso explica por que épocas extras de SFT não podem reparar a cobertura ausente.
• Fronteira Temperatura-Cobertura-Variância: Existe uma compensação onde diminuir $\beta$ (afiar o alvo) aumenta o custo do tamanho efetivo da amostra (ESS) e a variância do normalizador, tornando a estimativa mais difícil se a probabilidade de passagem da referência for baixa.
• Atualização Iterativa como Descida do Espelho da Política KL: Quando a cobertura é fraca mas não nula, o artigo mostra que o BOLT iterativo (onde a política atualizada se torna a nova referência para a próxima rodada) é matematicamente equivalente à Descida do Espelho da Política KL (KL-PMD). Este processo acumula inclinações de recompensa e melhora a cobertura futura de trajetórias, ao contrário da reutilização estática de uma única tentativa.

Resultados Principais e Evidências Empíricas

Os autores validam sua teoria usando modelos Qwen nos benchmarks GSM8K (matemática) e HumanEval (código). Os experimentos são projetados para isolar mecanismos teóricos específicos em vez de reivindicar domínio em rankings.

• Correspondência ao Alvo: Comparar o BOLT (pesos Boltzmann) com "Refit" (pesos de recompensa brutos) nas mesmas trajetórias de referência mostra que o BOLT alcança precisão significativamente maior (por exemplo, +1,44 no GSM8K, +3,60 no MATH). Isso confirma que a razão de densidade específica, e não apenas a fonte de dados, determina o alvo induzido.
• Eficiência: O BOLT alcança precisão comparável ou ligeiramente melhor que o GRPO online, enquanto reduz o tempo de treinamento em ~75–85% e o pico de memória em ~18–31%, pois remove o loop online.
• Saturação de Uma Única Tentativa vs. Atualização: Experimentos mostram que o BOLT de uma única tentativa frequentemente satura após algumas épocas se o suporte de referência for limitado. No entanto, o BOLT Iterativo (atualizando o amostrador) continua a melhorar o desempenho, validando a interpretação de KL-PMD.
• Retenção: Métodos que usam trajetórias de referência (BOLT, Refit) mostram menos esquecimento catastrófico em benchmarks gerais (PIQA, HellaSwag) em comparação com SFT apenas de demonstração, sugerindo que as trajetórias de referência ajudam a ancorar a distribuição.

Significado e Reivindicações

O artigo reivindica fornecer uma compreensão ao nível do mecanismo da substituição estática de RLVR, indo além de comparações heurísticas de perdas de treinamento. Suas contribuições principais são:

1. Identificação do Alvo: Estabelece que a SFT ponderada estática é apenas uma substituição fiel para o RLVR de referência fixa se o produto amostrador-peso induzir o alvo Boltzmann específico. Identifica a razão de densidade Boltzmann normalizada pelo prompt como o peso único para dados amostrados por referência.
2. Decomposição de Lacuna Finita: Separa o "preço do suporte" irredutível (cobertura ausente) de erros de estimativa finitos (variância do normalizador, deriva de otimização). Isso esclarece que métodos estáticos não podem corrigir lacunas de cobertura que a política de referência falhou em amostrar.
3. Interpretação Iterativa: Reenquadra a amostragem e ponderação iterativas não meramente como "mais otimização", mas como uma forma de Descida do Espelho da Política KL que melhora ativamente a cobertura.
4. Eficiência Prática: Demonstra que pré-calcular as quantidades definidoras do alvo (pesos) permite um procedimento de SFT estático que corresponde ao alvo teórico do RLVR online com sobrecarga computacional significativamente reduzida.

Os autores permanecem modestos, observando que seus resultados são baseados em experimentos de execução única e tamanhos de modelo específicos. Eles enfatizam que a teoria identifica quando a substituição estática é válida (regimes cobertos) e por que falha (lacunas de suporte), em vez de reivindicar superioridade universal sobre todos os métodos online. O trabalho serve como uma ponte teórica entre a geometria do RL regularizado por KL e a implementação prática de aprendizado supervisionado estático e ponderado.