Resumo Técnico: Restaurando o Ponto Ideal via Auto-Distilação Ponderada pela Taxa de Aprovação

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais treinados usando Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para domínios como código e matemática. Embora métodos de RLVR como a Otimização de Política Relativa em Grupo (GRPO) tenham demonstrado sucesso, eles sofrem de um "gargalo de atribuição de crédito", onde uma única recompensa escalar por tentativa falha em indicar onde ou por que um modelo falhou.

A Otimização de Política de Auto-Distilação (SDPO) aborda isso usando o próprio modelo como professor, condicionado a informações privilegiadas (por exemplo, erros de tempo de execução ou soluções corretas), para fornecer supervisão densa e em nível de token. No entanto, os autores identificam um compromisso crítico:

• GRPO possui uma "consciência de dificuldade" implícita. Sua normalização de vantagem relativa ao grupo concentra naturalmente o aprendizado em um "ponto ideal" de questões de dificuldade intermediária (onde a taxa de aprovação $p \approx 0,5$), suprimindo o aprendizado em questões que são muito fáceis ($p \approx 1$) ou muito difíceis ($p \approx 0$).
• SDPO, embora forneça uma atribuição de crédito densa superior, carece dessa consciência de dificuldade. Sua perda baseada em KL trata todas as questões igualmente, diluindo o sinal de aprendizado nas amostras mais informativas de dificuldade intermediária e falhando em suprimir grupos não informativos totalmente corretos ou totalmente incorretos.

O problema central é que a SDPO sacrifica a concentração benéfica do "ponto ideal" do GRPO para ganhar atribuição de crédito densa, resultando em eficiência de aprendizado subótima.

2. Metodologia: SC-SDPO

Os autores propõem SDPO Consistente de Escala (SC-SDPO), uma variante que restaura o "ponto ideal" consciente de dificuldade à SDPO, sem sacrificar sua atribuição de crédito densa ou exigir professores externos.

Fundamentação Teórica

O artigo estende o quadro de aprendibilidade de Bae et al. [2026] para recompensas normalizadas.

1. Recompensas Brutas vs. Normalizadas: Sob recompensas binárias brutas, a melhoria da política é limitada inferiormente pela variância $p(1-p)$. No entanto, o GRPO usa normalização relativa ao grupo: $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$.
2. O Fator de Escala: Os autores demonstram que essa normalização absorve o termo de variância $p(1-p)$, equalizando a aprendibilidade de ordem principal entre as questões. Consequentemente, a magnitude do gradiente residual por questão no GRPO escala como $\sqrt{p(1-p)}$, e não $p(1-p)$.
3. O Objetivo Ideal: Para combinar as vantagens densas em nível de token da SDPO com a modulação de dificuldade do GRPO, o gradiente ideal por questão deve ser escalado por um fator de $[\hat{p}(1-\hat{p})]^{1/2}$.

Implementação Algorítmica

O SC-SDPO modifica a função de perda da SDPO introduzindo um peso escalar por questão $\bar{w}_j$:
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

Componentes-chave do esquema de ponderação:

• Função de Peso: O peso não normalizado é $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$, onde $\hat{p}_j$ é a taxa de aprovação empírica para a questão $j$ dentro de um lote. Os autores definem $\alpha = 1/2$ com base na derivação teórica.
• Normalização Adaptativa ao Lote: Para evitar instabilidade no treinamento à medida que a distribuição das taxas de aprovação muda durante o treinamento, os pesos são normalizados dentro do lote: $\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$, onde $S$ é o conjunto de questões não degeneradas.
• Subproduto de Custo Zero: Como a SDPO é um algoritmo on-policy que já amostra múltiplos rolagens por questão, a taxa de aprovação $\hat{p}_j$ é um subproduto gratuito do loop de treinamento existente. Nenhuma rolagem adicional ou passagens offline são necessárias.

3. Contribuições Principais

1. Análise Teórica: O artigo identifica que a normalização de vantagem do GRPO absorve o termo de variância $p(1-p)$, deixando $\sqrt{p(1-p)}$ como o fator de escala natural para a magnitude do gradiente. Isso corrige uma suposição anterior de que a escala deveria ser linear com a variância.
2. Algoritmo SC-SDPO: Uma modificação simples, de escalar único, à SDPO que restaura a consciência de dificuldade. Pesa dinamicamente as questões com base em suas taxas de aprovação em evolução, criando um currículo implícito que rastreia a competência do modelo.
3. Validação Empírica: Experimentos extensivos demonstrando que combinar atribuição de crédito densa (SDPO) com ponderação consciente de dificuldade (SC-SDPO) produz desempenho superior em comparação com o uso de qualquer mecanismo isoladamente.

4. Resultados Experimentais

Os experimentos foram conduzidos em Qwen3-8B e OLMo-3-7B em benchmarks de raciocínio científico (Química, Física, Biologia, Ciência dos Materiais) e uso de ferramentas.

• Ganhos de Desempenho:
  • No Qwen3-8B, o SC-SDPO ($\alpha=0,5$) melhorou em relação à linha de base SDPO não ponderada em +3,2 (média@16) e +4,3 (maj@16) em média.
  • No OLMo-3-7B, melhorou em +1,8 (média@16) e +3,0 (maj@16).
  • O SC-SDPO superou consistentemente o GRPO, SDPO e outras linhas de base (PACED, Hard Filter, SRPO).
• Análise do Expoente: A escolha de $\alpha=0,5$ (consistente de escala) superou consistentemente $\alpha=1$ (baseado em variância), validando a afirmação teórica de que $\alpha=1$ suprime excessivamente o sinal de aprendizado.
• Dinâmicas de Treinamento:
  • O SC-SDPO manteve normas de gradiente estáveis, semelhantes à linha de base SDPO não ponderada, enquanto a ponderação estática (PACED) causou picos de gradiente e o filtro rígido suprimiu gradientes de forma muito agressiva.
  • O método manteve com sucesso uma fração maior de amostras de dificuldade intermediária ("ponto ideal") durante o treinamento inicial, acelerando a aquisição de habilidades.
  • Os comprimentos de resposta permaneceram mais altos que a linha de base SDPO, sugerindo que o modelo foi incentivado a elaborar sobre questões de dificuldade intermediária em vez de colapsar para respostas curtas.

5. Significado e Afirmações

O artigo afirma que o SC-SDPO resolve a tensão fundamental entre atribuição de crédito densa e consciência de dificuldade no pós-treinamento de LLMs. Ao derivar o fator de escala correto ($\sqrt{p(1-p)}$) através da análise teórica de recompensas normalizadas, os autores fornecem uma "prescrição simples" que restaura o "ponto ideal" à auto-distilação.

O significado reside em:

• Eficiência: Alcança resultados state-of-the-art sem exigir modelos professores externos ou sobrecarga computacional adicional (estimação de taxa de aprovação de custo zero).
• Robustez: A normalização adaptativa ao lote garante dinâmicas de treinamento estáveis, evitando as armadilhas de esquemas de ponderação estáticos ou congelados.
• Generalização: O método funciona em diferentes famílias de modelos (Qwen e OLMo) e tipos de tarefas (raciocínio e uso de ferramentas).

Os autores permanecem modestos quanto às limitações, observando que o método depende de recompensas binárias e granularidade discreta da taxa de aprovação (dependente do número de rolagens $G$), e sua eficácia em tarefas de geração aberta ou em escalas de modelo significativamente maiores requer validação adicional.