🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

Este artigo apresenta um novo método de pós-treinamento para modelos de linguagem de grande escala que aprimora a Otimização de Política Relativa em Grupo (GRPO) ao calcular a média dos logits de uma política de referência SFT congelada e de uma política treinável, eliminando assim a necessidade de regularização KL ou de um crítico, enquanto combina efetivamente as capacidades de raciocínio do RL com a estabilidade de formatação do SFT.

Autores originais: Xingwei Gan, Ying Zhu

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xingwei Gan, Ying Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Dois Professores, Um Aluno

Imagine que você está treinando um grande modelo de linguagem (uma IA) para resolver problemas de matemática. Você tem dois "professores" distintos tentando ensiná-lo:

O Professor de Formatação (SFT): Este professor é excelente em ensinar à IA como escrever respostas de forma organizada, usar os símbolos corretos e seguir regras estritas (como colocar a resposta final entre colchetes). No entanto, este professor às vezes comete erros na lógica matemática real.
O Professor de Raciocínio (RL): Este professor é um gênio da matemática que pode resolver equações complexas perfeitamente. Mas, este professor é desorganizado; frequentemente esquece de colocar a resposta entre colchetes, pula etapas ou escreve em um formato estranho que não corresponde ao exigido pelo exame.

O Problema:
Tradicionalmente, quando você tenta combinar esses dois, usa um método chamado "Regularização KL". Pense nisso como um elástico amarrando o Professor de Raciocínio ao Professor de Formatação. O elástico força o Professor de Raciocínio a permanecer próximo ao estilo do Professor de Formatação.

O Pulo do Gato: Se o Professor de Formatação cometer um erro matemático, o elástico puxa o Professor de Raciocínio para o mesmo erro. A IA fica presa tentando ser "organizada", mas falha em ser "inteligente".

A Nova Solução: Média de Logits
Os autores deste artigo propõem uma nova maneira de combinar esses professores. Em vez de amarrá-los juntos com um elástico, eles criam uma Voz Fundida.

Imagine que a IA é um coral. Em vez de forçar os cantores a permanecerem em perfeita uníssono (o que limita seu alcance), o novo método mistura suas vozes antes de cantarem.

Se o Professor de Formatação diz "Coloque a resposta entre colchetes" e o Professor de Raciocínio diz "A resposta é 5", a Voz Fundida diz "Coloque a resposta entre colchetes: 5".
Se o Professor de Formatação cometer um erro matemático (dizendo que a resposta é 6), mas o Professor de Raciocínio sabe que é 5, a Voz Fundida se apoia fortemente na matemática do Professor de Raciocínio, mantendo a instrução do Professor de Formatação de "colocar entre colchetes".

Como Funciona (A Magia dos "Logits")

Em termos de IA, a "voz" do modelo é composta por números chamados logits (que representam a probabilidade de o modelo escolher uma palavra ou número específico a seguir).

A Mistura: Os pesquisadores pegam os números do Professor de Formatação e do Professor de Raciocínio e os calculam em média matematicamente.
O Resultado: Isso cria uma nova "Política Fundida" temporária.
O Treinamento: A IA aprende praticando sobre essa Política Fundida. Ela recebe a recompensa (pontos) se a resposta final estiver correta.
- Como o Professor de Formatação faz parte da mistura, a IA nunca esquece como escrever de forma organizada.
- Como o Professor de Raciocínio faz parte da mistura, a IA tem liberdade para corrigir os erros matemáticos do Professor de Formatação.

Por Que Isso É Melhor (O "Produto de Especialistas")

O artigo usa um conceito chamado "Produto de Especialistas". Pense nisso como uma decisão de comitê:

Se o Especialista A (Formatação) tem certeza sobre o estilo, e o Especialista B (Raciocínio) tem certeza sobre a matemática, a decisão final é forte em ambos os aspectos.
Se o Especialista A está errado sobre a matemática, a confiança do Especialista B a supera, mas a confiança do Especialista A sobre o estilo permanece.

O artigo descobriu que essa abordagem de "Voz Fundida" funciona melhor do que o antigo método de "elástico". A IA aprendeu a resolver problemas de matemática corretamente e manteve sua formatação organizada, enquanto o método antigo frequentemente fazia a IA esquecer como formatar corretamente ou ficar presa nos erros matemáticos do Professor de Formatação.

Os Experimentos

Os pesquisadores testaram isso em três diferentes "exames" (conjuntos de dados):

MATH: Problemas matemáticos difíceis.
cn-k12: Matemática do ensino médio e fundamental chinês.
MMLU: Conhecimento geral e raciocínio.

Eles testaram em três tamanhos diferentes de modelos de IA (pequeno, médio e grande).

Os Resultados:

Em quase todos os casos, o novo método de "Voz Fundida" obteve pontuações mais altas do que o método tradicional.
Foi especialmente bom em corrigir um problema específico: o método tradicional frequentemente fazia a IA "esquecer" como formatar respostas à medida que aprendia a resolver matemática mais difícil. O novo método manteve as habilidades de formatação intactas enquanto melhorava as habilidades matemáticas.

Um Exemplo Concreto do Artigo

O artigo dá um exemplo específico de um problema de geometria:

O Professor de Formatação (SFT): Configura corretamente a equação, mas comete um erro matemático, concluindo que o raio é 6. Ele coloca a resposta entre colchetes de forma organizada.
O Professor de Raciocínio (RL): Calcula corretamente a matemática, descobrindo que o raio é 5, mas esquece de colocar a resposta entre colchetes ou escrevê-la no formato final.
A Voz Fundida: Ela pega a matemática correta (5) do Professor de Raciocínio e a instrução organizada de colocar entre colchetes do Professor de Formatação. A saída final é um 5 organizado entre colchetes.

Resumo

O artigo apresenta uma maneira de treinar modelos de IA que atua como uma equipe colaborativa em vez de uma hierarquia estrita. Ao calcular matematicamente a média dos "pensamentos" (logits) de um professor organizado-mas-desorganizado e um professor inteligente-mas-desorganizado, a IA aprende a ser tanto inteligente quanto organizada, evitando as armadilhas de forçar um a seguir estritamente o outro.

Resumo Técnico: Complementando o Aprendizado por Reforço com SFT através da Média de Logits

1. Declaração do Problema

O pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) tipicamente depende de dois paradigmas: Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) com recompensas verificáveis (RLVR). Enquanto o SFT fornece supervisão densa por token para aprender formatação e estilo, ele é limitado pela distribuição das demonstrações de treinamento. Por outro lado, métodos de RL como Otimização de Política Próxima (PPO) e Otimização de Política Relativa por Grupo (GRPO) podem superar esses limites distribucionais, mas sofrem com sinais de recompensa esparsos e ruidosos.

A abordagem padrão combina esses métodos sequencialmente: o SFT é aplicado primeiro, seguido pelo RL com um termo de regularização de Kullback-Leibler (KL), $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ , para ancorar a política treinável $\pi_\theta$ à referência SFT $\pi_{\text{sft}}$ . Os autores identificam uma tensão fundamental nesta receita "ancorada por KL": a penalidade KL puxa $\pi_\theta$ em direção a $\pi_{\text{sft}}$ , potencialmente restringindo a política às limitações do checkpoint de SFT (por exemplo, erros algébricos, loops de repetição) e impedindo-a de aproveitar plenamente as capacidades de raciocínio desenvolvidas durante o RL. Os praticantes frequentemente mitigam isso escolhendo um $\beta$ pequeno, mas os autores propõem uma alternativa estrutural à regularização.

2. Metodologia

O artigo introduz um método que substitui a regularização KL pela média de logits. Em vez de penalizar a divergência, a política treinável $\pi_\theta$ e uma política de referência congelada $\pi_{\text{ref}}$ (por exemplo, SFT) são acopladas pela média de seus logits para formar uma política mista $\pi^{\text{mix}}_{\theta, \alpha}$ .

Mecanismo Central:
Dado um peso $\alpha \in [0, 1]$ e estado $s$ , os logits mistos $z^{\text{mix}}_{\theta, \alpha}(s)$ são definidos como:
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
A política mista é então $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ .

Objetivo de Treinamento:
Os autores adaptam o objetivo do GRPO para esta política mista:

Gerações (Rollouts): Trajetórias são amostradas da política mista $\pi^{\text{mix}}_{\theta, \alpha}$ em vez da política treinável pura $\pi_\theta$ .
Estimativa de Vantagem: Vantagens relativas ao grupo são computadas com base em recompensas dessas gerações mistas.
Otimização: Os parâmetros treináveis $\theta$ são atualizados para maximizar a recompensa sob a política mista. Os logits de referência $z_{\text{ref}}$ permanecem congelados durante todo o processo.
Esquemas de Pesos:
1. Pesos Fixos: $\alpha$ é mantido constante (por exemplo, $\alpha=0.5$ ) durante todo o treinamento.
2. Pesos Adaptativos: $\alpha$ é atualizado dinamicamente com base em um conjunto de validação retido. A regra de atualização usa uma métrica de "ganho líquido" comparando a correção da política pura versus a política mista, empurrando $\alpha$ para 1 se a mistura resultar em um ganho líquido e para 0 caso contrário.

Comparação com RLVR:
Ao contrário dos métodos padrão de RLVR (PPO, GRPO, DAPO) que usam um crítico e regularização KL, esta abordagem não possui termo KL ou crítico. A política de referência participa da exploração via média de logits, e as razões de importância na função de perda são calculadas entre as políticas mistas atual e antiga.

3. Contribuições e Descobertas Principais

Habilidades Complementares (Padrão 1 & 2):
A análise empírica nos conjuntos de dados MATH, cn-k12 e MMLU revela que o SFT e a política treinada por RL possuem habilidades complementares:

SFT destaca-se na formatação (aderindo a modelos de saída), mas pode falhar em raciocínio complexo.
Política RL ( $\pi_\theta$ ) destaca-se no raciocínio (derivando respostas numéricas corretas), mas frequentemente perde a disciplina de formatação.
Complementaridade: Uma fração significativa de problemas (22%–38%) é resolvida corretamente por exatamente uma das duas políticas. A média de logits atua como um "Produto de Especialistas", combinando a força de formatação do SFT com a força de raciocínio da política RL.

Resultados de Desempenho:
Avaliado em modelos Qwen2.5-Instruct (1.5B, 3B, 7B) em três conjuntos de dados:

Precisão: O método de média de logits alcança precisão de resposta maior ou comparável ao GRPO regularizado por KL canônico em todas as nove configurações (conjunto de dados $\times$ tamanho do modelo).
Ablação: Substituir a âncora SFT por um modelo base Instruct resulta em desempenho significativamente menor, confirmando que os ganhos derivam da mistura com uma referência consciente de formatação.
Média de Logits vs. Média de Probabilidades: A média de logits (média geométrica de distribuições) supera a média de probabilidades (média aritmética). A média de logits alcança taxas de resolução mais altas com pesos de mistura menores e atinge o pico em $\alpha=0.5$ , enquanto a média de probabilidades requer pesos mais altos e atinge o pico em $\alpha=0.6$ .

Conexão Teórica:
O artigo estabelece que a média de logits é matematicamente equivalente a um Produto de Especialistas (POE). A política resultante minimiza uma soma ponderada de divergências KL em relação às políticas RL e de referência. Esta estrutura permite que a política concentre probabilidade em tokens favorecidos por ambos os especialistas, corrigindo efetivamente erros algébricos do SFT enquanto mantém suas restrições de formatação.

4. Significado e Alegações

Os autores afirmam que este método oferece uma vantagem distinta sobre a receita padrão regularizada por KL ao desacoplar a "âncora de formatação" da "restrição de gradiente".

Superando Limitações: Enquanto a regularização KL força $\pi_\theta$ a permanecer próximo de $\pi_{\text{sft}}$ (potencialmente herdando suas falhas de raciocínio), a média de logits permite que $\pi_\theta$ supere as limitações da referência enquanto mantém vantagens de formatação através do acoplamento estrutural da política mista.
Região de Confiança Implícita: A mistura atua como uma região de confiança implícita, impedindo o desvio distribucional dos estilos de formatação que frequentemente aflige o RL puro em escala.
Priors Densos: Ao contrário do RL, que propaga sinais apenas do token final de recompensa, a média de logits incorpora um prior denso, nível de token, da âncora SFT em cada etapa de decodificação.
Escalabilidade: A abordagem estende-se naturalmente a conjuntos de Modelos de Linguagem Pequenos (SLMs), permitindo que um sistema aproveite especialistas especializados (por exemplo, para código, segurança ou terminologia de domínio) sem o custo de treinar uma única política massiva.

O artigo conclui que a média de logits fornece uma alternativa robusta à regularização KL, aproveitando com sucesso a complementaridade entre SFT e RL para melhorar a precisão do raciocínio sem sacrificar a qualidade da formatação.