💬 NLP

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

Este artigo apresenta o Lightning OPD 2.0, um novo método de destilação on-policy que mitiga o viés de estilo em configurações de cross-teacher ao empregar a residualização de estilo cross-fitted para separar diferenças estilísticas de sinais de raciocínio genuínos, permitindo assim uma transferência de conhecimento eficaz mesmo quando o gerador de dados SFT e o professor de destilação são modelos distintos.

Autores originais: Yecheng Wu, Song Han, Han Cai

Publicado 2026-07-31

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yecheng Wu, Song Han, Han Cai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno brilhante, mas excêntrico, a resolver quebra-cabeças complexos. Você tem um "Professor" que é um gênio em matemática e programação, e um "Aluno" que está ansioso para aprender. No mundo da Inteligência Artificial, isso é chamado de destilação: o aluno tenta copiar o processo de pensamento do professor para se tornar mais inteligente. Geralmente, a melhor maneira de fazer isso é ter o aluno praticar em problemas que o professor já resolveu, e então ter o professor avaliar as novas tentativas do aluno linha por linha. Isso é chamado de Destilação On-Policy. É como ter um treinador observando cada movimento seu e dando feedback instantâneo, em vez de apenas esperar até o final do jogo para dizer "bom trabalho" ou "tente novamente".

No entanto, há um porém. Para que esse treinamento funcione perfeitamente, o professor precisa ser a mesma pessoa que escreveu os exemplos originais de prática que o aluno estudou. Se o aluno aprendeu com um livro escrito pelo "Professor A", mas agora está sendo avaliado pelo "Professor B", as coisas podem ficar complicadas. Mesmo que o Professor B seja um gênio, ele pode escrever em um estilo diferente, usar palavras diferentes ou pensar em um ritmo diferente. O aluno pode ficar confuso, pensando que o professor está corrigindo sua matemática quando, na verdade, o professor está apenas incomodado com sua caligrafia. Este artigo aborda o problema do que acontece quando o "Professor" que avalia o trabalho é diferente de quem escreveu os exemplos originais, e como corrigir essa confusão para que o aluno ainda possa aprender de forma eficaz.

O Problema: Quando o Treinador e o Livro Didático Não Combinam

No artigo, os pesquisadores notaram uma falha frustrante. Eles estavam usando uma técnica chamada Lightning OPD (Destilação On-Policy) para treinar modelos de IA para melhorarem em matemática e programação. A configuração era simples: pegar um modelo que já havia aprendido com alguns exemplos (a "referência SFT"), deixá-lo gerar novas respostas e, então, ter um "Professor" superinteligente para avaliar essas respostas para ensinar o aluno ainda mais.

O problema começou quando o "Professor" não era o mesmo modelo que escreveu os exemplos originais. Os pesquisadores descobriram que, quando substituíam por um Professor diferente, mesmo que mais forte, o desempenho do aluno não melhorava; às vezes, até piorava!

Por quê? Os pesquisadores perceberam que o Professor não estava apenas corrigindo a lógica (a matemática ou o código); ele também estava corrigindo o estilo. Imagine um aluno escrevendo uma prova matemática. Ele pode escrever: "Portanto, a resposta é 42". Um professor diferente pode preferir: "Assim, concluímos que a solução é 42". Se o Professor for rigoroso com o estilo, ele pode dar uma nota baixa para a palavra "Portanto", mesmo que a matemática esteja perfeita. O aluno, confuso, começa a mudar sua lógica apenas para agradar aos hábitos de escrita do Professor. O pesquisadores chamaram isso de "Viés de Estilo" (Style Bias). A discordância do Professor com o aluno era uma mistura de correções úteis (corrigir um passo errado) e ruído inútil (corrigir uma escolha de palavras), e o aluno não conseguia distinguir a diferença.

A Solução: Lightning OPD 2.0

Para corrigir isso, a equipe inventou o Lightning OPD 2.0. A ideia deles foi agir como um detetive, separando as reclamações de "estilo" das reclamações de "lógica" antes que o aluno aprenda com elas.

Aqui está como eles fizeram isso, usando uma analogia lúdica:

Imagine que o Professor e o Aluno estão tendo uma conversa. O Professor diz: "Eu não gosto da palavra que você usou" e "Eu não gosto do passo matemático que você deu".

O Trabalho de Detetive: Os pesquisadores perceberam que as reclamações de "estilo" são previsíveis. Se o Professor odeia a palavra "Portanto" em um problema de matemática, ele provavelmente a odiará em todos os problemas de matemática, independentemente dos números específicos. É um padrão recorrente.
O Truque da Cross-Fitting: Para encontrar esses padrões, eles dividiram todos os problemas de prática em grupos. Eles olharam para o Grupo A para ver do que o Professor reclamou no Grupo B, e o Grupo B para ver do que o Professor reclamou no Grupo A. Isso é chamado de cross-fitting. É como perguntar a um grupo de amigos: "Quais palavras o Professor sempre odeia?", sem deixar a pessoa que está sendo julgada influenciar a resposta.
Subtraindo o Ruído: Uma vez que descobriram o "Viés de Estilo" (as reclamações recorrentes sobre palavras, formatação e ritmo), eles subtraíram isso da pontuação total do Professor.
O Resultado: O que restou foi o "Resíduo" — o feedback puro e útil sobre o raciocínio real. O aluno agora só aprende com as partes do feedback do Professor que realmente importam para resolver o problema, ignorando a grosseria estilística.

O Que Eles Descobriram

Os pesquisadores testaram este novo método em dois alunos de IA muito diferentes: um modelo de 4 bilhões de parâmetros (um aprendiz menor e mais rápido) e um modelo de 8 bilhões de parâmetros (um aprendiz maior e mais avançado). Eles usaram um modelo massivo e superinteligente como o "Professor" para ambos.

Os resultados foram claros:

Sem o ajuste (Lightning OPD Original): Quando o Professor era diferente do autor original dos exemplos, o aluno mal melhorava. O viés de estilo abafava os bons conselhos.
Com o ajuste (Lightning OPD 2.0): O aluno aprendeu muito mais rápido e tornou-se significativamente mais inteligente.

Especificamente, ao começar com o modelo de 8 bilhões de parâmetros, o novo método ajudou a IA a atingir 82,4% de precisão no AIME 2024 (uma competição difícil de matemática do ensino médio) e 63,0% no LiveCodeBench v5 (um desafio de programação). Isso foi um grande salto em comparação ao método original, que tinha dificuldade em melhorar a pontuação do aluno nesses cenários de "professor incompatível".

Por Que Isso Importa

O artigo sugere que você não precisa mais forçar o "Professor" e o "Escritor de Exemplos" a serem a mesma pessoa. No passado, se você quisesse usar um Professor específico e superinteligente para avaliar sua IA, você teria que garantir que esse Professor também escrevesse todos os seus dados de treinamento. Isso era caro e limitador.

O Lightning OPD 2.0 sugere que você pode escolher o melhor Professor possível para a avaliação e a melhor fonte para seus dados de treinamento, mesmo que sejam modelos diferentes. Ao remover matematicamente as reclamações de "estilo", a IA pode aprender o raciocínio sem se confundir com a personalidade do professor. Esta é uma maneira prática de tornar o treinamento de IA mais flexível e eficiente, permitindo que os pesquisadores combinem as melhores ferramentas disponíveis sem se preocupar com conflitos entre elas.

Resumo Técnico: Lightning OPD 2.0

Declaração do Problema

A destilação on-policy (OPD) emergiu como uma alternativa estável e de baixo custo ao aprendizado por reforço para o pós-treinamento de grandes modelos de raciocínio. Ela utiliza um professor de alta capacidade para fornecer supervisão densa, ao nível de token, sobre trajetórias geradas pelo aluno. No entanto, um pré-requisito crítico para uma OPD eficaz, identificado em trabalhos anteriores (Lightning OPD), é a consistência do professor: o modelo que fornece a supervisão da OPD deve ser o mesmo modelo que gerou as demonstrações usadas para a política de referência inicial do Ajuste Fino Supervisionado (SFT).

Na prática, essa condição é frequentemente violada. Os dados de SFT costumam ter procedência mista ou não documentada, ou os profissionais podem desejar usar um conjunto de dados de SFT específico gerado por um modelo enquanto realizam a destilação com um modelo professor diferente e potencialmente mais forte. Este cenário de professores cruzados introduz um descompasso onde o desacordo bruto entre o professor e a referência contém não apenas sinais de raciocínio úteis e específicos do contexto, mas também um componente recorrente associado a diferenças estilísticas (vocabulário, formatação, cadência de raciocínio). Quando não corrigido, esse "viés de estilo-token" acumula-se ao longo das execuções (rollouts), interferindo sistematicamente no sinal de raciocínio e causando a degradação do desempenho da destilação, mesmo quando o novo professor é superior ao gerador do SFT original.

Metodologia: Lightning OPD 2.0

Para abordar isso, os autores introduzem o Lightning OPD 2.0, um método que mitiga o viés de estilo através da residualização de estilo cross-fitted. A ideia central é que o desacordo relacionado ao estilo é previsível entre as execuções armazenadas em cache com base em coordenadas lexicais simples e de contexto grosseiro, enquanto o desacordo relacionado ao raciocínio é mais dependente do estado específico do problema.

O método procede da seguinte forma:

Decomposição do Desacordo: A diferença bruta de log-probabilidade entre o professor e a referência ( $d_{it} = \ell^T_{it} - \ell^R_{it}$ ) é modelada como a soma de um componente de viés de estilo recorrente $b(z_{it})$ e uma variação residual $v_{it}$ (representando evidência específica do contexto).
$d_{it} = b(z_{it}) + v_{it}$
Coordenadas Observáveis: Para estimar o componente recorrente $b(z_{it})$ $b (z_{i t})$ , o método utiliza dois tipos de coordenadas:
- Identidade do Token: Captura preferências lexicais.
- Contexto Grosseiro: Definido pela posição normalizada da resposta e pela surprisal da política de referência (uma medida de quão atípico é um token sob o SFT).
Estimativa Cross-Fitted: As execuções armazenadas em cache são particionadas em $K$ $K$ dobras (folds). Para uma dobra retida (held-out fold) $k$ $k$ , o método constrói duas tabelas de consulta utilizando apenas as outras $K-1$ $K - 1$ dobras:
- Uma tabela de consulta de tokens estimando o desacordo médio por identidade de token.
- Uma tabela de consulta de contexto estimando o desacordo médio por par de coordenadas de contexto.
- Essas tabelas são suavizadas para lidar com grupos raros.
Residualização: Para cada token na dobra retida, o viés de estilo estimado $\hat{b}_{it}$ é calculado como a média das previsões de consulta de token e de contexto. Esse estimador é subtraído do desacordo bruto para produzir um sinal residualizado:
$d^*_{it} = d_{it} - \hat{b}_{it}$
Otimização: O desacordo residualizado $d^*_{it}$ substitui o desacordo bruto no objetivo da Lightning OPD. A política do aluno é atualizada usando a vantagem derivada deste sinal residualizado, removendo efetivamente o viés de estilo recorrente enquanto preserva a evidência de raciocínio específica do contexto.

Principais Contribuições

Formulação de OPD de Professores Cruzados: O artigo define formalmente o cenário onde o gerador de dados SFT e o professor de OPD são selecionados independentemente, demonstrando que a aplicação ingênua da OPD neste cenário leva a uma degradação substancial de desempenho.
Identificação do Viés de Estilo-Token: Os autores identificam um componente recorrente do desacordo entre professor e referência que é previsível entre as execuções e associado a diferenças estilísticas, explicando por que a supervisão de professores cruzados bruta pode ser enganosa.
Algoritmo Lightning OPD 2.0: A introdução de uma técnica de residualização de estilo cross-fitted que estima e subtrai este viés usando tabelas de consulta de token e contexto. Isso permite que a referência SFT e o professor de destilação sejam escolhidos independentemente sem reconstruir o pipeline de SFT.

Resultados Experimentais

O método foi avaliado em benchmarks de raciocínio matemático e geração de código usando dois cenários distintos de professores cruzados:

Cenário 1: Referência SFT de Qwen3-4B (gerada por Qwen3-8B) com um professor de OPD de Qwen3-30B-A3B-Thinking-2507.
Cenário 2: Referência SFT de Klear-Reasoner-8B (treinada em dados destilados do DeepSeek-R1) com o mesmo professor de OPD Qwen3-30B.

Principais Descobertas:

Ganhos de Desempenho: O Lightning OPD 2.0 supera consistentemente o baseline Lightning OPD e outras variantes de OPD (IW-OPD, TA-OPD) em cenários de professores cruzados.
- No cenário Qwen3-4B, melhorou o raciocínio matemático médio em 3,1 pontos e a geração de código em 1,4 pontos sobre o baseline Lightning OPD.
- No cenário Klear-Reasoner-8B, melhorou o raciocínio matemático médio em 1,0 ponto e a geração de código em 1,4 pontos.
Estado da Arte: Partindo do Klear-Reasoner-8B-SFT, o Lightning OPD 2.0 alcançou 82,4% no AIME 2024 e 63,0% no LiveCodeBench v5.
Análise de Mecanismo: Uma análise post-hoc mostrou que a residualização reduziu significativamente o desvio do sinal de treinamento de um sinal de referência diagnóstico (representando o sinal ideal consistente com o professor). Por exemplo, no cenário Qwen3-4B, a taxa de tokens com grandes desvios (>1 nat) caiu de 8,14% para 3,85% após a correção.
Ablação: A remoção de qualquer uma das consultas (token, contexto) ou do cross-fitting resultou em menor desempenho, confirmando a necessidade de combinar estimativas lexicais e contextuais com a divisão de amostras para evitar o auto-ajuste (self-fitting).

Significância e Alegações

O artigo alega que o Lightning OPD 2.0 estabelece uma abordagem prática para a destilação on-policy de professores cruzados. Ao relaxar o requisito estrito de consistência do professor, ele permite que os profissionais:

Selecionem o modelo mais adequado para gerar demonstrações de SFT (para maximizar a qualidade da política de referência) independentemente do modelo selecionado para a destilação subsequente (para maximizar o resultado final de pós-treinamento).
Utilizem conjuntos de dados de SFT existentes sem o custo substancial de regenerar demonstrações para cada candidato a professor.

Os autores posicionam este trabalho como uma solução para um gargalo prático na escala de modelos de raciocínio, permitindo pipelines de pós-treinamento mais flexíveis e eficientes onde o gerador de SFT e o professor de OPD são desacoplados. O método é apresentado como um framework robusto que alcança desempenho de estado da arte em benchmarks de raciocínio, mantendo a estabilidade e a eficiência de custo da OPD offline.