💬 NLP

On-Policy Delta Distillation for Multilingual Math Reasoning

Este artigo demonstra que a Destilação Delta On-Policy (OPD $^2$ ), que aproveita a lacuna de probabilidade entre um professor pós-treinado e seu modelo base, melhora significativamente o raciocínio matemático multilíngue em coreano e japonês ao mesmo tempo em que reduz as lacunas de desempenho, embora ressalte a necessidade de dados multilíngues para evitar mudanças de resposta centradas no inglês.

Autores originais: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Publicado 2026-08-07

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores são como estudantes brilhantes e multilíngues que leram todos os livros da biblioteca, mas ainda têm dificuldade em resolver um problema matemático complexo. Para ajudá-los a ficarem mais espertos, cientistas usam uma técnica chamada "treinamento", que é um pouco como um treinador guiando um aluno através de problemas de prática. Por muito tempo, a melhor maneira de treinar esses estudantes de IA foi através do Aprendizado por Reforço (RL), um método onde o computador recebe uma única nota ao final de sua resposta — como receber um "A" ou "F" em todo um ensaio sem saber quais frases específicas foram boas ou ruins. No entanto, um método mais eficiente chamado Destilação On-Policy (OPD) surgiu. Em vez de esperar por uma nota final, o OPD atua como um mestre professor que lê a resposta do aluno palavra por palavra, sussurrando correções e sugestões enquanto o aluno escreve. Esse feedback de "nível de token" é muito mais preciso. Mas aqui está o detalhe: a maior parte desta pesquisa só foi feita em inglês. Não sabíamos se essa técnica do "professor que sussurra" funcionava tão bem para estudantes que falam coreano, japonês ou outras línguas, ou se poderia ajudar a diminuir a lacuna entre o quão bem a IA fala inglês versus o quão bem ela fala outras línguas.

Este artigo mergulha exatamente nessa questão, testando uma versão superpotencializada da técnica chamada On-Policy Delta Distillation (OPD²) no raciocínio matemático em inglês, coreano e japonês. Os pesquisadores descobriram que este novo método é um divisor de águas. Assim como um mestre chef que consegue ensinar uma receita a um aluno em qualquer idioma, o OPD² ajudou os modelos de IA a resolver problemas matemáticos significativamente melhor em todas as três línguas, com saltos particularmente enormes no coreano e no japonês. O estudo sugere que este método é ainda melhor que a versão original porque foca no "delta" — a diferença específica entre o que o professor sabe e o que o modelo base do aluno já sabe — isolando efetivamente as novas habilidades de raciocínio que estão sendo ensinadas.

No entanto, o artigo também descobriu um efeito colateral fascinante e ligeiramente complicado. Quando os pesquisadores tentaram ensinar a IA usando apenas problemas matemáticos em inglês, o modelo surpreendentemente melhorou na resolução de problemas matemáticos em coreano e japonês também. Era como se o aluno tivesse aprendido a lógica da matemática em inglês e pudesse aplicá-la a outros idiomas. Mas houve uma reviravolta: embora as respostas estivessem corretas, o modelo frequentemente começava a escrever suas explicações em inglês, mesmo quando a pergunta era feita em coreano ou japonês. Isso sugere que, embora o "músculo do raciocínio" possa ser treinado em uma língua e transferido para outra, manter a "voz" da resposta na língua alvo requer praticar com dados naquele idioma específico. No final, o artigo mostra que o OPD² é uma ferramenta poderosa para tornar a IA mais inteligente através das línguas, mas para realmente dominar um idioma, você ainda precisa falar nele durante a prática.

A Descoberta Central: Um Professor que Sussurra Melhor

Os pesquisadores buscaram verificar se o OPD² (a versão avançada do professor que sussurra) poderia superar o OPD original ao lidar com múltiplos idiomas. Eles utilizaram uma família de modelos de IA chamada Qwen3 (especificamente as versões 1.7B e 8B) e um modelo professor massivo para guiá-los. Os resultados foram claros e consistentes: o OPD² superou consistentemente o OPD original em todos os aspectos.

Pense da seguinte forma: Se o OPD original era um bom tutor, o OPD² era um tutor genial que sabia exatamente o que faltava ao aluno. Nos experimentos, essa diferença foi enorme para as línguas não inglesas. Para o modelo menor (Qwen3-1.7B), o OPD² melhorou a pontuação de matemática em coreano de 40.9 para 51.9, e a de japonês de 37.2 para 52.0. O OPD original ajudou, mas o OPD² elevou esses números ainda mais. Para o modelo maior e mais inteligente (Qwen3-8B), as melhorias foram igualmente fortes, com o coreano saltando de 57.0 para 64.4 e o japonês de 57.1 para 65.0.

O artigo argumenta explicitamente que isso não se trata apenas de copiar o estilo do professor. Ao usar o "sinal delta" (a lacuna entre o professor e o seu próprio modelo base), o OPD² transferiu com sucesso as capacidades de raciocínio para o aluno, em vez de apenas mimetizar a saída geral do professor. Isso sugere que o método é robusto e funciona bem, independentemente do idioma ou do tamanho do modelo.

Diminuindo a Lacuna Linguística

Um dos maiores objetivos desta pesquisa era ver se esses métodos de treinamento poderiam estreitar a lacuna de desempenho entre o inglês e outros idiomas. Frequentemente, modelos de IA são muito melhores em inglês do que em coreano ou japonês. O artigo descobriu que o OPD² multilíngue geralmente ajudou a reduzir essa lacuna.

Em uma análise detalhada da "lacuna de precisão Inglês–Coreano", os pesquisadores observaram que, embora o modelo base favorecesse o inglês por uma margem ampla (às vezes por mais de 13 pontos em certos testes), o treinamento OPD reduziu essa disparidade. Por exemplo, no benchmark Global-MGSM, a lacuna encolheu de 13.4 pontos para 8.6 pontos com o OPD padrão, e caiu ainda mais para 9.3 pontos com o OPD². No benchmark HRM8K, a lacuna caiu de 12.1 para 9.2 pontos.

O artigo sugere que isso acontece porque o treinamento multilíngue beneficia mais as línguas não inglesas do que a própria língua inglesa, elevando os desempenhos mais fracos sem prejudicar os mais fortes. No entanto, os autores ressaltam cautelosamente que esse efeito não foi perfeitamente uniforme em cada teste individual; em alguns benchmarks específicos como o M-MMLU, a lacuna na verdade aumentou ligeiramente. Portanto, embora a tendência seja positiva, não é uma varinha mágica que corrige instantaneamente cada métrica.

A Surpresa do "Apenas Inglês" e a Armadilha da Língua

Talvez a descoberta mais surpreendente do artigo seja o que aconteceu quando eles treinaram os modelos usando apenas dados em inglês. Você poderia pensar que, se ensinasse apenas matemática em inglês a um aluno, ele falharia em matemática em coreano. Mas o artigo descobriu que o OPD² apenas com inglês melhorou significativamente as pontuações de coreano e japonês.

No modo de não-pensamento (non-thinking mode), o treinamento apenas com inglês impulsionou a média de coreano de 40.9 para 52.6 e a de japonês de 37.2 para 53.4. Esses números foram quase tão bons quanto as pontuações do treinamento multilíngue (que foram 51.9 para coreano e 52.0 para japonês). Isso sugere que a lógica do raciocínio matemático é tão universal que pode ser aprendida em inglês e aplicada a problemas em coreano ou japonês, mesmo que o modelo nunca tenha visto um único problema de matemática em coreano durante o treinamento.

Contudo, há um grande porém. O artigo descarta explicitamente a ideia de que isso signifique que o modelo realmente dominou o idioma. Quando os pesquisadores verificaram qual língua o modelo realmente falava em suas respostas, os resultados foram nítidos.

Treinamento Multilíngue: Quando treinado em línguas mistas, o modelo respondeu em coreano 90.5% das vezes (no modo de não-pensamento) e em japonês 90.9% das vezes.
Treinamento Apenas em Inglês: Quando treinado apenas em inglês, as respostas em "coreano" do modelo caíram para 48.3% (significando que ele respondeu em inglês metade das vezes), e suas respostas em "japonês" despencaram para 29.6%.

Meso no "modo de pensamento" (onde o modelo realiza um passo de raciocínio oculto antes de responder), a tendência se manteve. O modelo treinado apenas com inglês resolvia a matemática corretamente, mas frequentemente escrevia a resposta final em inglês, ignorando o fato de que a pergunta fora feita em coreano ou japonês. O artigo conclui que, embora o treinamento apenas com inglês possa transferir a capacidade de raciocinar, ele falha em preservar o hábito de responder na língua alvo. Para fazer o modelo falar a língua que você deseja, você deve alimentá-lo com dados naquele idioma.

Resumo das Descobertas

O artigo demonstra que o OPD² é um método superior para ensinar raciocínio matemático a IAs através de diferentes línguas, superando consistentemente o OPD original. Ele consegue reduzir a lacuna de desempenho entre o inglês e línguas como o coreano e o japonês, sugerindo que o pós-treinamento multilíngue é um caminho viável para uma IA mais equilibrada. No entanto, o estudo também traça uma linha clara entre "capacidade de raciocínio" e "geração de linguagem". Enquanto as habilidades de raciocínio podem ser aprendidas em uma língua e aplicadas a outra, o modelo naturalmente derivará para o inglês, a menos que seja explicitamente treinado com dados no idioma alvo. Os autores sugerem que pesquisas futuras devem focar na avaliação tanto da precisão da resposta quanto da língua da resposta para compreender verdadeiramente as capacidades da IA multilíngue.

Resumo Técnico: Destilação Delta On-Policy para Raciocínio Matemático Multilíngue

Declaração do Problema

Embora a Destilação On-Policy (OPD) tenha emergido como uma alternativa promissora e eficiente ao Aprendizado por Reforço (RL) para o pós-treinamento de Grandes Modelos de Linguagem (LLMs), sua eficácia em ambientes multilíngues permanece pouco explorada. As pesquisas existentes concentraram-se primordialmente em benchmarks de raciocínio em inglês. Além disso, o desempenho específico da OPD e de sua variante avançada, a Destilação Delta On-Policy (OPD2), em línguas do Leste Asiático (especificamente coreano e japonês) é amplamente não investigado. Há uma necessidade crítica de entender se esses métodos de destilação podem transferir efetivamente capacidades de raciocínio entre idiomas e se podem mitigar as disparidades de desempenho frequentemente observadas entre tarefas de raciocínio em inglês e não inglesas.

Metodologia

O estudo avalia a OPD e a OPD2 utilizando a família de modelos Qwen3 (1.7B, 8B e 30B-A3B) para tarefas de raciocínio matemático em inglês, coreano e japonês.

Mecanismos Centrais

Destilação On-Policy (OPD): Diferente do RL, que utiliza recompensas ao nível da sequência, a OPD emprega supervisão ao nível do token. Um modelo estudante ( $\pi_\theta$ ) gera uma resposta, que é enviada para um modelo professor ( $\pi^*$ ) para obter as probabilidades ao nível do token. O estudante é treinado para minimizar a divergência KL entre sua distribuição de saída e a do professor, usando efetivamente a preferência do professor como um sinal de recompensa.
Destilação Delta On-Policy (OPD2): Esta variante melhora a OPD ao alterar o sinal de aprendizado. Em vez de comparar o estudante com o professor, a OPD2 calcula o "delta" entre o professor ( $\pi^*$ ) e o modelo base correspondente do professor ( $\pi^*_{base}$ ). A recompensa é definida como o hiato de log-probabilidade: $\log \pi^*(y_t | \dots) - \log \pi^*_{base}(y_t | \dots)$ . Isso isola as capacidades adquiridas durante o pós-treinamento (raciocínio) de preferências gerais ou padrões estilísticos inerentes ao modelo base. A OPD2 também incorpora centralização de recompensa e um critério de condicionamento para resolver problemas de convergência.

Configuração Experimental

Datasets: Um conjunto de treinamento multilíngue de 100K problemas (proporção 1:1:1 de inglês, coreano e japonês) foi construído a partir de Nemotron-SFT-Multilingual-v2 e Nemotron-Math-v2. Um conjunto de treinamento separado, apenas em inglês, de 100K problemas também foi criado.
Modelos: Qwen3-1.7B e Qwen3-8B serviram como estudantes; Qwen3-30B-A3B-2507 atuou como professor.
Avaliação: Os modelos foram testados tanto em modo de "pensamento" (Cadeia de Pensamento/Chain-of-Thought) quanto em modo "não-pensamento" em benchmarks incluindo PolyMath, Global-MGSM, HRM8K e MAWPS.
Métricas: O desempenho foi medido através da acurácia nos benchmarks e da "taxa de resposta na língua alvo" (a porcentagem de saídas geradas no idioma da pergunta de entrada).

Principais Contribuições e Resultados

1. Superioridade da OPD2 em Ambientes Multilíngues

O estudo demonstra que a OPD2 supera consistentemente a OPD original em todos os idiomas e tamanhos de modelo.

Ganhos de Desempenho: Para o Qwen3-1.7B, a OPD2 melhorou as pontuações médias de 55.1 para 63.6 (inglês), 40.9 para 51.9 (coreano) e 37.2 para 52.0 (japonês). Tendências semelhantes foram observadas para o modelo 8B.
Melhorias Específicas de Idioma: Os ganhos proporcionados pela OPD2 sobre a OPD foram particularmente pronunciados em coreano e japonês. Para o Qwen3-1.7B, a OPD2 excedeu a OPD em 3.1 e 4.0 pontos em coreano e japonês, respectivamente, comparado a um ganho de 2.1 pontos em inglês. Isso sugere que o sinal delta é altamente eficaz para transferir capacidades de raciocínio para línguas não inglesas.

2. Redução da Lacuna Linguística

O treinamento de OPD2 multilíngue geralmente reduz a disparidade de desempenho entre o raciocínio em inglês e coreano.

Redução da Lacuna: Em benchmarks como Global-MGSM e HRM8K, a lacuna de acurácia entre inglês e coreano diminuiu significamente após o treinamento com OPD2. Por exemplo, a lacuna no Global-MGSM caiu de 13.4 pontos (base) para 9.3 pontos (OPD2).
Consistência: A OPD2 reduziu a lacuna inglês-coreano em seis de sete benchmarks reportados, indicando que o pós-treinamento multilíngue frequentemente beneficia o raciocínio não inglês de forma mais forte do que o raciocínio em inglês, diminuindo assim as disparidades translinguais sem sacrificar o desempenho em inglês.

3. Transferência Translingual vs. Geração na Língua Alvo

Uma descoberta crítica diz respeito à distinção entre transferência de habilidade de raciocínio e preservação do idioma.

Transferência Exclusiva de Inglês: Surpreendentemente, o treinamento exclusivo em dados de inglês (OPD2 apenas em inglês) melhorou a acurácia dos benchmarks em coreano e japonês para níveis comparáveis ao treinamento multilíngue. Isso indica que as capacidades de raciocínio aprendidas via supervisão em inglês podem se generalizar para entradas não inglesas.
Mudança de Idioma: No entanto, o treinamento exclusivo em inglês leva a uma mudança significativa na língua de resposta. Enquanto a OPD2 multilíngue manteve altas taxas de resposta na língua alvo (ex: ~90% para coreano/japonês no modo não-pensamento), a OPD2 apenas em inglês fez com que essas taxas caíssem drasticamente (ex: o coreano caiu para 48.3%, o japonês para 29.6% no modo não-pensamento).
Implicação: Modelos treinados com dados apenas em inglês podem resolver problemas apresentados em coreano ou japonês, mas frequentemente geram o processo de raciocínio e as respostas em inglês. Portanto, dados multilíngues são essenciais não para a transferência da lógica de raciocínio, mas para a preservação da geração na língua alvo dessa lógica.

Significância

O artigo estabelece que a Destilação Delta On-Policy (OPD2) é um método robusto para aumentar o raciocínio matemático multilíngue. Ele confirma que o sinal delta, projetado para isolar as capacidades de raciocínio do pós-treinamento, é eficaz através de diferentes idiomas e escalas de modelos.

O estudo destaca uma distinção matizada no pós-treinamento multilíngue: embora as capacidades de raciocínio possam ser transferidas do inglês para outros idiomas mesmo sem exposição direta a esses idiomas nos dados de treinamento, a preservação do idioma alvo na saída requer treinamento multilíngue explícito. Consequentemente, os autores argumentam que avaliar modelos multilíngues requer olhar além da acurácia do benchmark para incluir métricas de língua de resposta, garantindo que as capacidades de raciocínio adquiridas sejam expressas no idioma pretendido. Essas descobertas fornecem uma base para estender a OPD para além do inglês e refinar estratégias de pós-treinamento para implantação global.