💬 NLP

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

O artigo propõe o RP-OPSD, um novo método que aprimora a transferência de raciocínio multilíngue ao guiar a autodestilação on-policy para priorizar "pivôs de raciocínio" em vez de texto de superfície, superando assim as linhas de base existentes em 17 idiomas.

Autores originais: Xinye Wang, Junxiao Liu, Shujian Huang

Publicado 2026-08-07

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinye Wang, Junxiao Liu, Shujian Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante, mas multilíngue, a resolver um enigma matemático difícil. Você fala inglês, mas o robô precisa aprender a pensar em suaíli, francês ou japonês. O grande desafio não é apenas traduzir as palavras; é traduzir o pensamento. Se o robô acertar a matemática em inglês, mas tropeçar ao tentar explicar os passos em outra língua, é como um aluno que sabe a resposta, mas não consegue escrever a redação. Este é o mundo do "raciocínio multilíngue", onde cientistas tentam ajudar modelos de linguagem de grande escala (LLMs) a usar suas habilidades de lógica inteligente em idiomas que eles não conhecem tão bem quanto o inglês.

Para fazer isso, pesquisadores frequentemente usam um truque chamado "autodestilação". Pense nisso como o robô praticando sozinho: ele tenta resolver um problema e, em seguida, uma versão "professor" de si mesmo (que possui uma folha de referência secreta em inglês) verifica o trabalho e diz: "Bom trabalho!" ou "Tente novamente!". O robô aprende com essas correções. No entanto, um problema comum com este método é que o professor pode ser exigente demais com cada palavra que o robô escreve. Ele pode se irritar se o robô usar uma maneira ligeiramente diferente de dizer "portanto" ou "igual a", mesmo que a lógica matemática seja perfeita. Isso pode confundir o robô, fazendo-o focar em parecer fluente em vez de pensar corretamente.

Este artigo apresenta uma nova maneira mais inteligente de ensinar o robô, chamada RP-OPSD. Os autores, Xinye Wang, Junxiao Liu e Shujian Huang, da Universidade de Nanjing, sugerem que não devemos tratar cada palavra em uma cadeia de raciocínio da mesma forma. Em vez disso, devemos identificar os "pivôs" — os momentos críticos onde o robô toma uma grande decisão, como escolher multiplicar em vez de somar, ou perceber que uma variável precisa mudar. Estes são os momentos "aha!" do raciocínio. O restante das palavras são apenas detalhes de "superfície", como a gramática ou a maneira específica de dizer "o bolo é cortado".

Os pesquisadores descobriram que, ao usar um "portão" especial para decidir quais palavras precisam da atenção rigorosa do professor e quais devem ser deixadas para o fluxo de linguagem natural do robô, o robô aprende muito mais rápido. Eles testaram isso em 17 idiomas diferentes, incluindo muitos idiomas africanos que geralmente recebem menos atenção da IA. Os resultados mostraram que o método deles ajudou o robô a resolver problemas matemáticos melhor do que métodos anteriores, especialmente naqueles idiomas mais difíceis. É como dar um marca-texto ao robô: ele apenas destaca os passos lógicos mais importantes para o professor verificar, enquanto deixa o robô escrever o resto da história com sua própria voz. Isso sugere que, para ensinar um robô a pensar em um novo idioma, você não precisa microgerenciar cada frase; você só precisa garantir que os passos de pensamento crítico sejam sólidos.

A Ideia Central: Encontrando os "Pivôs"

O artigo argumenta que, quando um modelo raciocina em um novo idioma, ele está fazendo duas coisas ao mesmo tempo:

Realização de Superfície: Escrever as palavras na língua correta (por exemplo, dizer "multiplie" em francês em vez de "multiply").
Pivôs de Raciocínio: Tomar as decisões lógicas reais (por exemplo, decidir multiplicar 4 por 3).

Os autores observaram que métodos anteriores tratavam essas duas coisas igualmente. Eles tentavam forçar o robô a copiar a lógica em inglês do professor e a escolha de palavras em inglês do professor perfeitamente. Mas isso é como um professor de música corrigindo o posicionamento dos dedos de um aluno no piano e, ao mesmo tempo, gritando sobre o sotaque do aluno. É pressão demais.

O artigo propõe que as variantes de superfície (diferentes maneiras de dizer a mesma coisa) são aceitáveis, mas o desvio de pivô (mudar a lógica) é perigoso. Se o robô decidir somar em vez de multiplicar, toda a resposta estará errada, não importa quão fluente seja o francês.

Como o RP-OPSD Funciona: O "Portão"

Para corrigir isso, os autores criaram um sistema chamado RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation). Aqui está a analogia de como ele funciona:

Imagine que o robô está escrevendo uma história sobre a resolução de um problema matemático.

Visão do Professor 1 (A Folha de Referência): O professor vê o problema, a solução em inglês e a frase atual do robô.
Visão do Professor 2 (Sem Folha de Referência): O professor vê o problema e a frase do robô, mas sem a solução em inglês.

O sistema compara essas duas visões.

Se o professor mudar de ideia sobre qual palavra dizer a seguir apenas porque tem a solução em inglês, essa palavra é um Pivô. Significa que a lógica em inglês é crucial aqui. O "Portão" se abre amplamente, e o robô recebe uma lição forte: "Copie a lógica aqui!"
Se o professor disser a mesma coisa quer tenha ou não a solução em inglês, essa palavra é apenas Superfície. Provavelmente é apenas gramática ou uma frase comum. O "Portão" permanece fechado, e o robô é permitido escrever naturalmente em seu idioma de destino sem ser forçado a copiar o estilo do inglês.

Este "portão" é um filtro matemático que decide, para cada palavra que o robô gera, se ela precisa de uma dose pesada de lógica em inglês ou apenas um empurrãozinho gentil para permanecer no idioma de destino.

O Que Eles Descobriram

A equipe testou isso em 17 idiomas, variando de idiomas de alto recurso como francês e espanhol a idiomas africanos de baixo recurso como suaíli e iorubá. Eles usaram dois principais benchmarks matemáticos: AfriMGSM (para idiomas africanos) e PolyMath (um teste matemático de múltiplas dificuldades).

Os resultados foram claros:

Melhores Pontuações: O RP-OPSD superou todos os outros métodos com os quais compararam, incluindo a "Autodestilação" padrão e outras técnicas avançadas de raciocínio. Por exemplo, no modelo Qwen3-1.7B, ele melhorou a pontuação média em idiomas africanos de cerca de 16,7% para 19,07%, e no teste mais difícil PolyMath, atingiu 17,97% de precisão.
Aprendizado Inteligente: A análise mostrou que o "Portão" identificou corretamente os momentos importantes. Ele focou em palavras como "portanto", "então", "mas" e operações matemáticas específicas (como "raiz quadrada" ou "trapézio"). Ele ignorou as partes chatas, como nomes de variáveis ( $x$ , $y$ ) ou conectivos comuns.
Sem "Vazamento de Linguagem": Um grande medo neste campo é que o robô comece apenas a pensar em inglês e traduza apenas a resposta final. O artigo mostra que o RP-OPSD realmente mantém o robô pensando no idioma de destino. Ele melhorou a capacidade do robô de raciocinar no idioma de destino sem fazer com que ele soasse mais como o inglês. Na verdade, a "consistência de linguagem" do robô (o quão bem ele se manteve no idioma de destino) aumentou enquanto suas pontuações matemáticas também subiam.

O Que Eles Descartaram

O artigo argumenta explicitamente contra algumas ideias comuns:

Ponderação Uniforme: Eles mostram que tratar cada palavra da mesma forma (dar a cada palavra a mesma importância) é um erro. Isso dilui os sinais lógicos importantes com muito ruído de palavras de nível superficial.
Apenas "Desacordo": Eles descobriram que simplesmente olhar para onde o professor e o aluno discordam não é suficiente. Às vezes, eles discordam devido a um erro de digitação ou uma escolha gramatical, não por um erro de lógica. O método "Pivô" é melhor porque busca especificamente onde a solução em inglês altera o resultado.
Artefatos de Tradução: Eles argumentam que apenas traduzir o raciocínio do inglês para outro idioma (Aprendizado Supervisionado de Ajuste Fino) não é suficiente, pois a tradução pode não corresponder à forma como o robô pensa naturalmente naquele idioma.

A Conclusão

O artigo sugere que, para ensinar um robô a raciocinar em um novo idioma, você não precisa forçá-lo a falar como um falante de inglês. Você só precisa garantir que ele entenda a lógica da solução em inglês nos exatos momentos em que a lógica importa. Ao usar um "portão" para separar as palavras de "pensamento" das palavras de "fala", o robô aprende a pensar profundamente em seu novo idioma sem perder sua voz natural.

Os autores estão confiantes nesses resultados com base em seus experimentos através de 17 idiomas e vários tamanhos de modelos. Eles sugerem que esta abordagem pode ser um passo fundamental para tornar a IA verdadeiramente multilíngue, capaz de resolver problemas complexos em qualquer idioma, não apenas naqueles que possuem mais dados.

Resumo Técnico: RP-OPSD

Declaração do Problema

A transferência de raciocínio multilíngue visa estender as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) de línguas de alto recurso (ex: inglês) para línguas de baixo recurso. Embora a Auto-Destilação On-Policy (OPSD) tenha surgido como um paradigma promissor ao fornecer supervisão densa ao nível de token em rollouts gerados pelo estudante, as variantes existentes sofrem de uma limitação crítica: elas atribuem peso uniforme a todos os tokens gerados. Essa abordagem falha em distinguir entre tokens de realização de superfície (sintaxe e fluência específicas da língua) e pivôs de raciocínio (decisões que avançam ou redirecionam o processo de inferência).

Os autores argumentam que, em configurações multilíngues, variantes de superfície podem preservar o mesmo estado de raciocínio, enquanto o "desvio de pivô" (pivot drift) — erros em tokens de decisão crítica — pode corromper o raciocínio subsequente, mesmo que a continuação permaneça fluente. Métios existentes ou dependem da confiança do professor (que pode não refletir a relevância do raciocínio translinguístico) ou exigem anotações difíceis de obter para spans de chave. Além disso, o simples desacordo professor-estudante (divergência KL) é um sinal grosseiro que frequentemente destaca diferenças de formatação ou léxico, em vez de posições críticas para o raciocínio.

Metodologia: RP-OPSD

O artigo propõe o RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation), um método que roteia seletivamente a destilação privilegiada para tokens sensíveis ao raciocínio, enquanto ancora os tokens de superfície à língua alvo.

1. Visões do Professor e Sensibilidade de Raciocínio Privilegiado (PRS)

Em vez de usar uma única visão do professor, o RP-OPSD contrasta duas visões da mesma política ( $\pi_\theta$ ) sob diferentes estados de informação:

Visão Condicionada à Solução ( $q^+_t$ ): A política condicionada à questão de baixo recurso, sua tradução para o inglês, o prefixo do rollout e o traço de raciocínio de referência em inglês.
Visão Ablada ( $q^-_t$ ): A política condicionada aos mesmos inputs, mas sem o traço de raciocínio de referência em inglês.

A pontuação de Sensibilidade de Raciocínio Privilegiado (PRS), denotada por $a_t$ , é calculada como a divergência KL entre essas duas visões:
$a_t = D_{KL}(q^+_t \parallel q^-_t)$
Um $a_t$ alto indica que a presença da solução em inglês altera significativamente a previsão do próximo token do modelo, sugerindo que o token é um pivô de raciocínio onde a evidência privilegiada é crítica. Por outro lado, um $a_t$ baixo sugere que o token é governado pela realização da língua alvo ou priors genéricos.

2. Portão de Transferência de Pivô de Raciocínio (RPT Gate)

A pontuação PRS é normalizada e passa por uma função sigmoide para gerar um portão contínuo $g_t \in [0, 1]$ :
$g_t = \text{sg}[g_{min} + (1 - g_{min})\sigma(\beta(\tilde{a}_t - \tau))]$
Este portão atua como um coeficiente de roteamento:

$g_t$ Alto: O token é tratado como um pivô de raciocínio.
$g_t$ Baixo: O token é tratado como realização de superfície.

3. Objetivo de Treinamento Roteado

O objetivo de treinamento combina dois termos de forward-KL de vocabulário total, roteados pelo portão:

Termo de Transferência de Pivô ( $L_{pivot}$ ): Alinha a distribuição do estudante ( $p_t$ ) com o professor condicionado à solução ( $q^+_t$ ) em posições de portão alto. Isso transfere a lógica de raciocínio privilegiada.
$L_{pivot} = \frac{1}{N} \sum_{t=1}^T m_t g_t D_{KL}(q^+_t \parallel p_t)$
Termo de Ancoragem ( $L_{anchor}$ ): Alinha o estudante com uma política de referência congelada ( $\pi_{ref}$ ) em posições de portão baixo. Isso preserva a realização de superfície da língua alvo e evita que o modelo sofra overfitting à sintaxe da solução em inglês.
$L_{anchor} = \frac{1}{N} \sum_{t=1}^T m_t (1 - g_t) D_{KL}(r_t \parallel p_t)$

A perda final é $L_{RP-OPSD} = L_{pivot} + \lambda L_{anchor}$ .

Principais Contribuições

Identificação de Pivôs de Raciocínio: O artigo caracteriza o raciocínio multilíngue como uma intercalaçao de texto de superfície e pivôs de raciocínio, argumentando que a eficiência da transferência depende do isolamento destes últimos.
Proxy de Desvio Distribucional: Introduz um mecanismo inovador e livre de anotações para identificar pivôs, medindo o desvio de distribuição entre uma visão do professor com e sem evidência de raciocínio privilegiada. Isso evita as armadilias de usar o desacordo bruto professor-estudante.
Roteamento de Objetivo Duplo: O método realiza simultaneamente a destilação privilegiada em tokens críticos de raciocínio e a ancoragem de referência em tokens de superfície, equilibrando a transferência de raciocínio com a fidelidade linguística.

Resultados Experimentais

O método foi avaliado em 17 línguas (incluindo 12 línguas africanas) em dois benchmarks de raciocínio matemático: AfriMGSM e PolyMath.

Desempenho: O RP-OPSD superou baselines fortes, incluindo SFT, GRPO, MAPO-DPO, M-Thinker e variantes existentes de OPSD (COPSD, EGRSD).
- No AfriMGSM (Qwen3-1.7B), o RP-OPSD alcançou um pass@12 médio de 19,07%, superando o COPSD (16,70%) e o M-Thinker (14,87%).
- No PolyMath (Qwen3-4B), alcançou uma acurácia ponderada por dificuldade (DW-ACC) de 31,87%, superando o COPSD (29,94%) e o M-Thinker (29,74%).
Estudos de Ablação:
- Localização do Portão: Selecionar os 20% superiores de tokens baseados no portão RPT (TG) superou significativamente a seleção aleatória (RG) ou de portão inferior (BG), confirmando que o portão identifica corretamente sinais de raciocínio transferíveis.
- Ancoragem: Remover o termo de ancoragem de referência degradou o desempenho, particularmente em línguas com capacidades de baseline mais fortes (ex: francês), indicando que a ancoragem é crucial para preservar a fluência da língua alvo.
Análise:
- Tipos de Token: Tokens de portão alto corresponderam a transições de controle de raciocínio (ex: "portanto", "mas") e atualizações de estado condicionadas ao problema (ex: variáveis específicas, operadores), enquanto tokens de portão baixo foram majoritariamente realizações de superfície (variáveis, sintaxe).
- Alcançabilidade: O RP-OPSD não apenas transferiu soluções alcançáveis em inglês, mas também estendeu as capacidades de raciocínio além da alcançabilidade em inglês do modelo base, dobrando o ganho em soluções "além do inglês" comparado a outros baselines.
- Consistência Linguística: Ao contrário de métodos que melhoram a acurácia ao derivar para padrões de raciocínio em inglês, o RP-OPSD melhorou a acurácia do raciocínio mantendo ou aumentando os escores de consistência linguística.

Significância e Alegações

O artigo afirma que o RP-OPSD oferece um paradigma mais eficiente e eficaz para a transferência de raciocínio multilíngue ao concentrar a supervisão privilegiada onde ela é mais importante. Ao distinguir entre o "quê" (realização de superfície) e o "como" (lógica de raciocínio) da geração de CoT, o método evita diluir o sinal de raciocínio em tokens fluentes, mas não críticos.

Os autores asseguram que sua abordagem permite que os modelos compartilhem estruturas computacionais através das línguas, retendo formas de expressão naturais e específicas de cada língua. O método é apresentado como um passo em direção a raciocinadores multilíngues que não meramente traduzem o raciocínio em inglês, mas adaptam a lógica de raciocínio subjacente às restrições da língua alvo, alcançando desempenho superior sem exigir traços de raciocínio traduzidos ou engenharia complexa de recompensa.