💬 NLP

ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

O artigo apresenta o ExpLang, um pipeline de pós-treinamento inovador para modelos de linguagem que seleciona dinamicamente o idioma de raciocínio durante o aprendizado por reforço, melhorando a exploração e a exploração ao aproveitar vantagens multilíngues e superando o desempenho de abordagens restritas ao inglês.

Autores originais: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

Publicado 2026-02-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um gênio da matemática (um modelo de Inteligência Artificial) a resolver problemas muito difíceis.

Até agora, a maioria dos treinadores ensinava esse gênio a pensar apenas em inglês, porque é a língua onde ele parecia ser mais rápido. Mas os pesquisadores do artigo ExpLang descobriram algo interessante: às vezes, quando esse gênio pensa em português, mandarim ou vietnamita, ele encontra soluções mais criativas ou mais eficientes, mesmo que o inglês seja sua língua "favorita".

O problema é que, se você não o ensinar a escolher a língua certa no momento certo, ele fica confuso ou ignora essas vantagens.

Aqui está a explicação do método ExpLang usando uma analogia simples:

🧠 O Problema: O "Gênio" de uma só língua

Antes, os modelos de IA eram treinados como se fossem atletas que só podiam correr em uma única pista (a pista do inglês). Eles eram ótimos nela, mas os pesquisadores perceberam que, se o atleta pudesse correr em diferentes tipos de terreno (floresta, areia, grama), ele poderia descobrir novos caminhos para a linha de chegada que não existiam na pista de asfalto.

🚀 A Solução: ExpLang (Explorar e Explorar com Múltiplas Línguas)

O ExpLang é um novo método de treinamento que ensina o modelo a escolher a língua de pensamento dele mesmo, como se fosse uma habilidade extra. Eles dividem o treinamento em duas fases principais:

1. A Fase de "Exploração" (O Tour pelo Mundo)

Imagine que você mandou o gênio viajar pelo mundo por um tempo.

O que acontece: O modelo é incentivado a pensar em todas as línguas possíveis (inglês, chinês, espanhol, vietnamita, etc.), mesmo que ele não seja o melhor em todas elas.
A analogia: É como se você desse ao atleta diferentes tipos de tênis e terrenos para correr. Ele vai tropeçar em alguns, mas vai descobrir que na areia ele corre mais rápido do que na grama.
O objetivo: Expandir o "mapa" de soluções. O modelo descobre que, para certos problemas, pensar em vietnamita, por exemplo, gera ideias que o inglês não geraria. Isso aumenta a diversidade das respostas.

2. A Fase de "Exploração" (Otimização e Foco)

Depois de viajar e conhecer o terreno, é hora de focar no que funciona melhor.

O que acontece: O modelo começa a analisar quais "caminhos" (línguas) trouxeram os melhores resultados. Se ele percebeu que, para um tipo de problema de geometria, pensar em mandarim foi mais eficiente, ele começa a usar mais essa estratégia.
A analogia: O atleta agora sabe que, para aquela corrida específica, o tênis de areia é o vencedor. Ele para de gastar energia testando tênis de neve e foca em aperfeiçoar sua corrida na areia.
O resultado: O modelo converge para a melhor estratégia possível, usando a vantagem que ele descobriu nas outras línguas para ficar ainda mais inteligente em inglês também.

🌟 Por que isso é incrível? (Os Resultados)

Melhor Performance: O modelo treinado com ExpLang ficou mais inteligente do que os modelos treinados apenas em inglês, mesmo usando a mesma quantidade de tempo e dinheiro para treinar.
Respeito ao Usuário: Se um usuário pede para o modelo pensar em português, ele obedece perfeitamente (99% de conformidade), algo que os modelos antigos faziam mal.
Generalização: O modelo aprendeu a regra de "escolher a língua" tão bem que consegue pensar em línguas que nunca viu antes no treinamento, apenas porque aprendeu o mecanismo de escolha.

🔍 A Descoberta Surpreendente

O estudo mostrou um padrão curioso chamado "Inglês -> Multilíngue -> Inglês":

No começo, o modelo pensava só em inglês.
Durante a "exploração", ele começou a pensar em muitas línguas.
No final, ele voltou a pensar majoritariamente em inglês, MAS agora esse inglês é muito mais forte.

Por que? Porque durante a viagem multilíngue, o modelo absorveu "truques" e "atalhos" mentais de outras línguas e os transferiu para o inglês. É como se um músico aprendesse a tocar jazz (outra língua) para depois tocar rock (sua língua original) com muito mais criatividade.

Resumo em uma frase

O ExpLang ensina a IA a não ter medo de pensar em línguas diferentes para descobrir soluções criativas, e depois usa essas descobertas para se tornar um gênio ainda maior, independentemente da língua em que ela precisa responder.

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) de raciocínio, especialmente após o fine-tuning com Aprendizado por Reforço (RL), demonstraram capacidades notáveis em tarefas complexas. No entanto, a pesquisa atual enfrenta duas limitações principais:

Viés Monolíngue: A maioria dos modelos é treinada e otimizada quase exclusivamente em inglês, devido à dominância desse idioma nos dados de treinamento. Isso limita a acessibilidade para usuários globais que necessitam de "rastros de pensamento" (thinking traces) em seus idiomas nativos.
Subutilização do Multilinguismo: O raciocínio multilíngue é frequentemente visto como uma "maldição" que degrada o desempenho ou apenas como um serviço de atendimento ao cliente. Poucos trabalhos exploram a hipótese de que permitir que o modelo pense em múltiplos idiomas pode expandir o espaço de exploração e melhorar a eficiência do aprendizado por reforço (RL), aproveitando vantagens latentes em idiomas não ingleses.

2. Metodologia: ExpLang

O artigo propõe o ExpLang, um novo pipeline de pós-treinamento para LLMs que introduz a seleção de idioma de pensamento on-policy (durante a política atual do modelo) como uma ação aprendida. O objetivo é melhorar tanto a exploração (descobrir novas estratégias) quanto a exploração (aproveitar as melhores estratégias) durante o RL.

O pipeline consiste em três etapas principais:

A. Geração de Dados Multilíngues de Alta Qualidade

Utiliza um modelo maior (Qwen3-32B) como "professor" para gerar traços de raciocínio em 12 idiomas (6 europeus e 6 asiáticos) a partir de um conjunto de dados matemáticos em inglês.
Aplica filtragem rigorosa usando detectores de idioma (LangDetect) e verificadores de respostas (Math-Verify) para garantir a qualidade.
Adiciona um token de seleção de idioma (ex: <lang_select>vi</lang_select>) antes do pensamento, permitindo que o modelo aprenda a escolher o idioma ativamente.

**B. Cold-Start com Supervised Fine-Tuning (SFT)**

Um modelo base (Qwen3-4B) é ajustado usando LoRA (Low-Rank Adaptation) para aprender a seguir os tokens de seleção de idioma.
O uso de LoRA é crucial para evitar o "esquecimento catastrófico" das capacidades matemáticas originais do modelo, que é comum em fine-tuning completo.

C. RLVR com Seleção de Idioma On-Policy

O treinamento por Reforço com Verificação de Recompensas (RLVR) é dividido em duas fases distintas com funções de recompensa adaptativas:

Fase de Exploração (25% dos passos):
- O objetivo é forçar a diversidade.
- Adiciona-se uma recompensa de Diversidade de Idioma ( $r_d$ ) que favorece idiomas sub-representados no batch atual.
- O modelo é incentivado a tentar diferentes idiomas de pensamento, expandindo o espaço de busca.
- A perda KL (que restringe a divergência da política original) é desativada para permitir maior liberdade de exploração.
Fase de Exploração/Convergência (75% dos passos):
- O objetivo é otimizar o desempenho.
- Adiciona-se uma recompensa baseada em Pass@k por idioma ( $r_p$ ). Se uma resposta em um determinado idioma estiver correta, outras respostas no mesmo batch com o mesmo idioma também recebem recompensa.
- Isso incentiva o modelo a convergir para o(s) idioma(s) mais eficiente(s) para cada tarefa.
- A perda KL é reativada para estabilizar a convergência.

3. Contribuições Principais

Pipeline Unificado: É o primeiro trabalho a integrar seleção de idioma on-policy, exploração multilíngue e exploração de vantagem não inglesa em um único pipeline de treinamento.
Prova de Conceito de "Exploração e Exploração": Demonstra que permitir ao modelo escolher o idioma dinamicamente melhora a eficiência do RL, superando o treinamento apenas em inglês com o mesmo orçamento computacional.
Conformidade e Generalização: O modelo atinge conformidade quase perfeita (near-perfect) com o idioma solicitado para idiomas vistos e generaliza bem para idiomas não vistos (como indonésio, hebraico, romeno e suaíli) sem necessidade de dados de treinamento específicos para eles.
Ortogonalidade: O método é compatível com a maioria dos algoritmos de RL avançados (como GRPO, DAPO, GSPO), pois depende apenas da adição de recompensas baseadas em batch.

4. Resultados Experimentais

Os experimentos foram realizados com a família de modelos Qwen3 (4B, 8B e 32B) em conjuntos de dados de raciocínio matemático (MATH-500, AIME 2025, Olym-MATH).

Desempenho Geral: O ExpLang superou consistentemente as linhas de base (apenas inglês e fine-tuning controlado) em precisão e Pass@k, especialmente durante a fase de RL.
Eficiência: O modelo reduziu o número de tokens de pensamento sem sacrificar a precisão, indicando raciocínio mais eficiente.
Conformidade de Idioma:
- Em idiomas vistos, o modelo alcançou ~99% de conformidade com o idioma solicitado, superando significativamente as linhas de base (que muitas vezes falhavam e voltavam ao inglês).
- Em idiomas não vistos, o modelo manteve alta conformidade e desempenho superior às linhas de base.
Análise de Preferência de Idioma: O modelo exibiu um padrão de evolução "Inglês -> Multilíngue -> Inglês":
- Após o SFT, a preferência pelo inglês caiu drasticamente.
- Na fase de exploração, o uso de múltiplos idiomas aumentou.
- Na fase de exploração final, o modelo convergiu de volta para o inglês como o idioma mais eficiente, mas após ter aprendido e transferido vantagens de outros idiomas para o raciocínio em inglês.

5. Significado e Impacto

Aprimoramento do Raciocínio: O trabalho desafia a noção de que o inglês é sempre o melhor idioma para o raciocínio de LLMs. Ele mostra que o pensamento em outros idiomas pode oferecer um "espaço de exploração" mais rico, cujas vantagens são posteriormente consolidadas no modelo principal.
Equidade Linguística: Oferece uma solução técnica para usuários globais, permitindo que modelos de raciocínio de ponta forneçam explicações detalhadas em seus idiomas nativos sem perda de qualidade.
Escalabilidade: Ao ser ortogonal aos algoritmos de RL existentes, o ExpLang pode ser facilmente integrado em futuros sistemas de IA, promovendo uma abordagem mais inclusiva e eficiente para o treinamento de modelos de raciocínio.

Em resumo, o ExpLang demonstra que o controle ativo e dinâmico do idioma de pensamento não é apenas uma questão de interface, mas uma ferramenta poderosa para otimizar o processo de aprendizado e raciocínio dos LLMs.