💬 NLP

Rethinking the Multilingual Reasoning Gap with Layer Swap

Este artigo demonstra que a lacuna de desempenho entre o raciocínio na língua nativa e o raciocínio pivotado em inglês em LLMs multilíngues é significativamente menor do que se pensava anteriormente ao usar supervisão comparável, e propõe uma técnica de "Troca de Camadas" que transfere capacidades de raciocínio em inglês das camadas intermediárias para especialistas nativos, fechando efetivamente a lacuna enquanto preserva o idioma alvo para geração de cadeia de pensamento.

Autores originais: Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Intermediário Inglês"

Imagine que você pede a um estudante brilhante e multilíngue (uma IA) um problema matemático complexo em francês. Mesmo que você tenha perguntado em francês, o estudante instintivamente começa a pensar: "Hmm, deixe-me resolver isso..." em sua mente usando inglês. Ele faz todo o raciocínio difícil em inglês e só muda para o francês para a resposta final.

Isso é chamado de raciocínio com pivô em inglês. Funciona bem, mas tem desvantagens:

Perdido na Tradução: Se o estudante cometer um pequeno erro de tradução ao alternar de um idioma para o outro, a resposta final pode estar errada.
Difícil de Entender: Se você não fala inglês, não consegue ver como ele resolveu o problema, porque seu "processo de pensamento" (Cadeia de Pensamento) está em um idioma que você não conhece.

Os pesquisadores tentaram forçar o estudante a pensar inteiramente em francês (Raciocínio Nativo). No entanto, estudos anteriores mostraram que, ao fazer isso, o estudante ficou significativamente pior em resolver problemas. Era como forçar um chef mestre a cozinhar um prato francês usando apenas receitas em francês, mas ele continuava errando os ingredientes porque estava acostumado com medidas em inglês.

O Novo Experimento: Um Teste Mais Justo

Os autores deste artigo quiseram saber se a lacuna do "Raciocínio Nativo" era real ou apenas porque os estudantes não tinham treinamento suficiente. Eles decidiram realizar um experimento massivo e justo:

Os Estudantes: Eles pegaram uma IA base inteligente (Qwen3-8B) e a treinaram para ser especialista em seis idiomas: inglês, francês, alemão, espanhol, chinês e suaíli.
O Treinamento: Eles deram a cada especialista uma enorme quantidade de dados de prática (cerca de 10 bilhões de palavras) para que todos tivessem uma chance justa.
A Comparação: Eles compararam dois grupos:
1. Os Pensadores em Inglês: Estes estudantes resolveram problemas em inglês, mas responderam no idioma local.
2. Os Pensadores Nativos: Estes estudantes resolveram e pensaram inteiramente no idioma local.

O Resultado Surpreendente:
Quando todos receberam o mesmo treinamento de alta qualidade, a lacuna entre os dois grupos diminuiu dramaticamente. Os "Pensadores Nativos" foram quase tão bons quanto os "Pensadores em Inglês" (apenas 2–3% piores em média). Isso sugere que, com prática suficiente, a IA pode pensar em seu idioma nativo sem perder sua inteligência.

O Segredo: A "Troca de Camadas"

Embora a lacuna fosse pequena, os "Pensadores em Inglês" ainda eram ligeiramente melhores nos quebra-cabeças mais difíceis de matemática e ciência. Os pesquisadores queriam saber: Por quê?

Eles olharam dentro do "cérebro" da IA (suas camadas de rede neural) e encontraram uma estrutura fascinante:

As Camadas Externas (Topo e Base): Estas são como os ouvidos e a boca. Elas lidam com o idioma específico (ouvir francês, falar francês). Estas partes são muito diferentes entre os idiomas.
As Camadas Intermediárias: Estas são como o centro de lógica. Os pesquisadores descobriram que, quando a IA aprende a resolver problemas de matemática ou ciência, o "centro de lógica" parece quase idêntico, esteja a IA falando francês, chinês ou inglês. É um motor de raciocínio universal.

A Solução: A "Troca de Camadas"
Como a parte intermediária de "lógica" do especialista em inglês era ligeiramente mais afiada, os pesquisadores realizaram uma "cirurgia". Eles pegaram as camadas intermediárias do especialista em inglês e as trocaram para os especialistas nativos.

A Analogia: Imagine que você tem um chef francês que é ótimo em cozinhar, mas ligeiramente lento em picar vegetais. Você pega as "mãos de picar" (as camadas intermediárias) de um chef inglês de classe mundial e as anexa ao chef francês.
O Resultado: O chef francês agora pode picar vegetais tão rápido quanto o chef inglês, mas ele ainda fala francês e cozinha pratos franceses. A IA continuou pensando em francês (preservando o "processo de pensamento" no idioma local), mas ganhou o poder de raciocínio do modelo em inglês.

O Resultado Final

Ao fazer essa "Troca de Camadas", os pesquisadores fecharam 80–90% da lacuna de desempenho restante para idiomas como francês e alemão. Para o espanhol, eles fecharam completamente a lacuna. A IA agora pode:

Pensar no idioma do usuário (tornando-a mais fácil de entender).
Resolver problemas difíceis tão bem quanto se estivesse pensando em inglês.

Resumo

O artigo mostra que a ideia de que "a IA deve pensar em inglês para ser inteligente" é principalmente uma questão de treinamento, não um limite fundamental. Ao treinar a IA adequadamente e depois trocar o "cérebro intermediário mais inteligente" de um modelo em inglês, podemos criar uma IA que raciocina perfeitamente em qualquer idioma, mantendo o processo de pensamento transparente e acessível a todos.

Resumo Técnico: Repensando a Lacuna no Raciocínio Multilíngue com Troca de Camadas

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) recentes com capacidades de raciocínio geram predominantemente traços de Pensamento em Cadeia (CoT) em inglês, mesmo quando solicitados em idiomas não ingleses. Esse regime de "raciocínio centrado no inglês" (onde o modelo raciocina em inglês e responde no idioma de entrada) é o padrão para modelos de raciocínio abertos. Embora restringir o CoT ao idioma de entrada ("raciocínio nativo") seja desejável para interpretabilidade e nuances culturais, estudos anteriores sugerem que isso degrada substancialmente o desempenho.

No entanto, medições anteriores dessa "lacuna do raciocínio nativo" frequentemente dependem de intervenções no momento da inferência ou de ajuste fino em conjuntos de dados nativos limitados, não correspondendo à escala do pós-treinamento centrado no inglês. Permanece incerto se a lacuna persiste quando o raciocínio nativo é treinado sob supervisão estritamente comparável e em grande escala.

Metodologia

Construção de Dados

Os autores construíram um conjunto de dados de raciocínio multilíngue em grande escala abrangendo seis idiomas: inglês, francês, alemão, espanhol, chinês e suaíli.

Fonte: O conjunto de dados foi derivado de allenai/DolciThink-SFT-32B, um conjunto de dados de pós-treinamento em inglês descontaminado cobrindo matemática, código, ciência e conhecimento geral.
Escala: Aproximadamente 500.000 amostras por idioma, com comprimentos de contexto de até 32.768 tokens.
Pipeline de Tradução: Para criar corpora nativos, a fonte em inglês foi traduzida para os cinco idiomas-alvo usando google/gemma-3-27b-it. Para mitigar a degradação de contexto longo e a perda de traços de raciocínio, os autores traduziram as amostras componente a componente (pergunta, traço de raciocínio, resposta) em blocos de ~2k tokens, seguidos por filtragem rigorosa para saídas vazias, anomalias de compressão e desvios de comprimento.

Configuração Experimental

Modelo Base: Todos os modelos foram ajustados finamente a partir de Qwen/Qwen3-8B-Base.
Regimes de Treinamento: Para cada idioma não inglês, dois especialistas foram treinados nos mesmos pares de pergunta-resposta com orçamentos de tokens correspondentes (~10–11 bilhões de tokens por idioma):
1. Especialista Nativo: CoT gerado no idioma-alvo.
2. Especialista Centrado no Inglês: Perguntas e respostas no idioma-alvo, mas CoT gerado em inglês.
Infraestrutura: O treinamento utilizou nós H100 distribuídos com DeepSpeed ZeRO-3, paralelismo de sequência Ulysses e FlashAttention-3 para lidar com comprimentos de sequência de 32k.
Benchmarks: A avaliação cobriu quatro domínios: Matemática (MGSM-Rev2, AIME 24/25), Ciência (GPQA-Diamond), Conhecimento Geral (Global-MMLU-Lite) e Código (HumanEvalPlus).

Técnica de Troca de Camadas

Os autores introduziram um método sem treinamento chamado Troca de Camadas, inspirado em trabalhos anteriores sobre composição de modelos.

Análise no Espaço de Pesos: Os autores analisaram as atualizações de ajuste fino ( $\Delta\theta$ ) através das camadas. Eles descobriram que as atualizações nas camadas intermediárias (especificamente camadas 13–22) estavam altamente alinhadas em todos os seis idiomas (alta similaridade de cosseno e baixa variância SVD), sugerindo um "núcleo de raciocínio agnóstico à linguagem". Por outro lado, as camadas iniciais e finais mostraram divergência específica do idioma.
Mecanismo: O método transfere as camadas intermediárias (o "núcleo de raciocínio") do especialista em inglês para o especialista nativo, mantendo as camadas iniciais e finais do especialista nativo (que lidam com entrada/saída específica do idioma).
Ablação: Uma ablação de intervalo de camadas no especialista francês determinou que a troca das camadas 13–22 maximizou o desempenho de raciocínio enquanto mantinha ~100% de fidelidade ao idioma (ou seja, o CoT permaneceu em francês). Para o chinês, a janela ótima foi ligeiramente anterior (13–20) para evitar a reversão para o inglês.

Principais Resultados

A Lacuna do Raciocínio Nativo sob Supervisão Correspondida

Contrariando relatórios anteriores que sugeriam grandes lacunas, os autores descobriram que, sob supervisão estritamente correspondida (mesmo volume de dados, mesmo modelo base), a lacuna do raciocínio nativo é significativamente menor:

Lacuna Média: A lacuna de desempenho entre especialistas nativos e centrados no inglês encolhe para 1,9%–3,5% nos cinco idiomas não ingleses.
Distribuição: A lacuna está concentrada em benchmarks de raciocínio complexo (AIME 24/25), onde os especialistas nativos ficam atrás em 5–12% dependendo do idioma. Em outros benchmarks (por exemplo, HumanEvalPlus), a lacuna é negligenciável.
Nível de Recursos: Idiomas de alto recurso (francês, alemão, espanhol, chinês) mostram lacunas de 1,9–3,1%, enquanto o suaíli, de baixo recurso, mostra uma lacuna ligeiramente maior de 3,5%.

Eficácia da Troca de Camadas

A transferência das camadas intermediárias do especialista em inglês para especialistas nativos produziu melhorias significativas, preservando o CoT no idioma-alvo:

Fechamento da Lacuna: A Troca de Camadas fechou 83–89% da lacuna de raciocínio nativo para francês e alemão, 60% para suaíli e 27% para chinês. Para o espanhol, o modelo trocado igualou o teto centrado no inglês.
Fidelidade ao Idioma: Os modelos trocados mantiveram ~100% de fidelidade, gerando CoT no idioma-alvo sem reverter para o inglês.
Desempenho em Benchmarks: O método liderou no HumanEvalPlus em todos os idiomas e no MGSM-Rev2 na maioria. O déficit de desempenho restante foi principalmente em tarefas intensivas de raciocínio (AIME, GPQA).

Ablação de Compreensão de Entrada

Os autores isolaram a "lacuna de compreensão" avaliando especialistas nativos em entradas em inglês versus entradas nativas.

Descoberta: Especialistas nativos obtiveram pontuações mais altas em entradas em inglês, apesar de nunca terem visto inglês durante o SFT.
Causa: Isso é atribuído a desequilíbrios nos dados de pré-treinamento e ao fato de que as representações intermediárias em modelos base centrados no inglês estão mais alinhadas com espaços em inglês para idiomas de alto recurso com script latino do que para idiomas tipologicamente distantes ou de baixo recurso (como o suaíli).

Significado e Contribuições

O artigo afirma quatro contribuições principais:

Lançamento de Conjunto de Dados: Um corpus de raciocínio de CoT longo publicamente disponível em seis idiomas (incluindo suaíli e chinês) com contexto de 32k e CoTs no idioma-alvo.
Medição Controlada: Uma medição em grande escala e estritamente controlada da lacuna entre nativo e centrado no inglês, demonstrando que a lacuna é muito menor (1,9–3,5%) do que relatado anteriormente quando as escalas de supervisão são correspondidas.
Troca de Camadas: Uma técnica sem treinamento que explora a descoberta de um núcleo de raciocínio agnóstico à linguagem nas camadas intermediárias. Este método fecha a maioria da lacuna restante enquanto preserva a geração de CoT nativo.
Análise de Compreensão de Entrada: Uma ablação mostrando que a compreensão de entrada permanece um gargalo primário para o raciocínio não inglês, distinto do próprio processo de raciocínio.

Limitações

Os autores observam várias limitações:

O estudo está limitado a uma única família de modelos (Qwen) e escala (8B).
O corpus depende de tradução automática, o que pode introduzir artefatos.
A eficiência de tokenização variou entre idiomas, significando que o "orçamento de tokens correspondido" não equivalia estritamente a contagens de exemplos correspondidas para todos os idiomas.
Varreduras de hiperparâmetros para a janela de Troca de Camadas não foram exaustivas.
Os modelos foram treinados exclusivamente com Ajuste Fino Supervisionado (SFT) e não incorporaram Aprendizado por Reforço (RL) ou ajuste de preferência.

Os autores concluem que a "receita" para a Troca de Camadas é diretamente aplicável a outras famílias de modelos, pois o especialista em inglês necessário geralmente está disponível pronto para uso, oferecendo um caminho prático para raciocínio nativo de alto desempenho sem retreinar todo o modelo.