Resumo Técnico: AdaMame – Uma Receita de Treinamento para Raciocínio Multilíngue Adaptativo

Declaração do Problema

Grandes Modelos de Raciocínio (LRMs) exibem um forte desempenho em inglês, mas frequentemente falham ao raciocinar no idioma da consulta do usuário, um fenômeno denominado colapso de linguagem (language collapse). Em vez de gerar traços de raciocínio (Cadeias de Pensamento/Chain-of-Thought) na língua da consulta, os modelos revertem para o inglês ou envolvem alternância de códigos (code-switching) no meio do traço.

Tentativas existentes para retificar isso via Aprendizado por Reforço (RL) tipicamente acrescentam uma recompensa de fidelidade de linguagem binária ao objetivo de acurácia usando uma razão de ponderação ajustada manualmente. No entanto, o artigo identifica três limitações persistentes nessas abordagens:

1. Trocas de Acurácia (Trade-offs): Melhorar a fidelidade da linguagem muitas vezes ocorre às custas da acurácia do raciocínio.
2. Alternância de Códigos (Code-Switching): Os modelos frequentemente alternam idiomas dentro de um único traço de raciocínio.
3. Sobrepensamento (Overthinking): Os modelos consomem tokens excessivos sem ganhos proporcionais em correção.
   Além disso, muitos métodos anteriores exigem traços de raciocínio de referência em inglês para supervisão e dependem de regimes de ponderação fixos, limitando a escalabilidade e a robustez.

Metodologia: AdaMame

Os autores propõem o AdaMame, uma receita de treinamento em duas etapas projetada para alinhar adaptativamente a linguagem do raciocínio com a linguagem da consulta, otimizando conjuntamente a acurácia e a eficiência de tokens.

Etapa 1: Ajuste Fino Supervisionado (SFT)

• Objetivo: Estabelecer uma capacidade fundamental de raciocínio multilíngue e sensibilidade a padrões específicos de cada idioma.
• Dados: Um conjunto de dados de 30 mil traços de raciocínio ocorrendo naturalmente em cinco idiomas (francês, português, japonês, coreano, tailandês). Crucialmente, esses traços não são traduzidos de forma mecânica a partir do inglês, mas são gerados e verificados para serem fluentes no idioma alvo.
• Técnica: O modelo é ajustado finamente usando Low-Rank Adaptation (LoRA) para evitar o esquecimento catastrófico e melhorar a eficiência. Os prompts incentivam explicitamente o raciocínio na língua da consulta.

Etapa 2: Aprendizado por Reforço (AdaMame-GRPO)

• Objetivo: Generalizar as capacidades de raciocínio para idiomas fora do domínio (out-of-domain) e impor o alinhamento de linguagem sem sacrificar a acurácia.
• Inovação Central: Uma adaptação do Group Relative Policy Optimization (GRPO) chamada AdaMame-GRPO.
• Mecanismo: Em vez de um peso de recompensa fixo, o método introduz um fator de alinhamento condicionado à consulta ($\alpha_i(t)$) que cresce progressivamente durante o treinamento.
  • Fase de Exploração: No início do treinamento, o fator de alinhamento é fraco, permitindo que o modelo explore diversos idiomas de raciocínio para maximizar a acurácia.
  • Fase de Explotação: À medida que o treinamento avança, o fator aumenta, amplificando as recompensas para execuções (rollouts) onde a linguagem do raciocínio corresponde à linguagem da consulta.
  • Formulação Matemática: A recompensa é escalonada como $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$, onde $\alpha_i(t)$ segue um cronograma de crescimento de cosseno de 0,1 a 1,0.
• Vantagem: Esta abordagem não requer traços de raciocínio de referência em inglês e evita o ajuste manual de pesos de recompensa, utilizando, em vez disso, uma estratégia de currículo baseada em "explorar-então-explotar".

Principais Contribuições

1. Receita AdaMame: Um framework de pós-treinamento de duas etapas (SFT + RL) que alinha adaptativamente a linguagem do raciocínio à consulta, resolvendo o conflito entre acurácia e fidelidade de linguagem.
2. Lançamento de Dataset: Um novo conjunto de dados de 30 mil traços de raciocínio de alta qualidade e ocorrência natural em cinco idiomas, apoiando a pesquisa de raciocínio multilíngue sem dependência de dados traduzidos mecanicamente do inglês.
3. Algoritmo AdaMame-GRPO: Uma nova variante de RL que alcança desempenho Pareto-ótimo em acurácia de raciocínio, fidelidade de linguagem e eficiência de tokens.

Resultados Experimentais

O método foi avaliado em dois benchmarks (MGSM-Rev2 e MSVAMP) usando dois modelos de base (DISTILL-QWEN 1.5B e QWEN3 4B) em 12 idiomas (5 no domínio, 7 fora do domínio).

• Pareto-Otimalidade: O AdaMame-GRPO alcançou o melhor equilíbrio de acurácia, fidelidade de linguagem (medida pela Taxa de Passagem de Confusão de Linguagem, LCPR) e eficiência de tokens (Computação em Tempo de Teste, TTC) em comparação com todos os baselines, incluindo Vanilla, Prompt, SFT, GRPO padrão e M-Thinker.
• Generalização Fora do Domínio: Embora o SFT tenha melhorado o desempenho no domínio, ele generalizou mal para idiomas fora do domínio. A etapa de RL melhorou significativamente a generalização, particularmente para idiomas de baixos recursos (ex: bengali, suaíli, telugo), onde o AdaMame-GRPO mostrou os maiores ganhos sobre os baselines.
• Eficiência de Tokens: Ao contrário dos métodos que induzem o "sobrepensamento", o AdaMame-GRPO resultou no menor consumo de tokens entre todas as variantes testadas.
• Efeito de Currículo: A análise confirmou a dinâmica de "explorar-então-explotar": os modelos inicialmente geraram diversos idiomas antes de convergirem progressivamente para a língua da consulta conforme o fator de alinhamento crescia.

Significância e Alegações

O artigo afirma que o AdaMame aborda as limitações centrais das abordagens atuais de raciocínio multilíngue ao eliminar a necessidade de traços de referência em inglês e pesos de recompensa fixos. Ao implementar um currículo adaptativo, o método mitiga com sucesso o colapso de linguagem e a alternância de códigos, mantendo ou melhorando a acurácia do raciocínio.

Os autores posicionam este trabalho como um passo em direção a um raciocínio multilíngue mais equitativo, demonstrando que o alto desempenho é alcançável não apenas para idiomas de altos recursos, mas também para configurações de baixos recursos e fora do domínio. Eles argumentam que ir além dos designs de recompensa centrados no inglês é essencial para treinar modelos que sirvam à diversidade total dos idiomas dos usuários.

Limitações Reconhecidas:

• Os experimentos estão limitados pelo orçamento computacional, restringindo o escopo a tamanhos de modelos específicos e tarefas de raciocínio matemático.
• O método depende do detector de linguagem LINGUA, que pode apresentar problemas de confiabilidade com traços com muita alternância de códigos ou idiomas de baixos recursos.
• Os corpora de treinamento dependem de traços gerados pelo GPT-5 NANO, podendo herdar seus vieses linguísticos específicos.