Resumo Técnico: LANG – Aprendizado por Reforço para Raciocínio Multilíngue com Orientação Adaptativa de Dicas em Idioma

1. Declaração do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha aprimorado com sucesso o raciocínio em múltiplos passos em Modelos de Linguagem de Grande Escala (LLMs) para o inglês, esses benefícios não se traduziram integralmente para contextos multilíngues. Os modelos atuais enfrentam um compromisso fundamental:

• Consistência de Idioma vs. Qualidade do Raciocínio: Constringir explicitamente os modelos a raciocinar no idioma de entrada frequentemente leva a uma degradação significativa do desempenho em configurações não inglesas, pois as fortes capacidades de raciocínio em inglês do modelo não se transferem de forma confiável.
• Deriva de Idioma: Quando as restrições de idioma são relaxadas para preservar a qualidade do raciocínio, os modelos frequentemente derivam para o inglês, reduzindo a legibilidade e a interpretabilidade para usuários nativos.

Abordagens existentes, como restrições baseadas em prompts ou adição de recompensas de consistência de idioma ao RL, lutam contra a esparsidade de recompensas. Em cenários multilíngues, especialmente para idiomas de baixo recurso, trajetórias que satisfazem restrições estritas de idioma e correção são extremamente escassas, dificultando a exploração eficaz durante o treinamento.

2. Metodologia: LANG

Os autores propõem o LANG, um framework de RL guiado por dicas adaptativas ao idioma, projetado para impulsionar a exploração em tarefas de raciocínio não inglesas, evitando ao mesmo tempo a dependência de auxílios externos. O framework consiste em dois mecanismos principais:

A. Decaimento Programado de Dicas Multilíngues

O LANG utiliza dicas condicionadas ao idioma (traces parciais de raciocínio de um modelo professor) para orientar o modelo estudante durante o treinamento inicial. Para abordar a questão da "dependência de dicas" (onde os modelos falham em raciocinar autonomamente após a remoção das dicas), o LANG emprega um cronograma de decaimento por annealing cosseno.

• Mecanismo: No passo de treinamento $t$, um prefixo da dica $h$ é injetado no prompt. A proporção da dica injetada, $p_t^l$, segue um cronograma cosseno que começa em 1,0 (orientação completa) e decai suavemente até 0,0.
• Objetivo: Isso transiciona o modelo de execuções condicionadas a dicas para raciocínio multilíngue autônomo, estreitando a discrepância entre treinamento e inferência.

B. Alternador Adaptativo ao Idioma

Reconhecendo que as dificuldades de aprendizado variam entre os idiomas, o LANG evita um único ponto de alternância global para remover dicas. Em vez disso, categoriza os idiomas em grupos de recurso (Alto, Médio, Baixo) e emprega uma estratégia de alternância dinâmica.

• Mecanismo: O sistema monitora uma taxa de atualização efetiva ($\bar{u}_R(t)$), definida como a fração de instâncias no lote de um grupo de idiomas que produzem pelo menos uma trajetória com vantagem positiva.
• Critério de Alternância: Quando $\bar{u}_R(t)$ excede um limiar $\tau$, a injeção de dicas para aquele grupo de idiomas específico é desativada.
• Benefício: Idiomas de baixo recurso mantêm as dicas por mais tempo para aliviar a esparsidade de recompensas, enquanto idiomas de alto recurso alternam para raciocínio autônomo mais cedo, otimizando o ritmo de aprendizado para a dificuldade específica de cada idioma.

C. Otimização da Política

O framework otimiza a política usando GRPO (Otimização de Política Relativa em Grupo). A função de recompensa é uma conjunção de três critérios:

1. Consistência de Idioma ($R_{lc}$): O rastro de raciocínio e a resposta final devem corresponder ao idioma de entrada.
2. Formato ($R_{format}$): Uso correto de tags de pensamento e respostas em caixas.
3. Precisão ($R_{acc}$): A resposta final deve corresponder à verdade fundamental (ground truth).

3. Contribuições Principais

• Framework Inovador: Introdução do LANG, que aproveita dicas condicionadas ao idioma para impulsionar a exploração em raciocínio não inglês, abordando a questão da esparsidade de recompensas inerente ao RLVR multilíngue.
• Alinhamento Treinamento-Inferência: O desenvolvimento de um cronograma progressivo de decaimento de dicas e um alternador adaptativo ao idioma que mitigam eficazmente a discrepância entre treinamento e inferência, garantindo que os modelos possam raciocinar autonomamente no momento do teste sem depender de dicas.
• Validação Empírica: Experimentos extensivos demonstrando que o LANG aprimora substancialmente o desempenho do raciocínio multilíngue sem comprometer a consistência de idioma, superando tanto bases de comparação baseadas em prompts quanto baseadas em treinamento.
• Generalização: Evidências de que o método generaliza além do raciocínio matemático para outras tarefas multilíngues (por exemplo, MMLU-ProX, XWinograd) e mantém a consistência de idioma através de diferentes camadas do modelo.

4. Resultados Experimentais

Os autores avaliaram o LANG em dois benchmarks desafiadores: MMATH (10 idiomas) e PolyMath (18 idiomas), utilizando os modelos Qwen2.5 (3B, 7B, 32B) e Llama3.1-8B.

• Ganhos de Desempenho: O LANG superou significativamente a base de comparação mais forte (LC-GRPO). No benchmark MMATH, melhorou a métrica de Consistência de Idioma e Precisão (LC&Acc) em 24,1% em média entre os modelos. No PolyMath, alcançou uma melhoria de 18,7%.
• Idiomas de Baixo Recurso: Os ganhos foram particularmente pronunciados para idiomas de baixo recurso. Por exemplo, com o Qwen2.5-7B, o LANG melhorou a LC&Acc em 39,0% no tailandês (MMATH) e em 24,6% no vietnamita (PolyMath) em comparação com o mGRPO.
• Generalização Fora da Distribuição: O LANG demonstrou forte generalização para idiomas fora do domínio e diferentes escalas de modelos, melhorando consistentemente a LC&Acc sobre as bases de comparação.
• Análise por Camadas: A análise dos estados ocultos intermediários revelou que o LANG mantém alta consistência de idioma ao longo das camadas do modelo, prevenindo o fenômeno de "alternância de idioma entre camadas", onde os modelos raciocinam em inglês e traduzem apenas na saída.

5. Significado e Alegações

O artigo afirma que o LANG fornece uma solução robusta para o compromisso entre precisão do raciocínio e consistência de idioma em LLMs multilíngues. Ao usar dicas como andaimes temporários que são progressivamente removidos com base no progresso de aprendizado específico do idioma, o framework permite que os modelos internalizem padrões de raciocínio multilíngue.

Os autores enfatizam que sua abordagem é agnóstica ao professor (desempenhando-se bem com dicas de diferentes modelos professores) e robusta à tradução (os ganhos permanecem estáveis independentemente do modelo de tradução usado para a construção de dados). Eles concluem que o LANG efetivamente preenche a lacuna entre as capacidades de raciocínio centradas no inglês e a necessidade de interpretabilidade em idioma nativo, fomentando um alinhamento de idioma mais consistente entre as camadas do modelo sem sacrificar o desempenho.

O trabalho reconhece limitações, observando que atualmente depende de um único modelo professor (DeepSeek-R1) para a geração de dicas e que os compromissos de desempenho entre os idiomas podem decorrer de desequilíbrios nos dados de pré-treinamento, sugerindo trabalhos futuros em estratégias centradas em dados.