Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models

Resumo Técnico: Colapso Cross-Lingual em Cadeias de Pensamento (CoT)

1. O Problema: Colapso Cross-Lingual

O artigo investiga um fenômeno empírico crítico em Modelos de Linguagem Grandes (LLMs) treinados com Aprendizado por Reforço com Recompensa Verificável (RLVR), especificamente utilizando o algoritmo GRPO (Group-Relative Policy Optimization).

• Definição: O "Colapso Cross-Lingual" ocorre quando um modelo multilíngue, ao ser treinado para raciocinar em uma língua-alvo (ex: Ucraniano, Coreano, Tailandês) através de longas cadeias de pensamento (CoT), recai sistematicamente para a sua língua dominante de pré-treinamento (geralmente o Inglês), mesmo quando o prompt de entrada está em outra língua.
• O Paradoxo: À medida que a precisão do modelo (accuracy) aumenta durante o treinamento, a fidelidade linguística da cadeia de pensamento diminui drasticamente. O modelo descobre que raciocinar em Inglês é um "atalho" mais eficiente para maximizar a recompensa de correção, abandonando a língua solicitada.
• Impacto: Isso compromete a interpretabilidade, a auditoria e a utilidade prática dos modelos em contextos multilíngues, especialmente em línguas de recursos baixos (low-resource).

2. Metodologia

Os autores conduziram uma análise sistemática para formalizar e entender esse fenômeno:

• Configuração Experimental:

  • Modelos Base: Foram utilizados modelos com diferentes viéses linguísticos:
    • Dominante em Inglês: OLMo-2-1B.
    • Multilíngue: Llama-3.2-3B e Qwen-2.5-1.5B.
  • Dados: O conjunto de dados matemático GSM8K foi traduzido para cinco línguas-alvo (Chinês, Coreano, Ucraniano, Tailandês e Japonês) para forçar o raciocínio nesses idiomas. Também foi utilizado o SimpleRL-Zoo para introduzir curricula mais difíceis.
  • Treinamento: Os modelos foram ajustados usando GRPO (RLVR) focado em resolver problemas matemáticos com verificação de resposta.
  • Métricas:
    • Precisão (Accuracy): Taxa de acerto nas respostas finais.
    • Razão de Palavras-Alvo (Target Word Ratio - WR): Porcentagem de tokens na língua-alvo na cadeia de pensamento.
    • Razão de Palavras em Inglês (EN WR): Porcentagem de tokens em inglês.

• Análise de Gatilhos:

  • Investigaram como a dificuldade da tarefa (misturando GSM8K com problemas mais difíceis do SimpleRL-Zoo) e a entropia de decodificação (temperatura e top-p) influenciam o colapso.
  • Testaram intervenções para mitigar o problema: recompensas de consistência linguística, controle de amostragem (decoding-time controls) e treinamento multilíngue misto.

3. Contribuições Principais

O artigo oferece três contribuições fundamentais:

1. Formalização do Fenômeno: Define o "Colapso Cross-Lingual" como uma tendência sistemática onde a melhoria de desempenho em RLVR está correlacionada com a migração da cadeia de pensamento para a língua dominante do pré-treinamento.
2. Identificação de Mecanismos e Amplificadores:
   • Demonstra que o GRPO favorece trajetórias de raciocínio em inglês porque elas tendem a ter maior probabilidade de sucesso (maior vantagem) em modelos treinados predominantemente em inglês.
   • Mostra que a dificuldade da tarefa acelera esse colapso: em tarefas complexas, o modelo abandona a língua-alvo mais rapidamente para garantir a resposta correta.
   • Identifica que a alta entropia de decodificação (amostragem mais aleatória) facilita a descoberta e reforço desses atalhos em inglês.
3. Análise de Mitigações e Trade-offs: Avalia intervenções que, embora reduzam o colapso, revelam um trade-off persistente entre desempenho e fidelidade. Não existe uma solução "tamanho único" que mantenha alta precisão e alta fidelidade linguística simultaneamente sob RLVR padrão.

4. Resultados Chave

• Trade-off Precisão vs. Fidelidade:

  • Em modelos dominantes em inglês (OLMo), o treinamento RLVR aumentou a precisão, mas a razão de palavras na língua-alvo caiu para quase 0%, enquanto o inglês dominou a cadeia de pensamento (até 97%).
  • Em modelos multilíngues (Llama, Qwen), o efeito variou conforme a riqueza de recursos da língua:
    • Línguas de alto recurso (Chinês, Japonês): Mantiveram alta fidelidade (>90% WR).
    • Línguas de médio recurso (Coreano): Mostraram queda moderada.
    • Línguas de baixo recurso (Ucraniano, Tailandês): Sofreram colapso severo, similar aos modelos dominantes em inglês.

• Gatilhos do Colapso:

  • Dificuldade: Ao adicionar problemas mais difíceis (SimpleRL-Zoo) ao treinamento, o modelo Qwen (Coreano) colapsou de 94% de WR para 14.5% em apenas 2.000 passos, enquanto a precisão subiu.
  • Mecanismo de Exploração: Durante a geração de rollouts (amostragem), o modelo descobre que raciocinar em inglês resolve o problema com mais confiança. O mecanismo de vantagem do GRPO reforça esses tokens em inglês, criando um ciclo de retroalimentação positiva que desvia o modelo da língua-alvo.

• Eficácia das Mitigações:

  • Recompensa de Consistência Linguística: Adicionar uma penalidade/recompensa baseada na proporção de tokens na língua-alvo manteve a fidelidade, mas reduziu a precisão em cerca de 7-9 pontos percentuais.
  • Controle de Decodificação: Reduzir a temperatura ou o top-p durante a amostragem preveniu o colapso, mas também suprimiu a exploração necessária para alta precisão.
  • Treinamento Multilíngue: Treinar com uma mistura de várias línguas ajudou a restaurar a consistência, mas novamente à custa da precisão final.

• Generalização: O fenômeno não se limita à matemática. Ao testar em tarefas de conhecimento geral (Global MMLU-Lite), o mesmo padrão de colapso e trade-off foi observado.

5. Significado e Conclusão

O artigo conclui que o Colapso Cross-Lingual é uma consequência natural da combinação entre:

1. Pré-treinamento desequilibrado (dominância do inglês).
2. Otimização de recompensa cega à língua (focada apenas na correção da resposta).
3. A natureza exploratória do RLVR, que descobre e explora "atalhos" cognitivos na língua mais forte do modelo.

Implicações:

• Para garantir a diversidade linguística em modelos de raciocínio avançado, não basta apenas traduzir os dados de instrução. É necessário rebalancear o pré-treinamento ou desenvolver mecanismos de RL que incorporem explicitamente a fidelidade linguística como uma restrição ou objetivo multi-objetivo.
• Existe um dilema fundamental: se quisermos o máximo de desempenho em raciocínio complexo via RLVR em modelos atuais, corremos o risco de perder a capacidade de raciocinar e explicar em línguas não dominantes.

O trabalho sugere que futuras pesquisas devem focar em mecanismos de exploração que mantenham a diversidade semântica, mas restrinjam a forma superficial (surface form) à língua-alvo, ou em métodos de alinhamento que mapeiem o Pareto entre precisão e fidelidade linguística.