Resumo Técnico: Transferência de Raciocínio Multilíngue Eficiente via Alternância de Código Progressiva

Declaração do Problema

Grandes Modelos de Raciocínio (LRMs), como o DeepSeek-R1 e o Qwen3, demonstraram fortes capacidades de raciocínio em inglês, frequentemente alavancando Aprendizado por Reforço com Recompensas Verificadas (RLVR) e processos longos de Cadeia de Pensamento (CoT). No entanto, seu desempenho degrada significativamente quando exigidos a raciocinar em línguas não inglesas. Ao serem instigados em um idioma alvo, esses modelos frequentemente retornam ao raciocínio em inglês, criando uma incompatibilidade que compromete a compreensibilidade e a confiança.

Abordagens existentes para impor consistência linguística enfrentam limitações distintas:

• Controle de Prompt/Prefixo: Frequentemente pouco confiável ou compromete a precisão em relação ao raciocínio em inglês.
• Ajuste Fino Supervisionado (SFT): Limitado pela escassez de dados de raciocínio longo multilíngues de alta qualidade e propenso a introduzir artefatos de repetição.
• Aprendizado por Reforço (RL) com Recompensas de Linguagem: Embora incentivem a saída na língua alvo, o desempenho tipicamente permanece inferior ao raciocínio baseado em inglês.
• Destilação: Métios de transferência atuais dependem de traços destilados custosos de LRMs mais fortes ou de supervisão online de modelos julgadores externos, que são difíceis de escalar.

Metodologia: Alternância de Código Progressiva (PCS)

Os autores propõem o PCS (Progressive Code-Switching - Alternância de Código Progressiva), um framework de transferência que requer apenas tradução leve e nenhum modelo professor mais forte ou julgadores externos. A ideia central é tratar o raciocínio com alternância de código (uma mistura de inglês e a língua alvo) como um estágio intermediário para a transferência translinguística, em vez de forçar uma mudança abrupta para o raciocínio total na língua alvo.

O framework opera em três estágios:

1. Definição de Raciocínio com Alternância de Código

O raciocínio com alternância de código é definido como um padrão alternado onde um subconjunto de etapas de raciocínio de um traço em inglês é traduzido para a língua alvo. A lógica subjacente permanece o raciocínio de alta qualidade em inglês, mas a forma superficial muda gradualmente.
Uma métrica, Consistência de Linguagem ao Nível da Etapa (SLC), é definida para medir a proporção de etapas de raciocínio expressas na língua alvo ($L$) versus a não-alvo ($\bar{L}$), excluindo etapas agnósticas à linguagem (ex: expressões matemáticas puras).

2. Inicialização de Cold-Start

Para permitir que o modelo produza traços de alternância de código sem dados de raciocínio na língua alvo destilados:

• Os autores pegam traços de raciocínio em inglês e traduzem uma fração fixa (30% nos experimentos) das etapas de raciocínio para a língua alvo.
• Esses exemplos de alternância de código são misturados com dados padrão de Q&A em inglês.
• O modelo base passa por um Ajuste Fino Supervisionado (SFT) neste conjunto de dados combinado. Este "cold-start" equipa o modelo com a habilidade inicial de alternar idiomas dentro de uma trajetória de raciocínio.

3. Aprendizado por Reforço (RL) Progressivo

Após o cold-start, o modelo passa por treinamento de RL seguindo uma abordagem de aprendizado curricular:

• Design de Recompensa: O sistema de recompensa inclui penalidades para repetição e erros de formato, uma recompensa de precisão e uma Recompensa de Consistência de Linguagem ao Nível da Etapa.
• Mecanismo Curricular: Em vez de exigir imediatamente a saída 100% na língua alvo, o sistema começa com um limiar de SLC baixo ($\tau$).
  • O limiar $\tau$ é aumentado progressivamente (ex: de 10% para 95%) durante o treinamento.
  • A recompensa só é positiva se o SLC(T, L) do modelo atender ao limiar atual $\tau$.
  • Este cronograma "do fácil ao difícil" evita a instabilidade e a degradação de desempenho frequentemente observadas ao impor restrições linguísticas estritas diretamente.
• Medidas de Estabilidade: Para evitar que a política se desvie demais do modelo de referência (causando alta divergência KL), o modelo de referência é resetado para a política atual sempre que a perda KL excede um limiar (0.2).

Principais Contribuições

1. Framework de Transferência Eficiente: O PCS elimina a necessidade de traços de raciocínio na língua alvo destilados de modelos mais fortes ou de modelos julgadores externos, baseando-se, em vez disso, na tradução leve de traços de inglês existentes.
2. Currículo Progressivo: Ao tratar a alternância de código como um estágio de transição e aumentar progressivamente a proporção da língua alvo via um currículo, o PCS fornece um caminho de transferência suave que evita a instabilidade da imposição direta de linguagem.
3. Consistência ao Nível da Etapa: Diferente das recompensas de linguagem ao nível da resposta, que podem ser "hackeadas" (ex: inserindo tokens da língua alvo enquanto se raciocina em inglês), o PCS impõe consistência ao nível da etapa, garantindo que a própria lógica do raciocínio esteja sendo transferida.
4. Eficiência de Recursos: O método evita a latência e o overhead computacional de modelos julgadores online exigidos por outros métodos de alinhamento translinguístico.

Resultados Experimentais

Os autores avaliaram o PCS nos benchmarks MMATH e MMLU-ProXmath utilizando backbones Qwen3-4B e Qwen3-8B em cinco línguas tipologicamente diversas: Francês, Português, Japonês, Coreano e Tailandês.

• Métrica Primária (SLC&Acc): O PCS alcançou consistentemente o maior desempenho na métrica combinada de Consistência de Linguagem ao Nível da Etapa e Precisão (SLC&Acc), onde uma resposta deve ser tanto correta quanto possuir $\ge 90\%$ de etapas na língua alvo.
• Comparação com Baselines:
  • vs. Controle de Inferência: O PCS superou significativamente os métodos de Controle de Prompt e Prefixo, que ou falharam em direcionar o raciocínio ou prejudicaram severamente a precisão.
  • vs. SFT: O PCS evitou os artefatos de repetição e as quedas de desempenho observados nas baselines de SFT (particularmente em japonês).
  • vs. Baselines de RL: O PCS superou o RL Ingênuo (que retornava ao inglês) e o SoftLC RL (que utilizava recompensas ao nível da resposta).
  • vs. M-Thinker: O PCS alcançou desempenho comparável ou superior sem depender de um modelo julgador mais forte. Os autores observam que o M-Thinker, que usa um julgador mais forte para alinhamento translinguístico, é suscetível ao "reward hacking", onde o modelo insere tokens da língua alvo para passar por um detector enquanto retém a lógica de raciocínio em inglês/chinês.
• Estudos de Ablação: Remover o currículo (usando uma recompensa densa para SLC em vez de um limiar progressivo) levou a aumentos rápidos de SLC, mas degradou a precisão, confirmando a necessidade do cronograma de transferência gradual.

Significância e Alegações

O artigo afirma que o PCS oferece um caminho estável e eficiente em recursos para a transferência de raciocínio multilíngue. Ao alavancar a alternância de código como uma ponte, o método consegue reduzir com sucesso a lacuna de desempenho entre o raciocínio em inglês e o da língua alvo, mantendo uma precisão competitiva.

Os autores enfatizam que sua abordagem:

• Evita o Reward Hacking: A restrição de consistência ao nível da etapa impede que os modelos manipulem detectores de linguagem ao nível da resposta.
• Garante Estabilidade: O currículo progressivo mitiga o trade-off entre consistência de linguagem e precisão do raciocínio, que é frequentemente observado ao pressionar modelos diretamente para o raciocínio total na língua alvo.
• Generaliza: O método funciona efetivamente através de diversas famílias de línguas sem exigir ajuste específico para cada língua ou pipelines de destilação caros.

O estudo conclui que a transferência eficaz de raciocínio multilíngue requer uma mudança gradual da língua de raciocínio, e que o PCS fornece uma solução prática e escalável para alcançar isso sem os altos custos de infraestrutura dos métodos de estado da arte atuais.