Resumo Técnico: LUAR – Aprendendo Quando Traduzir para o Raciocínio Multilíngue

Definição do Problema

Modelos de Linguagem de Raciocínio (RLMs) têm demonstrado fortes capacidades em tarefas de raciocínio complexo ao gerar traços de raciocínio intermediários. No entanto, eles exibem lacunas de desempenho significativas em cenários multilíngues, particularmente para línguas de baixos recursos. Estudos recentes indicam que essas lacunas são frequentemente impulsionadas não por uma falta de capacidade de raciocínio, mas por falhas na compreensão da linguagem ao processar entradas não inglesas.

Traduzir entradas não inglesas para o inglês pode mitigar essas falhas de compreensão, mas traduzir indiscriminadamente cada consulta é ineficiente e desnecessário, uma vez que os RLMs podem frequentemente raciocar de forma confiável a partir da língua original. O desafio central é permitir que os RLMs invoquem a tradução seletivamente apenas quando sua compreensão direta da entrada for pouco confiável, sem depender de detectores externos que introduzam latência ou exigir que o modelo reaprenda a compreensão da linguagem do zero.

Metodologia: Estrutura LUAR

Os autores propõem o LUAR (Language Understanding Boundary-aware Reinforcement Learning — Aprendizado por Reforço Consciente da Fronteira de Compreensão de Linguagem), um framework de treinamento de dois estágios que ensina os RLMs a reconhecerem suas próprias fronteiras de compreensão de linguagem e a invocarem um tradutor externo apenas quando necessário.

1. Estimativa de Fronteira Baseada em Resultados

O LUAR define que uma consulta cai fora da fronteira de compreensão de linguagem do modelo se o acesso a uma tradução para o inglês aumentar substancialmente a capacidade do modelo de resolvê-la. Isso é estimado empiricamente por:

• Amostragem de $N/2$ respostas via raciocínio direto (língua original).
• Amostragem de $N/2$ respostas via raciocínio aumentado por tradutor (precedendo um traço com uma tradução de referência para o inglês).
• Cálculo das frações de correção $d_{acc}(q)$ e $t_{acc}(q)$.
• Atribuição de um rótulo de utilidade de tradução $u(q) = 1$ se $t_{acc}(q) \ge d_{acc}(q) + \delta$ (onde $\delta=0.5$), indicando que a tradução é benéfica.

2. Procedimento de Treinamento de Dois Estágios

Estágio I: Ajuste Fino Supervisionado (SFT) de Chamada de Tradutor

• Objetivo: Aquecer o espaço de ação do modelo para incluir chamadas de tradutor.
• Processo: O modelo é ajustado finamente em respostas corretas amostradas de modos diretos ou aumentados por tradutor.
• Regra de Seleção: Uma regra "suave" é usada para selecionar o modo alvo de treinamento ($m(q)$): se $t_{acc}(q) > d_{acc}(q)$, o modelo é treinado em um traço aumentado por tradutor; caso contrário, em um traço direto. Isso expõe o modelo a ambos os caminhos de raciocínio sem impor uma fronteira estrita ainda.

Estágio II: Aprendizado por Reforço Online Consciente da Fronteira (GRPO)

• Objetivo: Otimizar a decisão de quando chamar o tradutor.
• Processo: O modelo é treinado usando Otimização de Política Relativa de Grupo (GRPO).
• Função de Recompensa: Uma recompensa consciente da fronteira $r(q, y_i)$ é definida para pontuar conjuntamente a correção da tarefa e as decisões de chamada de tradutor:
  • Correto + Chamada Útil ($u(q)=1$): Recompensa $1 + \gamma$ (Bônus).
  • Correto + Sem Chamada: Recompensa $1$ (Base).
  • Correto + Chamada Desnecessária ($u(q)=0$): Recompensa $1 - \gamma$ (Penalidade).
  • Incorreto/Inválido: Recompensa $0$.
• Isso incentiva o modelo a chamar o tradutor apenas quando isso leva empiricamente a uma maior probabilidade de uma resposta correta, enquanto evita chamadas quando o raciocínio direto é suficiente.

Principais Contribuições

1. Uma Nova Perspectiva sobre Raciocínio Multilíngue: O artigo reformula as lacunas de raciocínio multilíngue como questões de fronteiras de compreensão de linguagem, propondo que os RLMs devem aprender a detectar quando caem fora dessas fronteiras em vez de simplesmente melhorar a compreensão generalizada da linguagem.
2. Estrutura LUAR: A introdução de um pipeline de treinamento de dois estágios (SFT + GRPO consciente da fronteira) que internaliza a decisão de invocar a tradução diretamente dentro do traço de raciocínio, eliminando a necessidade de detectores externos separados.
3. Política de Tradução Seletiva: Demonstração de que os RLMs podem aprender uma política que concentra as chamadas de tradutor em línguas de baixos recursos onde o raciocínio direto falha, preservando o raciocínio direto para línguas de altos recursos e línguas de baixos recursos não vistas.

Resultados Experimentais

O framework foi avaliado nos modelos Qwen3-4B e Qwen3-8B através dos benchmarks PolyMath (raciocínio matemático) e MMLU-ProX-Lite (raciocínio STEM), cobrindo 10 línguas tipologicamente diversas.

• Ganhos de Desempenho: O LUAR superou o GRPO padrão, métodos baseados em prompts (Autoavaliação, Uso de Ferramentas Nativas), métodos baseados em detectores externos (Tradução Seletiva) e outros baselines de treinamento (Boundary-SFT, Q-ALIGN, TAPO).
  • No Qwen3-4B, o LUAR alcançou uma acurácia média de 54,39% (traduzindo apenas 20,3% dos exemplos), superando significativamente o modelo base (44,93%) e o baseline de tradução total (55,39% com custo de 100% de tradução).
  • No Qwen3-8B, o LUAR alcançou 70,46% de acurácia média.
• Seleção de Modo: O LUAR alcançou o maior macro-F1 de seleção de modo, indicando que identificou corretamente quando a tradução era útil.
• Generalização: O modelo generalizou com sucesso para línguas de baixos recursos não vistas (Iorubá, Zulu), melhorando substancialmente a acurácia nessas línguas (ex: 56,27% em Iorubá e 87,20% em Zulu para o Qwen3-4B) onde o raciocínio direto era mais fraco.
• Eficiência: O LUAR demonstrou menor latência de inferência (9,32s) em comparação ao modelo base (11,77s) e à tradução seletiva externa (14,09s), atribuído a traços de raciocínio mais curtos quando a tradução é evitada.

Significância e Alegações

O artigo afirma que o LUAR fornece uma abordagem seletiva para o raciocínio multilíngue, permitindo que os RLMs aprendam a invocar a tradução apenas quando sua compreensão direta for pouco confiável. Esta abordagem:

• Preenche a lacuna entre o desempenho de línguas de altos e baixos recursos sem exigir dados massivos de treinamento na língua alvo.
• Evita overhead desnecessário ao não traduzir entradas que o modelo já consegue compreender.
• Generaliza efetivamente para línguas não vistas, sugerindo que a política aprendida captura um sinal robusto de fronteiras de compreensão de linguagem em vez de sofrer overfitting para línguas específicas de treinamento.

Os autores concluem que tratar a compreensão da linguagem como uma condição de fronteira que pode ser detectada e acionada via uso de ferramentas (tradução) é uma direção promissora para construir modelos de raciocínio multilíngues robustos. Eles observam limitações quanto à diversidade das famílias linguísticas cobertas e ao escopo das tarefas (atualmente focadas em matemática e STEM), sugerindo que trabalhos futuros poderiam estender esta política consciente da fronteira para tarefas de raciocínio mais amplas.