Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

Resumo Técnico: Autoconsistência Cross-lingual para Raciocínio Multilíngue com Modelos de Linguagem

Definição do Problema

Apesar da expansão da cobertura multilíngue dos Grandes Modelos de Linguagem (LLMs), suas capacidades avançadas de raciocínio permanecem fortemente concentradas em línguas de alto recurso, particularmente o inglês e o chinês. Embora os modelos possam realizar tarefas básicas em diversas línguas, tarefas de raciocínio complexo (ex: problemas matemáticos de palavras) frequentemente falham quando executadas na língua nativa da consulta.

Soluções existentes tentam mitigar essa lacuna através de:

1. Raciocinar em Inglês: Traduzir a consulta de origem para o inglês, raciocinar em inglês e traduzir a resposta de volta.
2. Ajuste Fino Supervisionado (SFT): Treinar com dados paralelos (perguntas traduzidas e traços de raciocínio).
3. Manipulação de Logits: Forçar a distribuição de saída do modelo a imitar padrões de raciocínio em inglês.

Essas abordagens sofrem de limitações significativas: dependem de dados de raciocínio paralelos de alta qualidade e escassos, dependem da qualidade da tradução automática (o que introduz ruído) e frequentemente falham em generalizar para línguas ou domínios não vistos. Além disso, estratégias que forçam o raciocínio em inglês não aumentam necessariamente a capacidade intrínseca do modelo de raciocinar na língua de origem.

Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) não supervisionado que aprimora o raciocínio multilíngue ao impor a autoconsistência cross-lingual. O princípio central é que um modelo deve produzir a mesma resposta final para problemas equivalentes apresentados em diferentes línguas, mesmo sem acesso a rótulos de verdade fundamental (ground-truth).

Componentes Principais:

1. Sinal Não Supervisionado: O método requer apenas perguntas monolíngues (especificamente inglês nos experimentos) para o treinamento. Não requer respostas de ouro ou traços de raciocínio paralelos pré-existentes.
2. Autotradução: Para gerar entradas paralelas, o próprio modelo traduz as perguntas de treinamento em inglês para as línguas alvo. Embora ruidosa, essa abordagem é escalável e evita a injeção de conhecimento externo de mecanismos de tradução de terceiros.
3. Função de Recompensa (RL):
   • O framework estende a autoconsistência monolíngue (que minimiza a entropia da distribuição de respostas) para um cenário multilíngue.
   • Em vez de minimizar a entropia dentro de uma única língua, o método minimiza a entropia cruzada entre a distribuição de respostas de uma língua específica ($\hat{p}_\pi$) e uma distribuição alvo ($\hat{q}_\pi$) derivada de outras línguas.
   • Estratégias de Distribuição Alvo: Os autores exploram três formas de definir $\hat{q}_\pi$:
     • Língua de Origem: Equivalente à autoconsistência monolíngue padrão.
     • Língua de Referência (Inglês): Alinha todas as línguas à distribuição do inglês (atuando como destilação cross-lingual).
     • Combinada: Médias das distribuições de respostas através de todas as línguas. Esta variante é usada como o método principal, otimizando diretamente pela consistência em todo o conjunto de línguas.
4. Algoritmo de Treinamento: Os autores utilizam GRPO (Group Relative Policy Optimization) com o backend VeRL. A recompensa é calculada com base na consistência das respostas finais entre as trajetórias amostradas em diferentes línguas.

Principais Contribuições

• Framework Inovador: O primeiro método de RL não supervisionado para melhorar o raciocínio multilíngue ao impor explicitamente a autoconsistência cross-lingual sem exigir dados paralelos ou rótulos de verdade fundamental.
• Escalabilidade: O método é prático para cenários onde dados de raciocínio multilíngue não estão disponíveis, aproveitando a própria capacidade de tradução do modelo para criar sinais de treinamento.
• Generalização: A abordagem demonstra forte generalização para línguas não vistas e domínios fora de distribuição (OOD).

Resultados Experimentais

O método foi avaliado no benchmark MGSM (10 línguas) e em três benchmarks OOD (mGPQA, MMATH, PolyMath) utilizando modelos Qwen2.5 (1.5B, 7B, 14B) e Llama3 (8B).

• Ganhos de Desempenho:
  • No MGSM, o método alcançou melhorias médias de acurácia de 7,8% (1.5B), 15,1% (7B) e 21,7% (14B) sobre os modelos originais.
  • Ganhos foram observados em quase todas as línguas, com algumas línguas de baixo recurso (ex: russo, telugo) apresentando melhorias relativas superiores a 100%.
  • O método superou baselines anteriores, incluindo escalonamento em tempo de teste (S1) e métodos baseados em DPO (LIDR), particularmente em termos de eficiência de tokens. Embora o S1 tenha alcançado resultados competitivos, ele exigiu aproximadamente 3x mais tokens para traços de raciocínio mais longos.
• Generalização:
  • Línguas Não Vistas: Ao ser treinado em um subconjunto de línguas, o modelo mostrou uma melhoria média de 18,2% em línguas não vistas dentro do MGSM.
  • Benchmarks OOD: O método gerou ganhos médios de 4,7% no mGPQA e 6,2% no MMATH, superando o LIDR, que causou degradação de desempenho em tarefas OOD.
• Consistência: Análises confirmaram que o método melhorou significativamente tanto a autoconsistência monolíngue quanto a cross-lingual. Modelos treinados com este método atingiram o desempenho próximo ao pico com menos amostras (Maj@8) comparado aos baselines, indicando uma otimização eficiente do computação de inferência.
• Níveis de Recursos: O método reduziu significativamente a lacuna de desempenho entre o inglês e outras línguas, particularmente em níveis de alto e médio recurso, embora as línguas de baixo recurso ainda tenham ficado atrás devido aos limites de proficiência do modelo subjacente.

Significância e Alegações

O artigo afirma que métodos baseados em consistência oferecem um caminho viável para melhorar as capacidades multilíngues de LLMs sem o custo proibitivo da anotação de dados supervisionados.

• Equidade e Robustez: Ao estreitar a lacuna de desempenho entre línguas de alto e baixo recurso, o método promove a equidade e a robustez dos LLMs em diferentes contextos linguísticos.
• Melhoria Intrínseca: Diferente das estratégias de "traduzir para o inglês" que dependem do inglês como um proxy, este método melhora a capacidade intrínseca do modelo de raciocinar na língua de origem.
• Praticidade: A dependência de autotradução e dados monolíngues torna a abordagem altamente escalável e aplicável a domínios onde dados de raciocínio multilíngue são inexistentes.

Os autores concluem que, embora o método dependa das escalas de modelos atuais (sub-20B) e enfrente limitações quanto à disponibilidade de benchmarks de baixo recurso, ele pavimenta o caminho para aumentar o desempenho do raciocínio multilíngue em escala sem anotação de dados extras. Trabalhos futuros sugeridos exploram tarefas não verificáveis e arquiteturas de modelos maiores.