Resumo Técnico: Melhorando a Recuperação Factual Cross-Lingual via Aprendizado por Reforço Baseado em Consistência

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) treinados predominantemente em dados em inglês codificam vastas quantidades de conhecimento de mundo, mas frequentemente falham em acessar esse conhecimento de forma confiável quando consultados em idiomas não ingleses. Este fenômeno, denominado inconsistência factual cross-lingual, não é causado primariamente por um déficit de armazenamento de conhecimento. Em vez disso, estudos mecanísticos sugerem que a falha ocorre durante a fase de "transição de linguagem": o modelo pode recuperar o conceito correto em camadas intermediárias (frequentemente em um espaço latente centrado no inglês ou agnóstico à linguagem), mas falha em mapear esse conceito de forma confiável para os tokens corretos da linguagem alvo nas camadas finais.

Embora o Pré-treinamento Contínuo (CPT) em corpora paralelos tenha demonstrado melhorar a fluência na tradução, ele frequentemente falha em impulsionar substancialmente o desempenho em tarefas exigentes como a recuperação factual. Isso sugere que, embora o dado paralelo alinhe as representações internas, ele não ensina suficientemente o modelo a acessar esse conhecimento alinhado através de interfaces não inglesas.

Metodologia

1. O Conjunto de Dados POLYFACT

Para abordar a falta de dados multilingues factuais paralelos em larga escala, os autores introduzem o POLYFACT.

• Construção: Derivado de triplas de verdade da Wikidata, o conjunto de dados contém 100.000 fatos em 12 idiomas tipologicamente diversos (incluindo idiomas de altos recursos como inglês, chinês e espanhol, e de baixos recursos como suaíli e bengali).
• Formato: É um conjunto de dados de múltipla escolha (MCQ) onde cada fato é totalmente paralelo nos 12 idiomas. Para cada fato, três distratores são amostrados de objetos coocorrentes da mesma propriedade para garantir plausibilidade.
• Qualidade: O conjunto de dados passou por um rigoroso controle de qualidade usando um juiz de LLM fundamentado na web (GPT-4o) e revisão manual, alcançando 91% de concordância entre o LLM e os anotadores humanos.

2. Abordagens de Treinamento

O estudo compara três estratégias de pós-treinamento em dois modelos de escala 7B (OLMo-2-1124-7B e Qwen-2.5-7B):

1. Pré-treinamento Contínuo (CPT): Pré-treinamento leve em um corpus paralelo equilibrado (TED2025) para alinhar representações antes do ajuste fino.
2. Ajuste Fino Supervisionado (SFT): Treinamento no POLYFACT usando um objetivo conjunto que combina a perda de classificação padrão com um termo de consistência. O termo de consistência minimiza a divergência KL entre as distribuições de saída do modelo através dos 12 idiomas paralelos, incentivando o modelo a produzir respostas consistentes independentemente do idioma de entrada.
3. Aprendizado por Reforço Baseado em Consistência (GRPO): Uma abordagem de Otimização de Política Relativa de Grupo (GRPO) onde a função de recompensa incentiva explicitamente a consistência cross-lingual.
   • Mecanismo de Recompensa: Para um grupo de 8 rollouts (cada um contendo 12 gerações paralelas), a recompensa é calculada com base na correção (+1), penalidades de alucinação (-0,5) e um bônus específico (+1) se todos os 12 idiomas no grupo forem respondidos corretamente. Isso força o modelo a aprender um caminho de recuperação compartilhado em vez de memorização específica de linguagem.

3. Análise Mecanística

Os autores empregam duas ferramentas de interpretabilidade para analisar como esses métodos remodelam a arquitetia interna do modelo:

• LAHIS: Analisa cabeças de atenção para determinar contribuições de processamento específicas de linguagem.
• LAPE: Identifica neurônios específicos de linguagem em camadas MLP medindo a frequência de ativação e a entropia.

Principais Resultados

Ganhos de Desempenho

• GRPO vs. SFT: O GRPO supera consistentemente o SFT em todos os benchmarks de avaliação (POLYFACT, KLAR e Global-MMLU).
  • No POLYFACT, o GRPO alcança a maior precisão tanto em idiomas de altos quanto de baixos recursos.
  • No KLAR (um benchmark de geração de texto livre), o GRPO melhora o desempenho em quase todos os idiomas, enquanto o SFT frequentemente regride. Isso indica que o SFT aprende primariamente a corresponder a candidatos de resposta (correspondência de padrões) em vez de melhorar a recuperação cross-lingual genuína.
  • No Global-MMLU (que exige raciocínio de múltiplos passos), os modelos GRPO generalizam melhor do que os modelos SFT ou apenas CPT.
• Papel do CPT: O CPT leve em dados paralelos proporcionou ganhos adicionais limitados quando combinado com o pós-treinamento. Em alguns casos, o Cuso seguido de pós-treinamento resultou em um desempenho inferior ao pós-treinamento a partir do modelo base sozinho, sugerindo que o alinhamento sozinho não garante um melhor acesso ao conhecimento.

Transferência Cross-Lingual

O GRPO demonstra uma generalização superior para idiomas não vistos (idiomas não presentes durante o pós-treinamento, como grego, ucraniano e hebraico).

• Os ganhos são mais pronunciados para idiomas que compartilham scripts ou subpalavras com os idiomas de treinamento (por exemplo, idiomas de escrita latina ou aqueles que compartilham subpalavras Perso-Árabes).
• Quedas de desempenho são observadas em idiomas "isolados por script" (ex: grego, coreano), indicando que, embora o GRPO melhore as representações compartilhadas, ele ainda é limitado pelas fronteiras de tokenização.

Insights Mecanísticos

• Roteamento de Linguagem: O GRPO reestrutura fundamentalmente a computação multilingue. Ao contrário do modelo base, que toma decisões de roteamento de linguagem imediatamente (frequentemente na primeira camada), o GRPO atrasa a especialização linguística para camadas posteriores. Isso cria um espaço intermediário compartilhado e agnóstico à linguagem muito maior.
• Especialização de Neurônios: O GRPO aumenta a proporção de neurônios específicos de inglês (em ~38%) enquanto reduz a especialização em outros idiomas (ex: bengali e suaíli). Isso sugere que o objetivo de RL "espreme" o espaço comportamental do modelo, incentivando a dependência da espinha dorsal representacional mais estável (inglês) como um pivô para outros idiomas.
• Compartilhamento de Cabeças: Enquanto o SFT aumenta significamente a sobreposição de cabeças pareadas (especialmente entre idiomas indo-europeus), o GRPO alcança um aumento mais moderado na sobreposição, mas impulsiona uma reorganização mais profunda do processamento, deslocando-o das camadas de roteamento iniciais.

Significância e Alegações

O artigo postula que a inconsistência factual cross-lingual é menos um problema de falta de conhecimento e mais um problema de acesso não confiável ao conhecimento latente existente.

• Contribuição Primária: Os autores demonstram que o aprendizado por reforço baseado em consistência (GRPO) é um mecanismo mais eficaz do que o Ajuste Fino Supervisionado (SFT) ou o Pré-treinamento Contínuo leve para melhorar a recuperação factual cross-lingual. O GRPO tem sucesso ao promover representações internas compartilhadas e reorganizar o roteamento multilingue para garantir que os conceitos factuais sejam acessados consistentemente entre as línguas.
• Lançamento de Dataset: O lançamento do POLYFACT fornece um recurso crítico para estudar e testar a consistência factual cross-lingual, abordando a carência anterior de dados de QA multilingues totalmente paralelos em larga escala.
• Escopo Modesto: Os autores reconhecem que seu método melhora o acesso factual, mas não resolve necessariamente desafios mais amplos de raciocínio multilingue (como visto nos resultados do Global-MMLU). Além disso, a abordagem é atualmente limitada a modelos de escala 7B e pode não se generalizar para arquiteturas significativamente diferentes ou modelos maiores sem investigação adicional. O artigo também observa que vieses na fonte Wikidata subjacente (ex: nomes próprios centrados no inglês) podem inadvertidamente reforçar certos modos de falha, como responder perguntas de nomes próprios em inglês em vez do idioma alvo.