Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

Resumo Técnico: Preenchendo a Lacuna Cultural

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas na resolução de problemas matemáticos expressos em linguagem natural. No entanto, o raciocínio matemático multilingue e culturalmente fundamentado em línguas de baixo recurso (LRLs) fica aquém do desempenho em inglês.

As principais causas identificadas são:

• Escassez de Dados Socio-culturais: A falta de conjuntos de dados que reflitam entidades nativas precisas (nomes de pessoas, organizações, moedas) em contextos locais.
• Viés de Tradução: A maioria dos benchmarks multilingues existentes é criada através de tradução direta de datasets em inglês (como o GSM8K). Isso resulta em problemas matemáticos que, embora estejam em uma língua local (ex: Suaíli), contêm nomes e moedas anglo-saxônicas (ex: "Mandy", "Benedict", "$").
• Fragilidade dos Modelos: Os LLMs frequentemente falham ao resolver problemas quando as entidades culturais são alteradas para o contexto nativo, mesmo que a estrutura matemática permaneça inalterada. Isso indica que os modelos estão superajustados (overfitting) a entidades centradas no inglês, em vez de compreenderem a lógica matemática subjacente.

2. Metodologia

Os autores propõem um framework automatizado de localização cultural para problemas de palavras matemáticas (MWPs) em 18 línguas africanas de baixo recurso. O pipeline opera em sete etapas principais (ilustradas na Tabela 1 do artigo):

1. Classificação de Entidades: Utilização de LLMs (especificamente modelos Gemini) para identificar e extrair entidades críticas do texto original em inglês: nomes pessoais, nomes de organizações e moedas.
2. Banco de Dados Multilíngue: Criação de um dicionário de substituição com entidades locais culturalmente relevantes (nomes unissex para evitar viés de gênero, moedas locais, etc.), curado em colaboração com voluntários.
3. Criação do Dicionário de Substituição: Mapeamento das entidades extraídas para suas equivalentes locais.
4. Substituição de Entidades: Geração de uma versão intermediária do texto traduzido onde as entidades originais são substituídas pelas locais, mantendo a estrutura da frase.
5. Localização Automática (Auto-Localization): Um LLM é instruído a reescrever a versão com entidades substituídas para garantir fluência e gramática correta na língua alvo, utilizando um exemplo de one-shot prompting que compara o original em inglês com a tradução direta.
6. Verificação de Qualidade: Mecanismos de controle para garantir que:
   • O comprimento do texto localizado seja similar ao da tradução direta.
   • As entidades substituídas estejam presentes e as originais ausentes.
   • A similaridade semântica entre a tradução direta e a versão localizada seja alta (> 0.8).
   • Se a verificação falhar, o sistema retorna a tradução original não localizada para evitar ruído.
7. Validação Humana: Verificação amostral para garantir a fidelidade cultural.

Datasets Utilizados:

• Avaliação: AfriMGSM (tradução manual de 18 línguas).
• Treinamento: GSM8K (inglês), traduzido e depois localizado automaticamente usando o pipeline proposto.

3. Contribuições Principais

1. Pipeline de Localização Automatizada: Desenvolvimento de um fluxo de trabalho escalável que gera versões culturalmente adaptadas de datasets traduzidos, substituindo entidades-chave sem necessidade de anotação humana massiva.
2. Análise de Disparidades de Desempenho: Demonstração empírica de que benchmarks traduzidos (com entidades em inglês) mascaram a verdadeira capacidade matemática dos modelos. A introdução de entidades locais revela quedas significativas de desempenho (até 9% em modelos como GPT-4o-mini).
3. Melhoria de Robustez via Fine-tuning: Evidência de que o fine-tuning de LLMs (ex: LLaMA-3, Gemma) com dados localizados melhora significativamente a robustez e a generalização do modelo em múltiplas línguas, permitindo que eles resolvam problemas com entidades nativas com maior precisão.

4. Resultados e Análise

Os experimentos foram conduzidos em vários modelos (Gemma, LLaMA, Mistral, GPT-4o-mini) cobrindo 18 línguas africanas e francês.

• RQ1 (Viabilidade): O pipeline automatizado produziu localizações de alta qualidade, superando a abordagem de prompting direto, que frequentemente falhava em adaptar corretamente as entidades. A concordância entre anotadores humanos foi alta (Kappa de Cohen > 0.79).
• RQ2 (Disparidades):
  • Modelos avaliados em benchmarks traduzidos (com entidades em inglês) tendem a ter desempenho artificialmente alto.
  • Ao substituir as entidades por nativas, o desempenho cai drasticamente em muitos modelos, revelando que eles dependem de "atalhos" culturais em vez de raciocínio lógico.
  • Curiosamente, em alguns casos, modelos como o LLaMA-3-70B e GPT-4o-mini performaram melhor com entidades nativas do que com as originais em inglês, sugerindo que a adaptação cultural pode alinhar melhor o modelo com o contexto de uso real.
• RQ3 (Robustez via Fine-tuning):
  • O fine-tuning com dados localizados (ou uma combinação de dados traduzidos, substituídos e localizados) resultou em modelos mais robustos.
  • Modelos como o Gemma-2-9b-it mostraram ganhos consistentes de robustez ao serem treinados com dados culturalmente adaptados.
  • A combinação de todos os tipos de dados (traduzido + localizado) produziu os melhores resultados de generalização.

5. Significado e Conclusão

O trabalho destaca que a localização cultural não é apenas uma questão de tradução linguística, mas de adaptação semântica e cultural.

• Crítica aos Benchmarks Atuais: Os benchmarks atuais baseados em tradução direta são insuficientes para avaliar a verdadeira capacidade de raciocínio matemático em contextos multilingues, pois introduzem viés centrado no inglês.
• Solução Escalável: O framework proposto oferece uma solução viável e econômica para criar datasets de treinamento e avaliação culturalmente relevantes para línguas de baixo recurso, onde a anotação humana é proibitivamente cara.
• Futuro: Os autores recomendam que a comunidade de IA foque na criação de problemas matemáticos enraizados nas atividades cotidianas das comunidades-alvo, em vez de apenas traduzir problemas ocidentais. Isso é crucial para o desenvolvimento de LLMs verdadeiramente justos e robustos para uso global.

Em suma, o artigo demonstra que para que os LLMs funcionem bem em cenários do mundo real em línguas não-inglesas, eles devem ser treinados e avaliados com dados que respeitem e reflitam a identidade cultural local, e não apenas a estrutura linguística.