Large Language Models for Math Education in Low-Resource Languages: A Study in Sinhala and Tamil

Resumo Técnico: Modelos de Linguagem Grande (LLMs) para Educação Matemática em Línguas de Baixos Recursos

1. Problema e Contexto

Os Modelos de Linguagem Grande (LLMs) demonstraram desempenho impressionante no raciocínio matemático em inglês e estão sendo cada vez mais adotados como ferramentas de tutoria e suporte educacional. No entanto, sua confiabilidade em línguas de baixos recursos, especificamente Cingalês (Sinhala) e Tâmil, permanece pouco compreendida.

O artigo identifica duas lacunas críticas na pesquisa atual:

• Vieses de Tradução: A maioria das avaliações existentes utiliza benchmarks em inglês (como GSM8K) traduzidos automaticamente para outras línguas. Isso introduz artefatos de tradução, como frases não naturais e formatos de números inconsistentes, confundindo a capacidade de raciocínio do modelo com a qualidade da tradução.
• Avaliação Agregada: As avaliações atuais geralmente relatam apenas uma pontuação de precisão global, tratando o raciocínio matemático como uma habilidade monolítica. Isso oculta nuances onde um modelo pode ser excelente em aritmética básica, mas falhar em problemas complexos em línguas específicas.

O estudo questiona se estudantes em escolas de língua cingalesa ou tâmil podem confiar em ferramentas de IA para suporte matemático ou se o desempenho degrada de forma a comprometer sua utilidade em sala de aula.

2. Metodologia

Para abordar essas limitações, os autores desenvolveram uma abordagem rigorosa composta por três pilares principais:

• Taxonomia de Problemas Matemáticos:
  Foi criada uma taxonomia de seis tipos de problemas de palavras matemáticas, cada um visando uma competência específica e definido por propriedades estruturais formais:

  1. Problemas de Passo Único: Operações aritméticas básicas (linha de base).
  2. Problemas de Múltiplos Passos: Cadeias de operações sequenciais.
  3. Problemas com Informação Extrínseca: Requerem filtrar dados irrelevantes (distratores).
  4. Problemas de Conflito de Unidades: Exigem conversão de unidades incompatíveis (ex: metros vs. quilômetros).
  5. Problemas de Dedução Lógica: Requerem formular equações algébricas a partir de descrições textuais.
  6. Problemas de Otimização: Encontrar máximos/mínimos sob restrições definidas no texto.

• Construção de Dataset Paralelo Nativo:
  Diferente de benchmarks traduzidos, o dataset foi construído com 25 problemas por tipo, por idioma, totalizando 450 instâncias. Cada problema foi autografado nativamente em Cingalês, Tâmil e Inglês por falantes nativos com formação matemática. Isso garante equivalência semântica sem artefatos de tradução, preservando o uso natural da linguagem e contextos culturais.

• Protocolo de Avaliação:
  Quatro LLMs líderes foram testados usando prompting zero-shot (sem exemplos no prompt), refletindo o uso real por estudantes:

  • GPT-4o (OpenAI)
  • DeepSeek-V3 (DeepSeek-AI)
  • Gemini 2.5 (Google)
  • Claude Sonnet 4 (Anthropic)
    A precisão foi medida comparando a resposta numérica final com a verdade fundamental (ground truth).

3. Principais Contribuições

1. Taxonomia Estruturada: Introdução de uma classificação de seis tipos de problemas que permite uma análise granular das competências de raciocínio, indo além da precisão global.
2. Dataset de Alta Qualidade: Criação do primeiro dataset paralelo nativo para avaliação de raciocínio matemático em Cingalês e Tâmil, eliminando o ruído de tradução.
3. Análise de Degradação Cruzada: Identificação de padrões sistemáticos de falha, demonstrando que o desempenho em inglês não garante confiabilidade em outras línguas, e que a degradação varia significativamente dependendo do tipo de problema e da arquitetura do modelo.

4. Resultados e Análise

Os resultados revelam que a perda de desempenho entre línguas não é uniforme, variando sistematicamente conforme o tipo de raciocínio matemático:

• Desempenho Geral: Todos os modelos tiveram melhor desempenho em inglês. O desempenho caiu no Cingalês e caiu ainda mais drasticamente no Tâmil para a maioria dos modelos.
  • Exemplo: O ChatGPT caiu de 95,3% (inglês) para 78,0% (tâmil). O DeepSeek mostrou-se o mais estável (94% em inglês, 90% em tâmil).
• Categorias Robustas: Os tipos 1 e 2 (Passo Único e Múltiplos Passos) mantiveram alto desempenho em todas as línguas, indicando que o raciocínio aritmético básico transfere-se bem.
• Categorias Vulneráveis:
  • Conflito de Unidades (Tipo 4): Mostrou a queda mais consistente em todos os modelos. A interpretação e conversão de unidades através de diferentes sistemas de escrita e morfologia representam um desafio sistemático.
  • Otimização (Tipo 6): Apresentou as maiores discrepâncias. O ChatGPT caiu de 88% (inglês) para 52% (tâmil). O DeepSeek manteve-se quase perfeito, enquanto o Claude e o Gemini tiveram quedas moderadas.
• Análise Qualitativa: Um exemplo de falha (Tipo 4) mostrou que, enquanto o modelo resolvia corretamente a conversão de "2 ms" (milissegundos) para segundos em inglês, falhava em Cingalês e Tâmil, ignorando a conversão e tratando o tempo como 2 segundos. Isso sugere que a falha não é aritmética, mas sim na interpretação linguística de informações de unidade embutidas.

5. Significado e Implicações

• Para a Educação: A descoberta de que modelos podem ter precisão de 88% em inglês, mas cair para 52% em Tâmil em problemas de otimização, levanta sérias preocupações sobre o uso de IA como tutores em salas de aula multilíngues sem avaliação específica.
• Recomendações Práticas:
  • Educadores e desenvolvedores não devem confiar cegamente em LLMs para línguas de baixos recursos, especialmente em problemas que envolvem conversão de unidades e raciocínio lógico complexo.
  • É necessária uma avaliação específica por idioma antes da implementação de ferramentas de IA.
  • Professores devem verificar independentemente as respostas geradas por IA para esses tipos de problemas.
• Futuro: O estudo sugere que a degradação pode ser causada por diferenças na cobertura de dados de treinamento, desafios de tokenização ou comportamentos de processamento dependentes de tradução. Trabalhos futuros devem explorar métodos de interpretabilidade para entender esses mecanismos internos.

Em suma, o artigo alerta que a competência matemática aparente em LLMs é frequentemente mediada pelo inglês e que a adoção de ferramentas de IA em contextos educacionais não anglófonos exige cautela e validação rigorosa por tipo de tarefa.