Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Este artigo apresenta o Nsanku, uma avaliação abrangente que mede o desempenho de tradução zero-shot de 19 modelos de linguagem grandes em 43 línguas ganenses, revelando que, embora modelos de ponta como o Gemini-2.5-flash alcancem pontuações moderadas, nenhum modelo atual demonstra simultaneamente alto desempenho e consistência, indicando que ainda não são confiavelmente utilizáveis para tradução em larga escala nessas línguas.

O essencial

O Relatório Nsanku: Testando Tradutores de IA nas Línguas de Gana

Imagine que você tem uma biblioteca gigante de 19 diferentes "super-cérebros" (modelos de IA). Alguns são propriedade de gigantes da tecnologia, e outros são projetos de código aberto construídos por comunidades. Você quer saber: Alguns desses cérebros conseguem traduzir do inglês para as 43 línguas faladas em Gana sem nunca terem sido ensinados nessas línguas específicas antes?

Foi exatamente isso que o artigo Nsanku fez. O nome "Nsanku" vem da língua Akan e significa "instrumentos musicais". Assim como uma banda precisa de muitos instrumentos diferentes para fazer música, este projeto precisou de muitos modelos de IA diferentes para testar o quão bem eles lidam com a diversa "música" das línguas ganenses.

Aqui está a história do que eles descobriram, explicada de forma simples.

---

1. A Configuração: Um Teste Rigoroso de "Zero-Shot"

Pense nesses modelos de IA como alunos fazendo uma prova surpresa.

• A Regra: Eles não foram autorizados a estudar antes. Não puderam ser "ajustados finamente" (re-treinados) com dados de Gana. Eles tiveram que confiar inteiramente no que já sabiam de seu treinamento geral. Isso é chamado de teste zero-shot.
• O Material da Prova: As questões da prova eram 300 frases da Bíblia, traduzidas para 43 línguas diferentes de Gana. Os pesquisadores usaram a Bíblia porque é um dos poucos lugares onde se pode encontrar versões escritas de quase todas essas línguas em um só lugar.
• A Correção: Eles usaram dois sistemas de correção diferentes:
  • BLEU: Como um professor rigoroso verificando se o aluno usou exatamente as palavras certas.
  • chrF: Como um professor mais flexível verificando se o aluno acertou o som geral e a estrutura da frase, mesmo que as palavras exatas fossem ligeiramente diferentes.

2. Os Resultados: Quem Passou? Quem Reprovou?

Os "Alunos Estrela" (Modelos Proprietários)

Três modelos de IA de grandes nomes de gigantes da tecnologia (Google, Anthropic e OpenAI) ficaram no topo.

• Gemini-2.5-flash foi o orador da turma com a pontuação mais alta.
• Claude-sonnet-4-5 e GPT-4.1 ficaram logo atrás.
• A Analogia: Estes são como os alunos que foram para as escolas privadas mais caras. Eles viram muitos dados e conseguem adivinhar as respostas melhor do que qualquer outra pessoa, mas ainda não são perfeitos.

Os "Alunos da Comunidade" (Modelos de Peso Aberto)

O restante dos modelos eram de código aberto (gratuitos para usar e modificar).

• O melhor deste grupo foi o kimi-k2-instruct, mas ainda pontuou significativamente abaixo dos "Alunos Estrela".
• A Lacuna: Há uma lacuna clara entre os modelos privados e caros e os gratuitos e comunitários. Os modelos privados são atualmente muito melhores em entender essas línguas.

O Fator "Dificuldade da Língua"

Nem todas as línguas foram igualmente fáceis de traduzir.

• Siwu foi a língua "mais fácil" para a IA traduzir (maior pontuação).
• Nkonya foi a "mais difícil" (menor pontuação).
• A Reviravolta: Surpreendentemente, as línguas mais faladas (como Twi) nem sempre obtiveram as pontuações mais altas. Às vezes, línguas com menos falantes obtiveram pontuações mais altas. Por quê? Porque a tradução bíblica específica usada para essas línguas era mais clara e completa do que as das línguas populares. É como ter um mapa mais claro para uma pequena vila do que para uma grande cidade.

3. O Grande Problema: A Questão do "Amigo Inconfiável"

Esta é a descoberta mais crítica do artigo. Os pesquisadores não olharam apenas para a pontuação média; eles olharam para a consistência.

• A Analogia: Imagine que você tem um amigo que é ótimo cozinhando comida italiana, mas péssimo cozinhando comida tailandesa. Se você pedir a ele para cozinhar uma refeição aleatória, você nunca saberá se terá um jantar delicioso ou uma bagunça queimada.
• A Descoberta: Nenhum modelo de IA único foi ao mesmo tempo "Alto Desempenho" E "Consistente".
  • Os melhores modelos foram "Alto Desempenho, mas Inconsistentes". Eles podiam traduzir Siwu perfeitamente, mas falhar miseravelmente em Nkonya.
  • Os modelos consistentes foram "Consistentes, mas Médios". Eles davam o mesmo resultado medíocre para cada língua, nunca falhando terrivelmente, mas nunca indo bem também.
  • O Quadrante "Líderes": Os pesquisadores desenharam um gráfico com quatro cantos. O canto superior direito é a zona dos "Líderes" (Alta Qualidade + Alta Consistência). Nenhum modelo e nenhuma língua acabou nesta zona.

4. O Que Isso Significa (De Acordo com o Artigo)

O artigo conclui que, embora esses modelos de IA sejam impressionantes, eles ainda não são confiáveis o suficiente para serem usados em tarefas do mundo real (como traduzir documentos governamentais, conselhos médicos ou notícias) para as línguas de Gana.

• O Limite "Escritural": O teste foi feito usando versículos bíblicos. Os autores alertam que esses modelos podem se sair ainda pior em conversas cotidianas, notícias ou textos jurídicos, porque não viram esses tipos de palavras em seu treinamento.
• O Problema dos "Dados": As pontuações baixas não são porque as línguas são "difíceis" ou "quebradas". É porque a IA não viu exemplos suficientes delas. É como tentar aprender uma língua lendo apenas um livro; você pode pegar a ideia geral, mas perderá as nuances.

Resumo

O projeto Nsanku construiu um placar gigante para testar 19 modelos de IA em 43 línguas ganenses.

1. Modelos de Big Tech são atualmente os melhores, mas modelos gratuitos estão alcançando.
2. A pontuação baseada em caracteres (chrF) é uma maneira melhor de julgar essas línguas do que a pontuação palavra por palavra (BLEU).
3. Mais importante: Nenhuma IA é atualmente confiável o suficiente para ser confiada com essas línguas. Elas são como um aluno que às vezes tira A+ e às vezes tira F, dependendo da língua específica. Até vermos um modelo que seja consistentemente bom, não podemos confiar neles plenamente para tarefas importantes.

O artigo disponibilizou todos os seus dados e códigos publicamente para que pesquisadores possam continuar testando e melhorando esses modelos, esperando eventualmente preencher esse quadrante "Líderes".

Resumo técnico

Resumo Técnico: Nsanku – Avaliando o Desempenho de Tradução Zero-Shot de LLMs para Línguas Ganesas

Declaração do Problema

Apesar dos avanços rápidos dos Modelos de Linguagem de Grande Escala (LLMs) na tradução automática (TA) multilíngue para línguas bem-resourçadas, suas capacidades para línguas africanas de baixo recurso permanecem pouco compreendidas e amplamente não avaliadas. Gana, lar de mais de 80 línguas documentadas, enfrenta uma lacuna crítica: os cidadãos frequentemente não conseguem acessar serviços digitais de saúde, governamentais ou educacionais em suas línguas nativas porque as ferramentas de tradução são inexistentes ou não verificadas. Benchmarks multilíngues existentes (por exemplo, FLORES-200, XTREME) cobrem no máximo uma língua ganesa (Twi), deixando a vasta maioria da paisagem linguística do país sem avaliação sistemática. Além disso, pesquisas anteriores focaram amplamente em modelos ajustados finamente que exigem dados rotulados, deixando as capacidades "zero-shot" de LLMs de fronteira — onde os modelos traduzem sem treinamento explícito no par de línguas específico — inexploradas em escala.

Metodologia

O artigo apresenta o Nsanku, um benchmark sistemático projetado para avaliar o desempenho de TA zero-shot de 19 LLMs em 43 línguas ganesas pareadas com o inglês. O framework de avaliação é implementado como um pipeline Python modular de quatro estágios:

1. Coleta de Dados: Pares de sentenças paralelas foram obtidos da plataforma YouVersion Bible, a única fonte digital que oferece amplitude suficiente para 43 línguas. Usando um web scraper, os autores alinharam versículos bíblicos para criar 300 pares de sentenças por língua.
2. Amostragem Reprodutível: Uma etapa de amostragem determinística (semente 42) selecionou 200 índices de sentenças do primeiro arquivo de língua e os aplicou uniformemente em todas as 43 línguas. Isso garantiu que todos os 19 modelos fossem avaliados exatamente nas mesmas 200 sentenças por língua, eliminando a variância do conjunto de teste.
3. Inferência do Modelo: O estudo avaliou 19 LLMs (10 de pesos abertos e 9 proprietários) via API NVIDIA Build. Os modelos incluíram sistemas de fronteira (por exemplo, gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) e alternativas de pesos abertos (por exemplo, kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Todas as avaliações foram conduzidas em um setting zero-shot estrito, sem exemplos em contexto ou ajuste fino.
4. Cálculo de Métricas: O desempenho foi medido usando duas métricas automáticas:
   • BLEU (Bilingual Evaluation Understudy): Precisão padrão de n-gramas.
   • chrF (Character n-gram F-Score): Robusto a variações morfológicas e problemas de tokenização.
   • Pontuação Média: A média aritmética de BLEU e chrF.
   • Consistência: Calculada como o inverso do desvio padrão das pontuações por língua para um dado modelo, visualizada através de gráficos de dispersão em quadrantes para identificar modelos que são tanto de alto desempenho quanto estáveis.

Contribuições Principais

• Cobertura Abrangente: O Nsanku é a primeira avaliação em grande escala cobrindo 43 línguas ganesas, 42 das quais nunca apareceram em um benchmark majoritário de TA multilíngue.
• Infraestrutura: O projeto libera uma infraestrutura de avaliação extensível pela comunidade, incluindo o código completo do pipeline, scripts de coleta de dados e um notebook Google Colab, permitindo que pesquisadores contribuam com novos modelos ou subconjuntos de línguas.
• Análise Multidimensional: Além da precisão agregada, o estudo introduz uma dimensão de consistência cross-lingual para determinar se o desempenho do modelo é estável entre as línguas ou concentrado em um pequeno subconjunto.
• Benchmarking Zero-Shot: Fornece a primeira avaliação rigorosa das capacidades de tradução zero-shot para esta região linguística específica, abordando a lacuna entre o desempenho de modelos proprietários e de pesos abertos.

Resultados

A avaliação, concluída em 29 de janeiro de 2026, produziu as seguintes descobertas:

• Desempenho do Modelo: Modelos proprietários de fronteira superaram significativamente as alternativas de pesos abertos.
  • Melhores Desempenhos: gemini-2.5-flash alcançou a pontuação média mais alta (26,88), seguido por claude-sonnet-4-5 (24,87) e gpt-4.1 (23,20).
  • Líderes de Pesos Abertos: kimi-k2-instruct-0905 liderou a categoria de pesos abertos com uma pontuação média de 20,87, seguido por deepseek-v3.1 (19,29).
  • Lacuna de Desempenho: Existe uma lacuna significativa (aproximadamente 6 pontos) entre o melhor modelo proprietário e o melhor modelo de pesos abertos, embora a lacuna esteja diminuindo em comparação com tendências históricas.
• Discrepância de Métricas: Em todos os modelos, as pontuações chrF excederam substancialmente as pontuações BLEU. Para o modelo de menor desempenho (mistral-7b-instruct-v0.3), a lacuna foi de 15,76 pontos (BLEU 4,15 vs. chrF 19,91). Isso sugere que os modelos preservam a morfologia em nível de caractere melhor do que correspondências exatas em nível de palavra, validando o chrF como uma métrica mais apropriada para línguas ganesas morfologicamente ricas.
• Variância de Língua: O desempenho variou amplamente entre as línguas. Siwu alcançou a média por língua mais alta (25,73), enquanto Nkonya teve a pontuação mais baixa (11,65). Curiosamente, algumas línguas com populações de falantes menores (por exemplo, Siwu, Chumburung) superaram línguas amplamente faladas como Twi (21,82), sugerindo que a qualidade da tradução bíblica de referência no domínio scriptural é um fator crítico.
• Análise de Consistência (Descoberta Crítica): Nenhum modelo e nenhuma língua ocuparam o quadrante "Líderes" (alto desempenho e alta consistência).
  • Os principais modelos caíram no quadrante "Alto Desempenho mas Inconsistente", significando que sua qualidade em qualquer língua específica é imprevisível.
  • Nenhuma língua ganesa recebe atualmente tradução de alta qualidade e consistente em toda a gama de modelos avaliados.

Significado e Alegações

O artigo afirma que o Nsanku estabelece uma linha de base rigorosa para o que os LLMs atuais podem e não podem fazer para línguas ganesas. Seu significado principal reside em expor a lacuna de confiabilidade: apesar das pontuações agregadas impressionantes de modelos de fronteira, a ausência de qualquer modelo no quadrante "Líderes" indica que os LLMs atuais ainda não são confiavelmente utilizáveis para tradução de línguas ganesas em escala.

Os autores enfatizam que as pontuações baixas refletem escassez de recursos e desequilíbrios nos dados de treinamento, em vez de complexidade linguística intrínseca. Eles argumentam que, sem benchmarks sistemáticos como o Nsanku, desenvolvedores não podem tomar decisões de implantação baseadas em evidências, e formuladores de políticas não podem identificar lacunas críticas de capacidade. O estudo conclui que, embora o desenvolvimento de pesos abertos esteja começando a fechar a lacuna com modelos proprietários, o campo requer maior investimento em dados e avaliação para alcançar tradução confiável e consistente para línguas africanas. Os autores alertam explicitamente que esses resultados são específicos ao domínio scriptural e podem não generalizar para texto conversacional ou jornalístico sem avaliação adicional.