Resumo Técnico: Avaliando Grandes Modelos de Linguagem para Tradução Automática de Hausa e Fongbe

Declaração do Problema

A tradução automática (MT) para línguas africanas de baixos recursos é dificultada pela escassez crítica de dados. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial por meio da geração de dados paralelos sintéticos, sua capacidade de produzir qualidade de tradução suficiente para línguas tipologicamente distintas permanece não verificada. Além disso, a confiabilidade das métricas de avaliação automática padrão — desenvolvidas principalmente para línguas europeias de altos recursos — não foi sistematicamente validada para estes pares de línguas específicos.

Este estudo aborda duas questões de pesquisa específicas:

1. RQ1: Qual é a qualidade de tradução dos atuais LLMs comerciais e de pesos abertos para Inglês-Hausa e Inglês-Fongbe, e como essa qualidade varia entre sistemas e línguas?
2. RQ2: Quão confiáveis são as métricas de avaliação automática em correlação com o julgamento humano de falantes nativos para estas línguas, e quais métricas devem guiar a filtragem de qualidade?

A investigação foca no Hausa (família Afro-asiática, 58 milhões de falantes) e no Fongbe (família Niger-Congo, 2,3 milhões de falantes). Estas línguas apresentam desafios linguísticos distintos: o Hausa apresenta morfologia aglutinante e marcação complexa de TAM (tempo, aspecto e modo) verbal, enquanto o Fongbe utiliza construções de verbos seriados e um sistema de três tons que é obrigatoriamente marcado ortograficamente.

Metodologia

Modelos Avaliados

O estudo avaliou quatro sistemas de tradução baseados em LLM em escalas progressivas (500 a 10.000 sentenças):

• APIs Comerciais: GPT-4o Mini (OpenAI), Claude Sonnet 4 (Anthropic), Gemini 2.5 Flash (Google).
• Pesos Abertos: Qwen2.5-7B (Alibaba).
• Todos os modelos foram executados com uma temperatura de 0.0 para saídas determinísticas.

Dados e Estratégia de Avaliação

• Dados de Origem: Pares de sentenças paralelas foram extraídos do repositório OPUS (CCMatrix para Inglês–Hausa; NLLB v1 para Inglês–Fongbe).
• Escalas: As avaliações foram conduzidas em $n=500, 1.000, 2.500$ e $10.000$ sentenças para determinar o tamanho mínimo de amostra necessário para classificações estáveis de sistemas.
• Métricas Automáticas: Cinco métricas foram empregadas:
  • Lexicais: BLEU, chrF++, TER.
  • Neurais: COMET (wmt22-comet-da) e BERTScore (XLM-RoBERTa-large).
• Avaliação Humana: 13 falantes nativos (7 Fongbe, 6 Hausa) avaliaram as traduções em uma escala de 5 pontos em quatro dimensões: Adequação, Fluência, Adequação Cultural e Qualidade Geral. Devido a restrições de recursos, $n=50$ sentenças foram avaliadas por língua por 3 avaliadores cada.
• Análise Estatística: O reamostragem de Bootstrap (10.000 iterações) foi usada para calcular intervalos de confiança de 95% para comparações de sistemas pareados. O $\rho$ de Spearman foi usado para medir a correlação de classificação entre as métricas e os julgamentos humanos.

Principais Contribuições

1. Benchmark de LLM para Hausa e Fongbe: Esta é a primeira comparação sistemática de LLMs comerciais atuais (lançados em 2024–2025) para estas línguas específicas com testes de significância estatística em escala ($n=10.000$). Revela que o desempenho em uma língua africana de baixo recurso não prevê o desempenho em outra.
2. Análise de Confiabilidade de Métricas: O estudo fornece uma validação sistemática de métricas automáticas contra o julgamento de falantes nativos. Identifica que a correlação métrica-humano varia dramaticamente por língua e expõe o "colapso de embedding" em métricas neurais para ambas as línguas.
3. Recomendações Práticas: Os autores estabelecem requisitos de tamanho mínimo de amostra ($n=2.500$) para avaliação confiável e recomendam métricas específicas (chrF++) e protocolos de avaliação (avaliação humana obrigatória) para línguas africanas de baixos recursos.

Resultados

Qualidade de Tradução e Classificação de Modelos

• Lacuna de Desempenho Translinguística: As traduções de Hausa alcançaram qualidade aceitável (Pontuações humanas 3.37–4.46/5), enquanto as traduções de Fongbe foram pobres (1.0–2.2/5). Uma lacuna constante de 3× no BLEU existiu entre o melhor sistema de Hausa e o melhor sistema de Fongbe em todas as escalas.
• Classificação de Modelos por Língua:
  • Fongbe: O Gemini 2.5 Flash liderou consistentemente tanto em métricas automáticas quanto na avaliação humana.
  • Hausa: O GPT-4o Mini foi preferido pelos avaliadores humanos (4.46/5), enquanto o Claude Sonnet 4 classificou em primeiro lugar em todas as métricas automáticas (BLEU 15.75).
  • Código Aberto: O Qwen2.5-7B teve um desempenho significativamente inferior a todos os modelos comerciais.

Confiabilidade de Métricas e Correlação

• Correlação Métrica-Humano:
  • Fongbe: Correlação de classificação perfeita ($\rho=1.0$) entre métricas automáticas e julgamento humano.
  • Hausa: Correlação fraca ($\rho=0.5$). Os avaliadores humanos preferiram o GPT-4o, enquanto todas as métricas automáticas classificaram o Claude em primeiro lugar. Isso indica que métricas de superfície e semânticas podem perder dimensões de qualidade (ex: naturalidade, adequação cultural) priorizadas por falantes nativos.
• Falhas de Métricas Neurais (Colapso de Embedding):
  • BERTScore: Exibiu "colapso de embedding" para ambas as línguas, com similaridade de cosseno intra-língua excedendo 0.99. Isso tornou a métrica incapaz de diferenciar a qualidade da tradução, mostrando pontuações uniformemente altas (0.83–0.88) independentemente do desempenho real.
  • COMET: Mostrou comportamento anômalo para Fongbe, classificando o pior sistema (Qwen2.5-7B) em primeiro lugar, apesar de seus baixos escores lexicais. Para o Hausa, o COMET alinhou-se melhor com as métricas lexicais.
• Estabilidade de Escala: As classificações foram instáveis em $n=1.000$ (ex: Gemini apareceu erroneamente como líder em Hausa). Classificações estáveis e estatisticamente significativas exigiram um mínimo de $n=2.500$ sentenças.

Problemas no Corpus de Referência

A análise post-hoc dos dados de referência revelou problemas significativos de qualidade, particularmente para o Fongbe, incluindo contaminação por idioma errado (Chinês em vez de Fongbe) e corrupção de codificação. A pontuação média de qualidade do corpus de referência foi de 2.94/5.0.

Significância e Alegações

O artigo alega que "baixo recurso" não é uma categoria monolítica; lacunas substanciais de qualidade existem mesmo entre línguas da África Ocidental com milhões de falantes. O estudo demonstra que:

1. Práticas de Avaliação Não se Transferem: Métricas validadas em línguas de altos recursos não se transferem de forma confiável para contextos de baixos recursos tipologicamente distintos. Especificamente, métricas neurais como o BERTScore são pouco confiáveis devido ao colapso de embedding em modelos como o XLM-RoBERTa, mesmo para línguas incluídas no pré-treinamento (Hausa).
2. A Escala é Crítica: Tamanhos de amostra pequenos ($<2.500$) produzem achados artificiais que se revertem em escala. A comparação confiável de sistemas para MT de baixos recursos requer conjuntos de dados maiores.
3. A Seleção de Modelo é Específica para a Língua: Nenhum modelo único se destaca em ambas as línguas. O desempenho em uma língua de baixo recurso não prevê o desempenho em outra, sugerindo que a representação dos dados de treinamento é o fator dominante, em vez de uma "capacidade de baixo recurso" generalizável.
4. Viabilidade de Aumento de Dados:
   • Hausa: Traduções geradas por LLM são viáveis para aumento de dados se filtradas usando limiares (ex: COMET > 0.55 ou chrF++ > 35).
   • Fongbe: Traduções geradas por LLM não são viáveis para aumento de dados, pois o melhor sistema (Gemini) pontuou abaixo do limiar aceitável (2.20/5), introduzindo mais ruído do que sinal.

Os autores concluem que, para línguas morfologicamente complexas e de baixos recursos, o chrF++ deve ser a principal métrica automática, mas a avaliação humana obrigatória é essencial para a avaliação final da qualidade, particularmente quando as métricas automáticas divergem do julgamento humano.