Grammatical Error Correction for Low-Resource Languages: The Case of Zarma

Resumo Técnico: Correção de Erros Gramaticais para Línguas de Baixos Recursos: O Caso do Zarma

Declaração do Problema
A Correção de Erros Gramaticais (GEC - Grammatical Error Correction) é fundamental para melhorar a qualidade e a legibilidade do texto, contudo, ferramentas robustas estão predominantemente disponíveis para línguas de altos recursos. Línguas de baixos recursos, como o Zarma (uma língua Nilo-Saariana falada por mais de cinco milhões de pessoas na África Ocidental), enfrentam desafios significativos devido à falta de uma ortografia padronizada, escassez de conjuntos de dados anotados e recursos computacionais limitados. As soluções existentes frequentemente falham em abordar as complexidades morfológicas específicas e os padrões de escrita não padronizados inerentes a línguas como o Zarma.

Metodologia
Os autores investigam três abordagens distintas para GEC no Zarma, avaliando o desempenho delas em um conjunto de dados personalizado composto por mais de 250.000 exemplos (248.000 sintéticos e 2.000 anotados por humanos). O conjunto de dados foi dividido em 80% para treinamento, 10% para validação e 10% para teste.

1. Abordagem Baseada em Regras: Um sistema de linha de base (baseline) foi desenvolvido utilizando um filtro Bloom para buscas eficientes em dicionário (baseado no conjunto de dados Feriji) e um algoritmo de distância de Levenshtein para correção. Este sistema inclui uma ferramenta personalizada em Python com interfaces CLI e GUI, projetada para lidar com erros ortográficos através da análise morfológica da estrutura aglutinante do Zarma.
2. Abordagem de Tradução Automática (MT): O estudo adaptou o modelo M2M100, um transformador multilingue pré-treinado, tratando a GEC como uma tarefa de tradução onde a origem é a frase corrompida e o alvo é a frase corrigida. O modelo foi ajustado (fine-tuned) em um corpus sintético gerado por um script de ruído que mimetiza erros humanos reais (inserções, deleções, substituições e transposições) identificados através de estudos de transcrição por falantes nativos.
3. Modelos de Linguagem de Grande Escala (LLMs): Dois modelos, Gemma 2b e MT5-small, foram avaliados utilizando duas estratégias de ajuste fino: (a) Ajuste de Instrução e Explicação de Erro, que incorpora as causas do erro nos prompts para incentivar o raciocínio, e (b) Ajuste Não-Prompt utilizando pares alinhados de sentenças incorretas/corretas. Devido a restrições computacionais, a quantização QLoRA foi aplicada ao Gemma 2b.

Avaliação
O desempenho foi avaliado tanto por Avaliação Automática (AE) quanto por Avaliação Manual (ME) por cinco falantes nativos de Zarma.

• Métricas de AE: Incluíram GLEU e escores M2 para correção gramatical geral, além de métricas específicas de ortografia: Taxa de Detecção, Precisão de Sugestão e Taxa de Falsos Positivos.
• Métricas de ME: Falantes nativos classificaram as correções em uma escala de 1 a 5 para correção de erro lógico e melhoria de sentença.
• Generalização: Uma avaliação zero-shot foi conduzida em dados não vistos, e a abordagem de melhor desempenho foi testada no Bambara, outra língua da África Ocidental, para verificar a replicabilidade.

Principais Resultados

• Superioridade da MT: O modelo M2M100 superou todos os outros métodos. Nas avaliações automáticas, alcançou uma taxa de detecção de 95,82% e uma precisão de sugestão de 78,90%, com um escore GLEU de 0,7896 e um escore M2 de 0,914.
• Limitações da Abordagem Baseada em Regras: O método baseado em regras destacou-se em correções ortográficas (100% de detecção, 96,27% de precisão), mas falhou em lidar com erros complexos de nível contextual ou lógico, resultando em baixos escores de avaliação manual (0,4 para correção lógica).
• Desempenho dos LLMs: Os LLMs (Gemma 2b e MT5-small) mostraram desempenho moderado. Eles tiveram dificuldades com taxas de detecção mais baixas e taxas de falsos positivos mais altas em comparação aos métodos de MT e baseados em regras. Os autores atribuem isso à falta de pré-treinamento em Zarma e às restrições computacionais do cenário de baixos recursos.
• Avaliação Humana: O M2M100 recebeu os escores manuais mais altos (3,0/5,0 para erros lógicos, 2,5/5,0 para melhoria de sentença), superando significativamente as abordagens baseadas em regras (0,4/0,0) e em LLMs.
• Replicabilidade: Experimentos no Bambara confirmaram que a abordagem baseada em MT (M2M100) permanece superior aos métodos baseados em LLM para correção de nível de palavra em outras línguas de baixos recursos da África Ocidental.

Contribuições e Significância
O artigo apresenta três contribuições primárias:

1. Análise Comparativa: Fornece uma comparação abrangente das abordagens baseadas em regras, MT e LLM para GEC de Zarma, identificando o M2M100 como a solução mais eficaz para este contexto de baixos recursos.
2. Lançamento de Conjunto de Dados: Os autores disponibilizaram um conjunto de dados de 250.000 exemplos de Zarma, sintéticos e anotados por humanos, para apoiar pesquisas futuras.
3. Validação de Generalização: O estudo valida a aplicabilidade das abordagens de GEC baseadas em MT a outras línguas de baixos recursos (especificamente o Bambara), sugerindo um caminho viável para contextos linguísticos semelhantes.

Os autores concluem que, embora os LLMs sejam promissores, os modelos de tradução automática multilingues atuais, ajustados em dados sintéticos, oferecem uma solução mais robusta e imediata para GEC em cenários de baixos recursos, onde os dados são escassos e a ortografia não é padronizada. Eles posicionam este trabalho como um passo fundamental para o desenvolvimento futuro de GEC, sugerindo que modelos híbridos que combinam a precisão baseada em regras com a adaptabilidade de MT/LLM poderiam aumentar ainda mais o desempenho.