Automatic Correction of Writing Anomalies in Hausa Texts

Resumo Técnico: Correção Automática de Anomalias de Escrita em Textos Hausa

Declaração do Problema
O Hausa, uma língua regional majoritária na África Ocidental com aproximadamente 80 milhões de falantes, enfrenta desafios significativos no Processamento de Linguagem Natural (PLN) devido à prevalência de anomalias de escrita em textos digitais. Essas anomalias, particularmente nas redes sociais, incluem substituições incorretas de caracteres (por exemplo, substituir letras com gancho específicas do Hausa como ɓ, ɗ, ƙ, ƴ por equivalentes latinos padrão) e erros de espaçamento (remoção ou adição de espaços). Embora os humanos possam facilmente desambiguar esses erros, eles introduzem ruído que degrada o desempenho de tarefas de PLN subsequentes, como tradução automática, classificação de texto e promptagem de Modelos de Linguagem Grandes (LLMs). A escassez de conjuntos de dados anotados de alta qualidade para o Hausa agrava essa questão, criando um problema de "galinha e ovo" onde a falta de dados limpos impede o desenvolvimento de ferramentas de correção, e a falta de ferramentas impede a geração de dados limpos.

Metodologia
Os autores propõem um pipeline para corrigir automaticamente essas anomalias usando modelos baseados em transformadores ajustados finamente em um conjunto de dados gerado sinteticamente.

1. Coleta e Síntese de Dados:

   • Corpus Limpo: Uma base de mais de 400.000 sentenças Hausa limpas foi agregada de fontes públicas, incluindo a Wikipedia Hausa, Wikimedia e textos traduzidos do projeto MultiplEYE (abrangendo gêneros como textos argumentativos, literários e institucionais).
   • Modelagem de Ruído: Para criar um conjunto de dados paralelo ruidoso-limpo, os autores analisaram aproximadamente 10.000 tuítes Hausa do conjunto de dados NaijaSenti. Eles identificaram padrões de erro (substituições de caracteres, problemas de espaçamento, deleções, duplicações) usando uma abordagem baseada em léxico e agrupamento de distância de Levenshtein normalizada.
   • Geração Sintética: Essas distribuições de erro foram usadas para injetar ruído sintético no corpus limpo, gerando mais de 400.000 pares de sentenças ruidoso-limpo. O ruído sintético foi calibrado para corresponder à distribuição de distância de Levenshtein normalizada dos dados reais do Twitter (distância Jensen–Shannon de 0,14), garantindo que o conjunto de dados imite erros de escrita realistas.

2. Arquitetura do Modelo e Treinamento:

   • A tarefa foi enquadrada como um problema de tradução sequência-para-sequência (entrada ruidosa $\to$ saída limpa).
   • Vários modelos transformadores multilíngues e específicos da África foram ajustados finamente no conjunto de dados sintético:
     • M2M100 (418M parâmetros)
     • AfriTeVA (versões Base, Small, Large)
     • UBC-NLP/cheetah-base (1,2B parâmetros)
     • AfriMBART e mBART-Large-50
     • mT5-Base
     • NCAIR1/N-ATLaS (8B parâmetros, baseado em Llama-3)
   • As linhas de base incluíram uma linha de base de cópia, um modelo sequência-para-sequência LSTM e o GPT-5.1 (zero-shot).

Principais Contribuições

• Criação de Conjunto de Dados: O lançamento de um conjunto de dados paralelo em grande escala e publicamente disponível de mais de 400.000 pares de sentenças Hausa ruidoso-limpo, construído via geração de ruído sintético para superar a escassez de dados.
• Desenvolvimento de Ferramentas: A criação do primeiro conjunto de ferramentas baseadas em transformadores especificamente projetadas para corrigir anomalias de escrita em Hausa.
• Análise Empírica: Uma avaliação abrangente de várias arquiteturas de modelo e suas estratégias de pré-treinamento na tarefa de correção Hausa.
• Avaliação de Impacto em Tarefas Subsequentes: Uma análise quantitativa demonstrando como a correção de texto melhora o desempenho em tarefas subsequentes, incluindo detecção de gênero, tradução automática e seguimento de instruções por LLMs.

Resultados

• Desempenho de Correção: O modelo M2M100 (418M) alcançou resultados state-of-the-art, superando modelos maiores como AfriTeVA e UBC-NLP/cheetah-base, e performando em par com o massivo modelo NCAIR1/N-ATLaS de 8B. Isso sugere que um modelo pré-treinado em tarefas de tradução muitos-para-muitos (como o M2M100) é altamente eficaz para normalização de texto monolíngue.
• Avaliação Humana: Em uma amostra de 500 previsões, 71,6% foram consideradas corretas por um falante nativo. Embora o modelo tenha preservado com sucesso a coerência, ocasionalmente introduziu deslocamentos semânticos (por exemplo, mudando tempo ou pessoa) ou falhou em corrigir entidades nomeadas para padrões específicos do Hausa (por exemplo, usando "Pridnistria" em vez de "Pridnestrovie").
• Impacto em Tarefas Subsequentes:
  • Detecção de Gênero: A limpeza dos dados restaurou a precisão do classificador para níveis comparáveis aos dos dados limpos originais (81% vs. 80% original, comparado a 78% em dados ruidosos).
  • Tradução Automática: Entradas corrigidas produziram consistentemente melhores pontuações de tradução (BLEU e MetricX) no Google Translate, NLLB-200 e GPT-5.1 em comparação com entradas ruidosas, embora a recuperação não tenha sido perfeita.
  • Seguimento de Instruções (LLMs): LLMs proprietários mostraram sensibilidade significativa ao ruído. A limpeza das entradas melhorou o desempenho na Reconhecimento de Entidades Nomeadas (pontuação F1 recuperada de 0,19 para 0,37) e em várias tarefas de raciocínio (AfriMMLU, AfriMGSM), embora os ganhos tenham variado conforme o tipo de tarefa.

Significado e Alegações
O artigo argumenta que a correção automática de texto é uma etapa de pré-processamento crítica para línguas de recursos limitados como o Hausa. Demonstra que modelos menores, ajustados finamente de forma eficiente (como o M2M100), podem rivalizar com modelos muito maiores ajustados para instruções na correção de erros ortográficos. Os autores afirmam que melhorar a qualidade do texto por meio desses métodos tem um impacto tangível e positivo na confiabilidade de aplicações de PLN subsequentes. Ao fornecer uma metodologia e um conjunto de dados público, o trabalho visa avançar as capacidades de PLN para o Hausa e oferece um framework transferível para abordar desafios ortográficos semelhantes em outras línguas de recursos limitados. Os autores permanecem modestos, reconhecendo limitações como a dependência de dados de redes sociais para modelagem de ruído e o fato de que a limpeza automática nem sempre pode restaurar perfeitamente o significado original ou lidar com variações complexas de entidades nomeadas.