DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

1. Problema e Contexto

O artigo aborda a crítica escassez de recursos computacionais para as línguas Amazigh (Berbere), com foco específico no Tashlhiyt (também conhecido como Tashelhiyt ou Shilha), falado no sul de Marrocos.

• Desigualdade de Recursos: Embora falado por milhões, o Tashlhiyt é sub-representado em dados de Processamento de Linguagem Natural (NLP), gerando uma lacuna de desempenho de 20–25% em sistemas multilíngues ou de dialeto cruzado.
• Diversidade Ortográfica: O principal obstáculo é a falta de padronização. Os falantes utilizam uma mistura de scripts (Tifinagh oficial, latim, árabe) e convenções não padronizadas na internet (uso de números para fonemas, como "7" para /h/), criando ruído ortográfico que dificulta tarefas como tokenização, alinhamento e tradução.
• Falta de Dados Paralelos: Não existiam corpora paralelos de alta qualidade e grande escala alinhando Tashlhiyt com uma língua majoritária (como o inglês), essenciais para treinar modelos de tradução e normalização.

2. Metodologia e Criação do Corpus (DATASHI)

Os autores desenvolveram o DATASHI, um corpus paralelo Inglês–Tashlhiyt projetado para capturar a diversidade linguística real e fornecer uma base para normalização.

• Estrutura do Corpus:

  • Total: 5.000 pares de frases.
  • Domínios: 20 tópicos variados (vida diária, saúde, tecnologia, religião, etc.), com 250 frases por domínio.
  • Lado Inglês: Criado por eliciação semi-controlada para garantir correção gramatical e diversidade lexical.
  • Lado Tashlhiyt (Não Padronizado): 34 falantes nativos (não especialistas em ortografia) transcreveram as frases usando suas próprias convenções espontâneas, refletindo a variação real da comunidade.
  • Subconjunto de Referência (Gold Standard): Um subconjunto de 1.500 frases foi manualmente padronizado por 7 especialistas em línguas Amazigh, criando o par de referência para treinamento e avaliação de normalização.

• Características Linguísticas:

  • O corpus preserva características fonológicas complexas do Tashlhiyt, como geminação (consoantes duplas), consoantes faríngeas e uvulares, e labialização.
  • A normalização segue as convenções do IRCAM (Instituto Real da Cultura Amaziga), utilizando o script latino berbere, mas priorizando o uso vernáculo e evitando neologismos artificiais não adotados pela comunidade.

3. Contribuições Principais

1. Primeiro Corpus Paralelo de Grande Escala: O DATASHI é o primeiro recurso paralelo Inglês–Tashlhiyt focado em normalização ortográfica, preenchendo uma lacuna significativa nos recursos para línguas de baixos recursos.
2. Design Dual (Padrão vs. Não Padrão): A inclusão simultânea de versões geradas por usuários (não padronizadas) e versões de especialistas permite o estudo sistemático da variação ortográfica e o desenvolvimento de modelos de normalização robustos.
3. Análise Fonológica Detalhada: O corpus é anotado e analisado em nível de fonema, destacando a distribuição de consoantes geminadas, faríngeas e uvulares, fornecendo insights diagnósticos para modelos de NLP.
4. Base para Multimodalidade: O design padronizado do corpus serve como fundação para futuras coleções de dados de fala (leitura) e alinhamento multimodal, conectando processamento de texto e fala.

4. Resultados e Avaliação

Os autores avaliaram o desempenho de cinco Grandes Modelos de Linguagem (LLMs) de última geração na tarefa de normalização ortográfica do Tashlhiyt, utilizando o subconjunto de 1.500 frases.

• Modelos Testados: GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro, Mistral-Large-2411 e Qwen3-Max.
• Configurações: Avaliação em zero-shot (sem exemplos) e few-shot (com 30 exemplos de demonstração).
• Métricas: Taxa de Erro de Palavra (WER) e Distância de Levenshtein (LD) em nível de caractere.

Principais Descobertas:

• Desempenho Geral: O Gemini-2.5-Pro superou todos os outros modelos, alcançando a menor taxa de erro (WER de 35,5% em few-shot e 37,8% em zero-shot).
• Impacto do Few-Shot: Todos os modelos apresentaram melhoria significativa ao usar exemplos de demonstração, confirmando que o aprendizado em contexto (in-context learning) é crucial para línguas de baixos recursos.
• Análise de Erros Fonológicos:
  • Geminação: A maioria dos erros (deleção, substituição e inserção) ocorreu em consoantes geminadas, indicando que os modelos têm dificuldade em preservar contrastes de comprimento consonantal.
  • Fonemas Marcados: Modelos como Mistral e Qwen3-Max tiveram mais dificuldades com consoantes faríngeas e uvulares, enquanto o Gemini demonstrou maior robustez.
  • Padrões de Erro: Os erros de substituição foram mais frequentes que as deleções ou inserções, sugerindo que os modelos tendem a "corrigir" erroneamente formas complexas em vez de omiti-las.

5. Significado e Conclusão

O artigo demonstra que modelos fundacionais modernos (LLMs) possuem capacidades de generalização cruzada promissoras para línguas de baixos recursos, mesmo sem treinamento específico, mas ainda enfrentam desafios com a morfologia complexa e a ortografia não padronizada do Tashlhiyt.

• Impacto Prático: O DATASHI fornece uma base essencial para desenvolver pipelines de NLP mais robustos para línguas Amazigh, melhorando tarefas como tradução automática, reconhecimento de fala e modelagem de linguagem.
• Equidade de Recursos: Ao fornecer dados abertos e padronizados, o projeto visa reduzir a disparidade tecnológica entre línguas majoritárias e minoritárias.
• Futuro: Os autores planejam expandir o corpus para incluir dados de fala lida, afinar modelos multilíngues no texto normalizado e integrar o DATASHI em benchmarks comparativos entre as variedades Amazigh.

Em suma, o DATASHI não é apenas um conjunto de dados, mas uma ferramenta estratégica para superar as barreiras linguísticas e tecnológicas que impedem o avanço do processamento computacional do Tashlhiyt e de outras línguas Amazigh.