FLEURS-Kobani: Extending the FLEURS Dataset for Northern Kurdish

1. Problema Identificado

O artigo aborda a escassez crítica de recursos de fala padronizados e benchmarks de avaliação para o Curdo do Norte (também conhecido como Kurmanji, código ISO 639-3: KMR).

• Contexto: O conjunto de dados FLEURS (uma extensão falada do FLORES) oferece dados paralelos para mais de 100 idiomas, servindo como benchmark para tarefas de Reconhecimento Automático de Fala (ASR), Tradução de Fala para Texto (S2TT) e Tradução de Fala para Fala (S2ST).
• Lacuna: Embora o FLEURS inclua o Curdo Central (CKB), ele não inclui o Curdo do Norte, apesar de ser falado por mais de 30 milhões de pessoas. Isso limita o desenvolvimento e a comparação justa de modelos de IA para esta variedade linguística, que é frequentemente restrita em contextos educacionais e políticos na Turquia, Síria e Irã.
• Desafio Específico: A falta de dados de fala validados impede o treinamento eficaz de modelos few-shot (aprendizado com poucos exemplos) e a avaliação robusta de tecnologias de processamento de fala.

2. Metodologia

Os autores desenvolveram o FLEURS-Kobani, uma extensão falada do corpus FLORES para o Curdo do Norte. O processo envolveu:

• Coleta de Dados:
  • Fonte: 2.000 frases únicas extraídas da parte do FLORES dedicada ao Curdo do Norte.
  • Gravação: Realizada entre abril e junho de 2025 na Universidade de Kobani (Síria/Rojava) através da plataforma Jiridastkrd.
  • Participantes: 31 falantes nativos (26 mulheres e 5 homens). A disparidade de gênero reflete limitações sociopolíticas e de recrutamento na região.
  • Equipamento: Gravações feitas majoritariamente em celulares pessoais devido à infraestrutura digital limitada.
• Validação e Limpeza:
  • Um processo rigoroso de validação foi aplicado para verificar a conformidade com o prompt (texto lido) e a qualidade de áudio.
  • Critérios de Exclusão: Desconformidade do texto, truncamento, inserções não autorizadas, erros de pronúncia graves, ruído de fundo excessivo e níveis de gravação muito baixos.
  • Resultado: De 7.897 gravações iniciais, apenas 5.162 (65,5%) foram validadas como de alta qualidade, totalizando 18 horas e 24 minutos de fala.
• Divisão do Dataset:
  • Os dados foram divididos em Train (3.870 utterances), Dev (491 utterances) e Test (801 utterances), baseando-se na correspondência com as traduções em inglês do FLEURS.
• Experimentos e Modelos:
  • Modelo Base: Whisper v3-large.
  • Estratégias de Fine-tuning:
    1. Fine-tuning apenas no Common Voice (Curdo do Norte).
    2. Fine-tuning apenas no FLEURS-Kobani.
    3. Estratégia de Duas Etapas: Fine-tuning inicial no Common Voice seguido de fine-tuning no FLEURS-Kobani.
  • Tarefas Avaliadas: ASR (Fala para Texto) e S2TT (Fala para Tradução de Texto), incluindo configurações End-to-End (E2E) e em cascata (ASR + MT).

3. Principais Contribuições

1. Primeiro Benchmark Público: O FLEURS-Kobani é o primeiro conjunto de dados público e padronizado para avaliação de tarefas de ASR, S2TT e S2ST no Curdo do Norte.
2. Licença Aberta: O dataset foi lançado sob a licença CC BY 4.0, facilitando o uso pela comunidade de pesquisa.
3. Linha de Base (Baseline) Estabelecida: Os autores forneceram resultados de referência usando o Whisper v3-large, permitindo que futuros trabalhos comparem suas abordagens.
4. Análise de Transferência: Demonstração de como a estratégia de fine-tuning sequencial (Common Voice → FLEURS-Kobani) supera o treinamento isolado em dados limitados.

4. Resultados

Os experimentos foram conduzidos no conjunto de teste do FLEURS-Kobani:

• Reconhecimento Automático de Fala (ASR):

  • A estratégia de duas etapas (Common Voice → FLEURS-Kobani) obteve o melhor desempenho.
  • WER (Taxa de Erro de Palavras): 28,11% (Teste).
  • CER (Taxa de Erro de Caracteres): 9,84% (Teste).
  • Comparação: O fine-tuning apenas no FLEURS-Kobani resultou em um WER de 38,09%, enquanto o uso apenas do Common Voice resultou em 37,02%. A combinação dos dois reduziu significativamente o erro.

• Tradução de Fala para Texto (S2TT - E2E):

  • KMR → Inglês (EN): O modelo Whisper alcançou 8,68 BLEU no conjunto de teste.
  • Idiomas Pivot: Foram criados pares para Francês (FR), Holandês (NL), Curdo Central (CKB) e Persa (FA).
  • Observação: Idiomas mais próximos do inglês (o pivot original do FLEURS), como Francês e Holandês, tiveram desempenho ligeiramente melhor do que os pares linguísticos próximos (CKB e FA), sugerindo que as divergências lexicais e tipológicas entre o pivot e o alvo impactam o desempenho.

• Tradução em Cascata (S2TT):

  • Configuração: ASR (Whisper) + Tradução de Máquina (NLLB-1.3B).
  • O sistema em cascata (KMR → EN) alcançou 19,60 BLEU no teste, comparado a 27,36 BLEU para a tradução direta do texto de referência (baseline), indicando o gargalo introduzido pelo erro de transcrição do ASR.

5. Significado e Conclusão

O trabalho preenche uma lacuna fundamental nos recursos de processamento de linguagem natural (PLN) para línguas de baixo recurso, especificamente para o Curdo do Norte.

• Impacto: Ao fornecer um benchmark padronizado, o FLEURS-Kobani permite comparações justas entre diferentes grupos de pesquisa e acelera o desenvolvimento de tecnologias de fala acessíveis para falantes de Kurmanji.
• Desafios Futuros: Os autores destacam que a variabilidade dialetal e a fluência dos falantes (muitos com educação formal limitada em curdo) introduzem desafios únicos. Futuras pesquisas devem focar em avaliações mais granulares por falante e na análise da variabilidade dialetal regional em comparação com a forma escrita.
• Inclusão: O projeto é um passo importante para a inclusão linguística e a acessibilidade tecnológica em regiões onde o curdo do norte é falado, mas historicamente negligenciado em recursos digitais.