English to Central Kurdish Speech Translation: Corpus Creation, Evaluation, and Orthographic Standardization

Visão Geral

O artigo apresenta o KUTED, um novo corpus de tradução de fala para texto (Speech-to-Text Translation - S2TT) para o Curdo Central (CKB), derivado de palestras do TED e TEDx. O trabalho aborda a escassez de dados para línguas de recursos limitados, focando especificamente na variabilidade ortográfica do curdo e propondo métodos de padronização para melhorar o desempenho dos modelos de tradução automática.

1. O Problema

• Escassez de Dados: A tradução de fala para o Curdo Central enfrenta uma falta crítica de pares de dados áudio-texto alinhados de alta qualidade.
• Variabilidade Ortográfica: O Curdo Central carece de um sistema de escrita totalmente padronizado. A variação ortográfica (diferentes formas de escrever a mesma palavra, junção ou separação de palavras, uso de empréstimos) causa dispersão de dados e degrada significativamente a qualidade da tradução, pois os modelos não conseguem generalizar formas não padrão.
• Alinhamento de Dados: Dados brutos de legendas frequentemente apresentam desalinhamentos entre o áudio e o texto, exigindo limpeza rigorosa.

2. Metodologia

Criação do Corpus (KUTED)

• Fonte: Derivado de 1.696 palestras do TED/TEDx, resultando em aproximadamente 170 horas de áudio em inglês e 91.000 segmentos de fala.
• Escala: O corpus contém 1,65 milhões de tokens em inglês e 1,40 milhão de tokens em Curdo Central.
• Coleta de Dados: Envolveu a comunidade de tradutores do TED (principalmente da Universidade Koya), que traduziu as palestras.
• Processamento:
  • Alinhamento: Realização de alinhamento áudio-texto em quatro etapas (reajuste de nível de palestra, sub-frase, nível de frase e extração de áudio).
  • Detecção de Erros: Uso de um modelo ASR pré-treinado (Seamless v2 Large) para detectar e filtrar amostras desalinhadas ou com ruído excessivo, removendo cerca de 4.000 amostras incorretas.
  • Avaliação Humana: Avaliação por tradutores profissionais que atribuíram notas médias acima de 4/5 em precisão, fluência e adaptação.

Padronização Ortográfica (Contribuição Chave)

Para mitigar a variabilidade ortográfica, os autores propuseram um pipeline sistemático de três etapas:

1. Normalização (N1): Uso da ferramenta AsoSoft para correção de Unicode, padronização de pontuação e unificação de números.
2. Correção Geral (N2): Aplicação de uma tabela de correção com 19.700 pares de erros/correções baseada no corpus AsoSoft.
3. Correção Específica do KUTED (N3): Extração de tokens únicos do corpus, revisão de formas frequentes e criação de uma tabela de correção específica (11.860 pares), substituindo cerca de 10% de todos os tokens do corpus.

• Resultado: A padronização reduziu o número de tokens únicos pela metade (de ~235k para ~118k), demonstrando o impacto massivo da não padronização nos dados.

Sistemas de Tradução Avaliados

O corpus foi avaliado em três configurações:

1. Tradução de Fala para Texto End-to-End (E2E): Fine-tuning do modelo Seamless (arquitetura baseada em W2V-BERT 2.0 e NLLB decoder) no corpus KUTED.
2. Sistema em Cascata: Combinação de um modelo ASR (Seamless fine-tuned) seguido por um modelo de Tradução Automática (MT) NLLB (1.3B parâmetros).
3. Treinamento do Zero: Treinamento de um modelo Transformer (Fairseq) apenas com os dados do KUTED, sem pré-treinamento em S2TT.
4. Tradução Texto-para-Texto (T2TT): Avaliação do desempenho do NLLB apenas com texto.

3. Resultados Principais

• Impacto da Padronização: A padronização ortográfica foi crucial. O modelo Seamless fine-tuned melhorou drasticamente com os dados padronizados (N3), atingindo 15,18 BLEU no conjunto de teste do KUTED, comparado a 11,34 BLEU sem a correção específica (N3). O baseline pré-treinado sem fine-tuning teve desempenho muito inferior (~5 BLEU).
• Desempenho E2E: O modelo Seamless fine-tuned no KUTED alcançou 13,51 BLEU no benchmark interno e melhorou o desempenho no benchmark externo FLEURS de 9,36 para 12,50 BLEU, demonstrando generalização para domínios não vistos.
• Sistema em Cascata: O sistema cascata (ASR + MT) com fine-tuning alcançou 15,57 BLEU, superando ligeiramente a abordagem E2E e confirmando a alta qualidade do alinhamento do KUTED (WER de 8,62 após fine-tuning).
• Tradução Texto-para-Texto: O modelo NLLB fine-tuned atingiu 16,72 BLEU (EN→CKB) e 27,93 BLEU (CKB→EN), validando o corpus como um recurso valioso também para tarefas puramente textuais.
• Treinamento do Zero: O modelo treinado do zero (Fairseq) obteve 7,90 BLEU, indicando que, embora o KUTED seja útil, o tamanho do corpus (170h) ainda é limitado para treinar modelos robustos sem o auxílio de pré-treinamento ou outros corpora.

4. Contribuições Chave

1. KUTED: O primeiro corpus de grande escala (170h) de tradução de fala para o Curdo Central, derivado de palestras TED.
2. Metodologia de Padronização: Uma abordagem sistemática e reprodutível para normalizar textos em línguas com ortografia variável, provando que a padronização é tão importante quanto a quantidade de dados.
3. Pipeline de Limpeza: Um método automatizado usando ASR para detectar e filtrar desalinhamentos de áudio-texto.
4. Recursos Abertos: Disponibilização da lista de IDs das palestras e das tabelas de correção ortográfica para facilitar pesquisas futuras.

5. Significância e Conclusão

O trabalho demonstra que a criação de corpora para línguas de recursos limitados deve ir além da simples coleta de dados; a padronização ortográfica é um pré-requisito crítico para o sucesso de modelos de IA. O KUTED não apenas preenche uma lacuna de dados para o Curdo Central, mas também estabelece um novo padrão de qualidade para avaliação de S2TT. Os resultados mostram que o fine-tuning de modelos pré-treinados (como o Seamless) com dados padronizados e alinhados pode superar significativamente os baselines, mesmo em cenários de poucos dados, e oferece ganhos mensuráveis em benchmarks globais como o FLEURS. O estudo sugere que essa metodologia pode ser aplicada a outras línguas com desafios ortográficos similares.