Resumo Técnico: WorldSpeech: Um Corpus de Fala Multilíngue de Todo o Mundo

Declaração do Problema

Os sistemas de Reconhecimento Automático de Fala (ASR) atualmente performam de forma robusta em idiomas de alto recurso, com abundância de dados pareados de áudio e transcrição. No entanto, a precisão degrada-se drasticamente para a maioria dos idiomas do mundo devido à escassez de dados públicos alinhados por humanos. Soluções existentes enfrentam limitações significativas: corpora de crowdsourcing como o Common Voice oferecem cobertura ampla, mas horas limitadas por idioma; coleções de audiolivros fornecem volume, mas cobrem poucos idiomas; e conjuntos de dados em grande escala como MOSEL e YODAS dependem de pseudo-rótulos gerados por ASR, em vez de verdadeiros fundamentos humanos. Além disso, abordagens existentes que aproveitam registros parlamentares (por exemplo, VoxPopuli, EuroSpeech) são amplamente restritas à Europa devido a restrições de acesso a dados em outras regiões e à falha de pipelines de alinhamento quando modelos ASR iniciais performam mal em idiomas de baixo recurso, impedindo a recuperação de transcrições de verdadeiro fundamento.

Metodologia

Os autores introduzem o WORLDSPEECH, um corpus de fala multilíngue construído estendendo a receita de alinhamento parlamentar para emissoras internacionais, emissoras públicas nacionais e arquivos de audiolivros de domínio público.

Coleta e Padronização de Dados

O corpus agrega dados de 79 fontes distintas em 82 países, incluindo procedimentos parlamentares, transmissões internacionais (por exemplo, VOA, RFA, RFE/RL) e audiolivros de domínio público (por exemplo, LibriVox, Aozora). O pipeline envolve:

• Padronização de Formato: Conversão de formatos de áudio diversos (MP4, MP3, streams HLS) para mono a 24 kHz e transcrições (HTML, XML, DOCX, PDF, SRT) para texto simples.
• Extração Robusta de Texto: Tratamento de layouts complexos de PDF (por exemplo, documentos Hansard de duas colunas) via renderização de imagem e corte de colunas. Para scripts onde a extração padrão falha (por exemplo, Nastaliq Urdu, Birmanês), o pipeline emprega fallbacks de OCR usando Tesseract e o motor neural de OCR Surya.
• Normalização: Aplicação de limpeza específica por idioma, como a remoção de harakat do árabe, normalização de marcas tonais para o cantonês e tratamento de alternância de código em parlamentos multilíngues via detecção de idioma.

Pipeline de Alinhamento

O núcleo da metodologia é uma estratégia de alinhamento grosseiro-fino em duas etapas, adaptada do EuroSpeech:

1. Segmentação: Áudio de longa duração é segmentado em enunciados de 3 a 30 segundos usando Silero VAD.
2. Seleção de ASR: Um estudo de ablação seleciona o modelo ASR ótimo (por exemplo, Whisper-large-v3-turbo, MMS-1B com adaptadores ou ajustes finos da comunidade) para cada idioma, baseado em qual maximiza a fração de segmentos que passam por um limite de Taxa de Erro de Caracteres (CER) < 0,3 em uma amostra de 10 horas.
3. Correspondência Baseada em CER: O sistema calcula o CER entre hipóteses do ASR e faixas candidatas na transcrição humana. Segmentos são retidos apenas se o CER mínimo cair abaixo de 0,3. A saída do ASR é usada exclusivamente para busca, não como verdadeiro fundamento.

Refinamento Iterativo de Alinhamento

Para abordar o problema de "início frio", onde o desempenho inicial pobre do ASR impede o alinhamento, os autores propõem um esquema de refinamento iterativo:

1. Passagem 1: Alinhar áudio com transcrições usando o modelo ASR inicial.
2. Ajuste Fino: Ajustar finamente o modelo ASR nos segmentos alinhados com sucesso na Passagem 1.
3. Passagem 2: Re-alinhar o áudio restante não alinhado usando o modelo ajustado finamente.
   Este processo recupera segmentos que inicialmente não corresponderam devido a alucinações ou erros de script, aumentando as horas alinhadas sem nova coleta de dados. Os autores constataram que uma terceira passagem produz retornos decrescentes (+0,2% a +8,8%) em comparação com a segunda passagem.

Contribuições Principais

1. Corpus WORLDSPEECH: Um corpus publicamente disponível contendo 64.970 horas de dados alinhados de áudio-transcrição em 76 idiomas. É o primeiro corpus público a combinar cobertura ampla com profundidade significativa, apresentando:
   • 24 idiomas com >1.000 horas.
   • 28 idiomas com >500 horas.
   • 37 idiomas com >200 horas.
   • Cobertura de variantes regionais e dialetais (por exemplo, Francês Quebequense, Alemão Austríaco, Árabe do Bahrein) frequentemente ausentes em conjuntos de dados existentes.
2. Técnica de Refinamento Iterativo: Um método para aumentar o volume de dados alinhados em 19,5% a 201,1% por idioma, ajustando iterativamente o ASR de alinhamento, beneficiando especificamente idiomas com desempenho inicial de ASR fraco (por exemplo, Birmanês, Lao, Cambojano).
3. Ganhos de Desempenho: Demonstração de que o ajuste fino de backbones multilíngues de ASR existentes no WORLDSPEECH reduz significativamente a Taxa de Erro de Palavras (WER) em idiomas tipologicamente diversos.

Resultados

Os autores avaliaram o corpus ajustando finamente o Whisper-large-v3-turbo na divisão de treinamento do WORLDSPEECH e testando em benchmarks públicos (FLEURS) ou conjuntos de teste retidos.

• Redução de WER: O ajuste fino resultou em uma redução relativa média de WER de 63,5% em 11 idiomas tipologicamente diversos.
• Impacto em Baixo Recurso: Os ganhos mais significativos foram observados em idiomas onde a linha de base zero-shot de WER excedeu 1,0 (indicando mais erros do que palavras de referência). Por exemplo:
  • Samoano: WER reduzido de 4,72 para 0,39 (−91,7%).
  • Lao: WER reduzido de 2,47 para 0,76 (−69,4%).
  • Romanche: WER reduzido de 1,31 para 0,17 (−87,5%).
• Escalonamento de Dados: Um estudo de ablação mostrou que a WER diminui monotonicamente com as horas disponíveis, com as melhorias mais acentuadas ocorrendo nas primeiras 200 horas e retornos decrescentes além de 500 horas.

Significância

O artigo posiciona o WORLDSPEECH como um recurso crítico para fechar a lacuna entre os dados alinhados publicamente disponíveis atuais e o volume necessário para treinar modelos de ASR de alta precisão para idiomas de baixo recurso. Ao fornecer o primeiro corpus publicamente disponível que combina profundidade por idioma (com 24 idiomas excedendo 1.000 horas de dados rotulados por humanos) com ampla cobertura global (76 idiomas), o WORLDSPEECH permite o treinamento e avaliação de sistemas de ASR para idiomas e dialetos anteriormente negligenciados. A estratégia de refinamento iterativo oferece ainda um método escalável para maximizar a utilidade de arquivos públicos existentes sem exigir esforços adicionais de coleta de dados.