A Comprehensive Analysis of Tokenization and Self-Supervised Learning in End-to-End Automatic Speech Recognition applied on French Language

Resumo Técnico: Uma Análise Abrangente de Tokenização e Aprendizado Auto-supervisionado em Reconhecimento Automático de Fala de Ponta a Ponta Aplicado à Língua Francesa

Enunciação do Problema
Embora os sistemas de Reconhecimento Automático de Fala (ASR) de ponta a ponta estejam cada vez mais integrados em aplicações como transcrição e assistentes de voz, sua avaliação de desempenho permanece limitada. A pesquisa atual depende predominantemente da Taxa de Erro de Palavras (WER) e da Taxa de Erro de Caracteres (CER). No entanto, essas métricas são frequentemente insuficientes para descrever a qualidade das transcrições para aplicações subsequentes. Além disso, os impactos específicos de algoritmos de tokenização de subpalavras e de escolhas de modelos de Aprendizado Auto-supervisionado (SSL) no desempenho lexical, acústico e semântico — particularmente para a língua francesa — permanecem pouco explorados no contexto de arquiteturas de ponta a ponta.

Metodologia
Os autores conduziram um estudo qualitativo sobre ASR em francês utilizando um conjunto abrangente de métricas de avaliação além das taxas de erro padrão.

• Arquitetura do Sistema: O estudo utilizou 28 sistemas de ASR de ponta a ponta construídos sobre o toolkit Speechbrain. Cada sistema consiste em um codificador de modelo SSL seguido por uma Rede Neural Profunda (DNN) com três camadas lineares e uma camada de Classificação Temporal Conexional (CTC) para decodificação.
• Estratégias de Tokenização: Os autores compararam vários métodos de tokenização, incluindo Caractere, Codificação Byte-Pair (BPE), SentencePiece e Unigram. Eles variaram os tamanhos de vocabulário (variando de 150 a 1000 tokens) e investigaram o uso de inicialização baseada em grafemas (144 grafemas) para respeitar as características linguísticas e acústicas.
• Modelos de Aprendizado Auto-supervisionado (SSL): O estudo empregou múltiplos modelos baseados em wav2vec 2.0:
  • Modelos monolíngues franceses treinados em 1.000, 3.000 e 7.000 horas de dados.
  • Um modelo multilíngue (XLSR) treinado em 53 idiomas, incluindo francês.
  • Um modelo apenas em inglês treinado em 53.000 horas para testar a transferência interlinguística.
• Corpora: Os sistemas foram treinados em aproximadamente 356 horas de dados de transmissão francesa (ESTER 1 & 2, EPAC, ETAPE, REPERE) e avaliados no corpus de teste REPERE de 10 horas.
• Métricas de Avaliação: Além da WER e CER, o estudo introduziu ou utilizou:
  • Taxa de Erro de Palavras Não Vistas (UWER): Mede a precisão em palavras ausentes do corpus de treinamento.
  • SemDist: Distância semântica baseada em incorporações de sentença (SentenceBERT/CamemBERT) para avaliar a similaridade semântica.
  • Taxa de Erro de Fonemas (PhonER): Métrica acústica que mede a distância de Levenshtein entre as sequências de fonemas de referência e hipótese.

Principais Resultados

• Impacto dos Modelos SSL:
  • Especificidade Linguística: Modelos SSL pré-treinados em dados franceses superaram significativamente aqueles treinados em dados em inglês ou multilíngues. O modelo francês treinado em 7.000 horas alcançou uma WER de 16,56%, enquanto o modelo inglês (53k horas) resultou em uma WER de 36,41%.
  • Tamanho dos Dados: Observou-se uma correlação direta entre o tamanho dos dados de treinamento em francês e as melhorias de desempenho em todas as métricas.
  • Transferência Multilíngue: Embora o modelo multilíngue XLSR (WER 21,48%) tenha superado o modelo apenas em inglês, ele teve desempenho inferior em comparação ao modelo monolíngue francês, sugerindo que informações específicas do idioma podem ser diluídas no treinamento multilíngue.
• Impacto da Tokenização:
  • Subpalavra vs. Caractere: Tokenizadores de subpalavras (BPE, SentencePiece, Unigram) superaram consistentemente a tokenização por caractere em todas as métricas, capturando informações linguísticas e contextuais mais sutis.
  • Configuração Ótima: O tokenizador Unigram com um vocabulário reduzido de 150 tokens alcançou consistentemente os melhores resultados em WER, CER, SemDist, UWER e PhonER.
  • Inicialização por Grafemas: Contrariamente à hipótese de que a tokenização baseada em grafemas melhoraria o alinhamento acústico, sistemas que utilizaram BPE inicializado por grafemas produziram resultados inferiores aos dos tokenizadores de subpalavras padrão. O sistema de melhor desempenho teve, na verdade, a menor porcentagem de grafemas em seu vocabulário.
• Discrepância de Métricas:
  • O estudo constatou que diferentes métricas frequentemente produzem classificações conflitantes para o "melhor" sistema. Por exemplo, um sistema ótimo segundo a WER pode não ser ótimo segundo a CER ou SemDist.
  • A análise de correlação de Spearman revelou correlações baixas a moderadas entre as métricas (por exemplo, correlação de WER e SemDist de 0,87, mas correlações mais baixas com UWER), indicando que nenhuma métrica única captura totalmente o desempenho do sistema.

Significado e Contribuições
O artigo faz quatro contribuições primárias para o campo do ASR em francês:

1. Generalização via Redução de Vocabulário: Estabelece que tamanhos de vocabulário reduzidos melhoram as capacidades de generalização dos sistemas de ASR, particularmente para palavras não vistas (UWER).
2. Eficácia do Unigram: Fornece evidências de que o tokenizador Unigram com vocabulário reduzido é altamente eficaz para ASR em francês, superando outras estratégias, incluindo abordagens baseadas em grafemas.
3. Limitações das Métricas: Demonstra que os critérios de avaliação impactam significativamente as avaliações em nível de sistema. Um sistema considerado ótimo pela WER não é necessariamente o melhor do ponto de vista humano, semântico ou fonético.
4. Ineficácia dos Grafemas: Sugere que tokens adaptados foneticamente (grafemas) não produzem melhorias de desempenho sobre métodos de tokenização tradicionais neste contexto de ponta a ponta.

Os autores concluem que a inconsistência entre as métricas de avaliação exige a exploração de abordagens alternativas tanto para avaliações intrínsecas quanto subsequentes, adaptadas a tarefas específicas, em vez de depender exclusivamente de taxas de erro tradicionais.