Improving Large-Scale Weakly Supervised ASR by Filtering and Selection

Resumo Técnico: Melhorando o ASR Fracamente Supervisionado em Larga Escala por meio de Filtragem e Seleção

Definição do Problema
Conjuntos de dados fracamente supervisionados em larga escala são essenciais para treinar modelos robustos de reconhecimento automático de fala (ASR) de ponta a ponta. No entanto, esses conjuntos de dados, frequentemente extraídos da Internet e de arquivos internos, sofrem de duas limitações primárias: (1) a presença de rótulos ruidosos, incluindo erros de ortografia, textos suplementares não falados e desalinhamentos de marcação de tempo (timestamps); e (2) a falta de especificidade de domínio, o que pode deixar os modelos subótimos para domínios alvo específicos. Embora o aprendizado semissupervisionado frequentemente utilize filtragem baseada em confiança, a eficácia de tais estratégias em conjuntos de dados fracamente supervisionados em larga escala permanece pouco explorada. Além disso, a pesquisa existente sobre seleção de dados foca primariamente na seleção de core-set para reduzir o tempo de treinamento, em vez de melhorar a robustez através da adaptação de domínio utilizando o mesmo conjunto de dados.

Metodologia
Os autores propõem uma abordagem de treinamento de três etapas inovadora, projetada para refinar iterativamente um modelo usando um único conjunto de dados fracamente supervisionado em larga escala.

1. Etapa 1: Pré-treinamento Inicial: Um modelo ASR baseado apenas em codificador (encoder-only) utilizando Connectionist Temporal Classification (CTC) é pré-treinado em todo o conjunto de dados de larga escala. Os autores selecionam um modelo baseado em CTC por sua robustez contra alucinações e sua eficiência na geração de predições para a etapa de filtragem subsequente. Esta etapa permite que o modelo aprenda grosseiramente a tarefa de ASR, apesar do ruído, uma vez que a maioria dos rótulos reflete o conteúdo real da fala.
2. Etapa 2: Filtragem e Pré-treinamento Continuado: O modelo da Etapa 1 é usado para transcrever toda a fala no conjunto de dados. A Taxa de Erro de Caractere (CER) é calculada entre as predições do modelo e os rótulos ruidosos originais. Amostras com uma CER excedendo um limiar predefinido $r$ são filtradas. O modelo então passa por um pré-treinamento continuado neste subconjunto filtrado. Os autores hipotetizam que, embora limiares baixos garantam a qualidade do rótulo, eles correm o risco de remover amostras "difíceis", mas corretamente rotuladas, potencialmente enviesando o modelo para dados mais fáceis. Assim, um limiar ideal equilibra a qualidade do rótulo com a diversidade dos dados.
3. Etapa 3: Seleção de Dados e Fine-tuning: Caso um conjunto de treinamento de domínio alvo não esteja disponível, os autores propõem selecionar um subconjunto de amostras do conjunto de dados filtrado que sejam acusticamente semelhantes ao domínio alvo. Isso é alcançado computando a similaridade de cosseno entre o embedding médio de aprendizado autossupervisionado (SSL) do domínio alvo e os embeddings das amostras no conjunto de dados fracamente supervisionado. As $N$ amostras mais similares são selecionadas para realizar o fine-tuning do modelo continuamente pré-treinado. Este método aproveita embeddings de SSL expressivos enquanto mantém a complexidade linear.

Principais Contribuições

• Pipeline de Treinamento Inovador: O artigo introduz um framework que integra filtragem e seleção de dados em um loop de treinamento contínuo, reutilizando amostras da fase de pré-treinamento inicial para melhorar ainda mais o desempenho do modelo.
• Análise de Filtragem Baseada em CER: O estudo valida empiricamente o impacto da filtragem baseada em CER em um conjunto de dados japonês de 90.000 horas, identificando um compromisso entre qualidade de rótulo e diversidade de dados.
• Adaptação de Domínio via Similaridade: Os autores demonstram que o fine-tuning com amostras acusticamente similares, selecionadas do mesmo conjunto de dados usado para o pré-treinamento, adapta efetivamente o modelo para domínios alvo, mesmo sem dados externos adicionais.

Resultos Experimentais
Experimentos foram conduzidos em um conjunto de dados fracamente supervisionado japonês de 90.000 horas e avaliados em três conjuntos de dados públicos: CSJ (palestras acadêmicas), CommonVoice (crowdsourced) e Noisy-KU (fala espontânea ruidosa).

• Eficácia da Filtragem: Na Etapa 2, a filtragem baseada em limiares de CER resultou em melhorias consistentes em todos os conjuntos de dados. O limiar ideal foi encontrado entre 20 e 40. Essa faixa rendeu uma redução relativa da Taxa de Erro de Caractere (CER) de até 6,4%. Os autores observaram que limiares extremamente baixos (ex: $r \le 10$) proporcionaram ganhos limitados, reforçando a importância de manter a diversidade dos dados.
• Eficácia da Seleção: Na Etapa 3, o fine-tuning no conjunto de dados Noisy-KU usando amostras acusticamente similares (selecionadas com $r=30$) alcançou uma redução relativa de CER de 4,0% em comparação com o fine-tuning com amostras selecionadas aleatoriamente.
• Desempenho Geral: A abordagem proposta reduziu a CER no conjunto de dados Noisy-KU de 38,8% para 35,3% (uma redução relativa de 9,0%) apenas ao estreitar e reutilizar o único conjunto de dados de treinamento. O modelo baseado em CTC proposto também superou o modelo Whisper Small (que possui o dobro de parâmetros) em benchmarks japoneses, mesmo sem dados de pré-treinamento especializados em japonês para o Whisper.

Significância e Alegações
O artigo afirma que sua abordagem explora efetivamente conjuntos de dados fracamente supervisionados em larga escala ao abordar sistematicamente o ruído de rótulos e o descompasso de domínio. Os autores enfatizam que seu método é prático porque não requer conjuntos de dados externos adicionais para filtragem ou seleção; em vez disso, refina o modelo usando os dados existentes. O estudo destaca que os benefícios da filtragem e seleção persistem mesmo após o fine-tuning em dados de domínio alvo, sugerindo que a abordagem é amplamente aplicável. Tanto quanto sabem, este é o primeiro estudo a demonstrar a melhoria adicional de um modelo ASR pré-treinado robusto ao selecionar um subconjunto apropriado do mesmo conjunto de dados usado para o pré-treinamento.