Speech-Driven End-to-End Language Discrimination towards Chinese Dialects

Resumo Técnico: Discriminação de Linguagem de Ponta a Ponta Baseada em Fala para Dialetos Chineses

Problema
A discriminação de linguagem entre línguas, variedades e dialetos semelhantes apresenta um desafio significativo no Processamento de Linguagem Natural (PLN). As abordagens tradicionais são predominantemente baseadas em texto, dependendo de N-gramas, características sintáticas e semânticas. No entanto, esses métodos frequentemente falham ao distinguir dialetos semelhantes devido a léxicos ambíguos. Embora a fala seja uma característica natural capaz de incorporar diferenças entre línguas semelhantes, as características baseadas em fala têm sido subutilizadas na discriminação de dialetos. Este artigo aborda a lacuna na discriminação de dialetos chineses propondo uma estrutura de ponta a ponta baseada em fala que aproveita características acústicas juntamente com características baseadas em texto para alcançar uma discriminação de grão fino.

Metodologia
Os autores propõem uma estrutura de discriminação de linguagem de ponta a ponta baseada em fala que integra informações acústicas e linguísticas através de uma Rede Neural Convolucional (CNN). A arquitetura consiste em três módulos primários:

1. Análise de Sinal e Extração de Características: O sistema extrai características Fbank de 40 dimensões e coeficientes cepstrais de frequência Mel (MFCC) de 39 dimensões a partir de entradas de áudio. As características MFCC são escolhidas por sua capacidade de se alinhar com a percepção de tom humana.
2. Módulo de Reconhecimento de Fala: Um modelo de reconhecimento de fala de ponta a ponta baseado em Modelos Ocultos de Markov e Redes Neurais Profundas (HMM-DNN) é projetado para prever palavras de dialetos chineses a partir das características MFCC. O modelo utiliza o início (onset) e o final (rime) das sílabas chinesas como estados ocultos. Um modelo de linguagem de tri-gramas é treinado em um corpus paralelo de dialeto Gan chinês para suportar este reconhecimento. O sistema atinge uma Taxa de Erro de Palavra (WER) de 24,76%, estabelecendo uma linha de base para o reconhecimento de fala de dialetos chineses.
3. Atenção e Fusão de Características:
   • Mecanismo de Atenção: Para abordar a questão do léxico ambíguo, um mecanismo de atenção é empregado para selecionar palavras discriminativas específicas de diferentes dialetos chineses a partir do texto previsto.
   • Combinação de Características: A estrutura concatena as características baseadas em fala derivadas de MFCC com embeddings de nível de palavra (derivados de word2vec) das palavras selecionadas pela atenção.
   • Classificação: As características combinadas são alimentadas em uma CNN de duas camadas. A primeira camada utiliza núcleos de convolução de tamanhos variados (3×39, 4×39, 5×39) para extrair características acústicas locais e relacionadas ao texto, enquanto a segunda camada (3×1, 4×1, 5×1) processa adicionalmente essas características. A saída é passada por um average pooling, uma camada totalmente conectada, dropout e uma camada softmax para determinar o rótulo do dialeto.

Principais Contribuições
O artigo descreve três contribuições principais:

1. Estrutura Integrada: O design de uma estrutura de ponta a ponta integrada, baseada em fala e em texto, para a discriminação de dialetos chineses, utilizando uma CNN para processar a concatenação de MFCC e embeddings de palavras.
2. Linha de Base de Reconhecimento de Fala: A proposta de um módulo de reconhecimento de fala de dialeto chinês baseado em HMM-DNN, fornecendo um modelo de linha de base para uma tarefa que é significativamente mais desafiadora do que o reconhecimento de fala em inglês ou mandarim (indicado por um WER de 24,76%).
3. Validação Empírica: Experimentos extensos em dois corpora de dialetos chineses de referência (um corpus de dialeto Gan chinês de 19 vias de grão fino e um corpus iFLYTEK de 10 vias) verificando a eficiência do modelo proposto contra métodos de linha de base fortes.

Resultos Experimentais
O modelo foi avaliado em dois conjuntos de dados:

• Corpus de Dialeto Gan Chinês: Este conjunto de dados inclui 19 dialetos de grão fino da província de Jiangxi.
  • Falantes Duplicados: Em cenários onde os falantes de treinamento e teste se sobrepõem, o modelo combinado proposto (MFCC + palavra de ouro com atenção) alcançou a maior precisão, atingindo 98,86% para classificação de 7 vias e 98,82% para classificação de 20 vias. Isso superou as linhas de base baseadas em texto (ex: SVM_unigram com 73,56%), modelos de reconhecimento de falante (i-vector, x-vector) e o modelo campeão Resnet&Bi-LSTM do concurso iFLYTEK de 2018.
  • Falantes Não Duplicados: Em cenários sem sobreposição de falantes, o desempenho caiu significativamente para todos os modelos, destacando a dificuldade da tarefa. No entanto, o modelo combinado proposto ainda superou outras abordagens de estado da arte, alcançando 61,19% de precisão para classificação de 6 vias e 62,56% para 4 vias. O mecanismo de atenção mostrou-se capaz de melhorar o desempenho em aproximadamente 1,70% a 4,00% em relação aos modelos sem atenção.
• Corpus de Dialeto Chinês iFLYTEK: Uma tarefa de classificação de dialeto de 10 vias. O modelo proposto alcançou 75,84% de precisão com um tamanho de modelo de apenas 0,2523 MB, que é significativamente menor que o modelo campeão Resnet&Bi-LSTM (6,6627 MB), mantendo um desempenho comparável.

Significância e Alegações
O artigo alega que a abordagem baseada em fala proposta é apropriada e eficaz para a discriminação de dialetos chineses de grão fino em comparação com métodos de estado da arte. Os autores enfatizam que as características da fala podem incorporar efetivamente as diferenças entre línguas e dialetos semelhantes onde as características baseadas em texto falham devido à ambiguidade lexical. Os resultados demonstram que a combinação de características acústicas (MFCC) e baseadas em texto (embeddings de palavras) via uma arquitetura CNN compartilhada produz um desempenho superior ao uso de apenas um tipo de característica isoladamente ou o uso de CNNs separadas para cada tipo de característica. O estudo também destaca a importância dos mecanismos de atenção na extração de palavras discriminativas específicas de dialetos.

Os autores mantêm um tom modesto em relação ao componente de reconhecimento de fala, reconhecendo que o WER de 24,76% é "severamente superior ao reconhecimento de fala em inglês ou mandarim chinês" e observando que melhorar o desempenho deste reconhecimento é uma direção para trabalhos futuros. Da mesma forma, eles observam que a discriminação de dialetos continua sendo tecnicamente desafiadora em cenários de falantes não duplicados.