Low-resource Language Discrimination Towards Chinese Dialects with Transfer learning and Data Augmentation

Resumo Técnico: Discriminação de Línguas de Baixos Recursos para Dialetos Chineses com Aprendizado por Transferência e Aumento de Dados

Definição do Problema
A discriminação de dialetos chineses é uma tarefa desafiadora de processamento de linguagem natural (NLP), principalmente devido à escassez de recursos anotados. Embora a identificação de idiomas gerais para línguas não relacionadas tenha alcançado alta precisão, discriminar entre línguas relacionadas ou variações de um idioma específico (como os dialetos chineses) continua sendo difícil. Pesquisas existentes sobre dialetos chineses, como os dialetos Gan e Hakka, são prejudicadas por conjuntos de dados pequenos (por exemplo, aproximadamente 2.000 sentenças para o dialeto Gan), resultando em baixa precisão de discriminação (cerca de 60%) com métodos tradicionais. A falta de pesquisa especializada e de dados suficientes exige novas abordagens para lidar eficazmente com cenários de baixos recursos.

Metodologia: Estrutura CDDTLDA
Os autores propõem uma nova estrutura chamada CDDTLDA (Chinese Dialects Discrimination with Transfer Learning and Data Augmentation). A estrutura integra três módulos principais:

1. Aprendizado por Transferência (ASR de Origem-para-Destino):

   • Treinamento do Modelo de Origem: Os autores utilizam um corpus de dialetos chineses de escala relativamente grande, de 10 vias (IFLYTEK), para treinar um modelo de Reconhecimento Automático de Fala (ASR) do lado da origem (ASR1). Este modelo utiliza uma ResNet para extrair representações latentes locais de características de fala (FBank, MFCC ou log-Mels), seguida por um mecanismo de autoatenção de múltiplas cabeças para capturar relações de quadros (frames), e uma camada totalmente conectada com softmax para a predição de sequências de fonemas. O modelo é treinado usando a perda de Classificação Temporal Conexista (CTC).
   • Ajuste Fino do Modelo de Destino: Um modelo ASR do lado do destino (ASR2) é derivado através do ajuste fino (fine-tuning) do ASR1 pré-treinado. Especificamente, os parâmetros da ResNet são fixados, enquanto os módulos de autoatenção e linear são ajustados usando o pequeno corpus de baixo recurso do dialeto de destino (por exemplo, Gan ou Hakka). Este aprendizado por transferência baseado em parâmetros visa aproveitar as características semânticas comuns entre os domínios de origem e destino.

2. Aumento de Dados:

   • Para enfrentar a escassez de dados, os autores empregam uma estratégia de aumento simples, mas eficaz, envolvendo três perturbações:
     • Extensão de Tempo: Desacelerar ou acelerar a amostragem de áudio mantendo o tom constante (fatores de 0,9 e 1,1).
     • Conversão de Tom (Pitch): Deslocar o tom por valores específicos de semitons (variando de -3,5 a +3,5) mantendo a duração.
     • Perturbação de Ruído: Adição de ruído Gaussiano aleatório (média 0, desvio padrão 1).
   • Estes métodos expandem o tamanho do conjunto de dados de destino por um fator de 12. O artigo observa que, embora existam métodos complexos como SpecAugment ou GANs, estes incorrem em altos custos computacionais; as perturbações simples propostas foram desenhadas para reduzir o custo mantendo a eficácia.

3. Classificador de Discriminação de Dialetos:

   • A tarefa final de discriminação utiliza as representações semânticas ocultas (vetores ocultos locais) extraídas do modelo ASR de destino ajustado (ASR2).
   • Estas representações, combinadas com as características iniciais da fala, são alimentadas em um Bi-LSTM seguido por duas camadas totalmente conectadas com uma função de ativação softmax.
   • O modelo é otimizado usando perda de entropia cruzada com regularização L2 para prever o tipo específico de dialeto chinês.

Principais Contribuições

1. Estrutura Inovadora: O artigo introduz uma estrutura de aprendizado por transferência baseada em ASR, acoplada a um aumento de dados simples, projetada especificamente para a discriminação de dialetos chineses de baixos recursos. Demonstra que um modelo ASR de origem maior pode auxiliar efetivamente na discriminação de dialetos de destino ajustados.
2. Extração de Características Semânticas: Os autores mostram que a matriz de vetores semânticos ocultos (representação oculta local) do modelo ASR ajustado representa a distribuição dos fonemas correspondentes aos quadros de fala. Ao utilizar um mecanismo de autoatenção, o modelo captura com sucesso potenciais características semânticas comuns entre os modelos de origem e destino, auxiliando na discriminação de dialetos.
3. Validação Empírica: Experimentos extensivos são conduzidos em dois corpora de referência (dialetos Gan e Hakka), verificando a eficiência do modelo contra métodos de linha de base (baseline) robustos.

Resultados Experimentais
O modelo proposto foi avaliado em dois conjuntos de dados: um corpus de dialeto chinês Gan de 6 vias e um corpus de dialeto chinês Hakka de 5 vias. Os resultados foram comparados com baselines de última geração, incluindo LSTM, x-vector, ResNet&Bi-LSTM (o modelo campeão da IFLYTEK de 2018) e CNN_Att.

• Desempenho: O modelo CDDTLDA superou significativamente todos os métodos de baseline em ambos os conjuntos de dados em quatro métricas: Acurácia, Precisão, Recall e F1-score.
  • No conjunto de dados Gan, o modelo proposto alcançou uma acurácia de 63,10% e um F1-score de 58,54%, superando o baseline x-vector (55,48% de acurácia) e o baseline ResNet&Bi-LSTM (49,05% de acurácia).
  • No conjunto de dados Hakka, o modelo alcançou uma acurácia de 79,91% e um F1-score de 76,14%, também superando o x-vector (69,23% de acurácia) e outros baselines.
• Estudos de Ablação:
  • Aprendizado por Transferência: A remoção do componente de aprendizado por transferência resultou em uma queda significativa no desempenho (por exemplo, a acurácia caiu de 63,10% para 58,57% no conjunto de dados Gan), confirmando a necessidade do pré-treinamento do lado da origem.
  • Aumento de Dados: A remoção do aumento de dados também degradou o desempenho, destacando seu papel em superar a escassez de dados.
  • Fusão de Características: A combinação das características iniciais da fala com as representações ocultas locais extraídas geralmente produziu melhores resultados do que o uso apenas das características.
  • Tipos de Aprendizado por Transferência: O aprendizado por transferência baseado em parâmetros proposto superou as abordagens de aprendizado por transferência baseadas em instâncias e baseadas em representação de características.
• Desempenho de Reconhecimento de Fala: Embora o foco principal seja a discriminação, a Taxa de Erro de Fonema (PER) para as tarefas de ASR subjacentes foi reportada. Os autores observam que, embora o PER em dialetos de baixos recursos continue sendo um desafio que requer melhorias, as representações latentes aprendidas durante o ASR são suficientes para auxiliar a discriminação de dialetos.

Significância e Alegações
O artigo afirma que a estrutura CDDTLDA proposta aborda eficazmente o desafio da discriminação de línguas de baixos recursos ao aproveitar o aprendizado por transferência de um corpus de dialetos relacionado e maior, e ao empregar um aumento de dados computacionalmente eficiente. Os autores sustentam que as representações semânticas ocultas dos fonemas, capturadas via autoatenção dentro de um contexto de ASR, fornecem um mecanismo robusto para distinguir entre dialetos chineses semelhantes. O estudo conclui que esta abordagem melhora significativamente a acurácia de discriminação em comparação com os métodos existentes de última geração, oferecendo uma solução viável para proteger e analisar dialetos chineses em perigo ou de baixos recursos. Os autores sugerem que trabalhos futuros explorarão métodos de aumento adicionais, mais características orientadas pela fala e a aplicação da identificação de dialetos a outras tarefas de NLP.