Joint Learning using Mixture-of-Expert-Based Representation for Speech Enhancement and Robust Emotion Recognition

1. Declaração do Problema

O Reconhecimento de Emoção na Fala (SER) é crítico para a interação humano-computador, mas sofre degradação significativa de desempenho em ambientes ruidosos do mundo real. Embora o Aprimoramento de Fala (SE) possa melhorar a robustez, as abordagens tradicionais enfrentam duas limitações principais:

• Problemas de Pipeline em Duas Etapas: O uso de SE como etapa de pré-processamento introduz artefatos que obscurecem pistas emocionais e adiciona sobrecarga computacional. Além disso, os modelos de SE otimizam a inteligibilidade perceptiva, o que pode não alinhar-se com a preservação de características discriminativas de emoção.
• Conflitos de Aprendizado Multitarefa (MTL): O treinamento conjunto de SE e SER usando uma única espinha dorsal compartilhada frequentemente leva a interferência de gradientes e conflitos representacionais. As tarefas diferem significativamente em complexidade (SE requer reconstrução de sinal de alta granularidade, enquanto SER requer abstração semântica de alto nível), causando convergência subótima e representações de características enviesadas em modelos MTL padrão.

2. Metodologia: Sparse MERIT

Os autores propõem a Técnica de Integração de Representação de Mistura de Especialistas Esparsa (Sparse MERIT), um framework MTL flexível projetado para integrar representações de fala auto-supervisionadas para ambas as tarefas.

Arquitetura Central

• Espinha Dorsal: Utiliza um modelo pré-treinado WavLM Large (transformador de 24 camadas) como espinha dorsal auto-supervisionada compartilhada para extrair representações de fala robustas.
• Representação por Camada: Em vez de usar uma única camada, o modelo concatena os estados ocultos da entrada e de todas as 24 camadas do transformador para capturar informações contextuais multiescala.
• Roteamento Esparsos por Quadro:
  • Pool de Especialistas: Um pool compartilhado de $N=3$ redes de especialistas (redes feedforward de duas camadas) processa as características concatenadas.
  • Portaria Específica por Tarefa: Duas redes de portaria independentes ($G_{\phi}^{SER}$ e $G_{\phi}^{SE}$) roteiam dinamicamente cada quadro para um especialista específico.
  • Seleção Top-K: O framework emprega uma estratégia de roteamento Top-1 (roteamento esparso), onde cada quadro é processado por exatamente um especialista selecionado. Isso reduz a sobrecarga computacional em comparação com o roteamento denso e incentiva comportamentos especializados dos especialistas.
• Cabeças de Tarefa:
  • Cabeça SER: Utiliza agrupamento estatístico atencional nas características roteadas, seguido por uma cabeça de classificação para prever rótulos de emoção.
  • Cabeça SE: Concatena as características roteadas com o espectrograma comprimido por log do entrada ruidosa e reconstrói o espectrograma aprimorado usando um decodificador (baseado na arquitetura BSSE-SE).
• Função Objetivo: Otimiza conjuntamente uma perda de entropia cruzada ponderada (para SER, lidando com desequilíbrio de classes) e uma perda L1 (para SE, minimizando o erro de reconstrução espectral).

3. Contribuições Principais

1. Framework MTL Inovador: Introdução do Sparse MERIT, que vai além de espinhas dorsais compartilhadas simples incorporando uma estrutura de Mistura de Especialistas (MoE) com roteamento por quadro e específico por tarefa. Isso mitiga a interferência de gradientes entre SE e SER.
2. Integração Eficiente de Representação: O método aproveita representações auto-supervisionadas de múltiplas camadas e roteamento esparso para permitir aprendizado adaptativo à tarefa e eficiente em parâmetros, sem aumentar significativamente os custos de inferência.
3. Validação Abrangente: Experimentos extensivos demonstram que o Sparse MERIT supera as linhas de base mais avançadas, incluindo pipelines de pré-processamento SE, MTL ingênuo e técnicas avançadas de manipulação de gradientes (PCGrad, ponderação por incerteza).
4. Insights sobre Dinâmicas de Portaria: O artigo fornece uma análise do comportamento de portaria, mostrando que a seleção de especialistas é impulsionada mais pelo conteúdo emocional do que pelos níveis de ruído, e que o roteamento Top-1 produz melhor generalização do que o roteamento denso.

4. Resultados Experimentais

Os experimentos foram conduzidos no corpus MSP-Podcast com aumento de ruído (CRSS-4ENGLISH-14, Freesound e Desafio DNS da ICASSP 2023).

Reconhecimento de Emoção na Fala (SER)

• Desempenho: Sob a condição mais desafiadora (-5 dB SNR) com ruído não visto (Freesound), o Sparse MERIT melhorou o F1-macro em 12,4% sobre a linha de base de pré-processamento SE e em 3,8% sobre a linha de base de MTL ingênuo.
• Generalização: O modelo manteve desempenho robusto em condições de ruído visto e não visto, enquanto as linhas de base de pré-processamento SE degradaram significativamente em tipos de ruído não vistos.
• Comparação: Superou outras estratégias MTL como ponderação baseada em incerteza e PCGrad, e também superou uma variante "Dense MERIT" (onde todos os especialistas contribuem para cada quadro), confirmando a eficácia do roteamento Top-1 esparso.

Aprimoramento de Fala (SE)

• Métricas: Avaliado usando PESQ, CSIG, CBAK, COVL, SSNR e STOI.
• Desempenho: O Sparse MERIT superou consistentemente as linhas de base em condições de ruído não visto. Em -5 dB SNR no conjunto de dados DNS, alcançou uma melhoria de 44,4% no SSNR e 19,6% no STOI em comparação com a linha de base ajustada apenas para SE.
• Compromisso: Embora tenha mostrado uma leve queda no PESQ em comparação com alguns modelos especializados em SE (devido à falta de discriminadores específicos de PESQ), melhorou significativamente a inteligibilidade (STOI) e a qualidade geral (COVL) em cenários de aprendizado conjunto.

Estudos de Ablação

• Contagem de Especialistas: O desempenho do SER atingiu o pico com 3 especialistas, enquanto o desempenho do SE continuou a melhorar ligeiramente com mais especialistas. Os autores selecionaram 3 para equilibrar a robustez do SER e a complexidade do modelo.
• Equilíbrio de Perda: Contrariando práticas padrão de MoE (como Switch Transformer), adicionar uma perda de equilíbrio de especialistas degradou o desempenho em ruído não visto, sugerindo que forçar o uso uniforme de especialistas prejudica a especialização específica da tarefa neste contexto.

5. Significado

• Robustez em Cenários do Mundo Real: O Sparse MERIT aborda a lacuna crítica entre o desempenho em laboratório limpo e a implantação no mundo real, otimizando conjuntamente a inteligibilidade e o reconhecimento de emoção sem os artefatos de pipelines em duas etapas.
• Resolução de Conflitos MTL: Oferece uma solução estrutural (MoE esparsa) para o problema de interferência de gradientes, provando que o roteamento específico por tarefa é mais eficaz do que a manipulação de gradientes (como PCGrad) para tarefas heterogêneas como SE e SER.
• Implantação Prática: O framework oferece uma alternativa computacionalmente eficiente a sistemas em cascata, tornando-o adequado para ambientes com recursos limitados onde são necessários tanto a saída audível humana quanto a análise automática de emoções.

Em conclusão, o Sparse MERIT demonstra que a integração de representações auto-supervisionadas com roteamento esparso de especialistas por quadro cria um sistema robusto e generalizável, capaz de lidar com ambientes acústicos complexos e ruidosos tanto para aprimoramento de fala quanto para reconhecimento de emoções.