Joint Learning using Mixture-of-Expert-Based Representation for Speech Enhancement and Robust Emotion Recognition

A continuación se presenta un resumen técnico detallado del artículo "Aprendizaje conjunto utilizando representación basada en Mezcla de Expertos para Mejora de Voz y Reconocimiento Robusto de Emociones".

1. Planteamiento del Problema

El Reconocimiento de Emociones en la Voz (SER) es fundamental para la interacción humano-computadora, pero sufre una degradación significativa del rendimiento en entornos ruidosos del mundo real. Aunque la Mejora de Voz (SE) puede mejorar la robustez, los enfoques tradicionales enfrentan dos limitaciones principales:

• Problemas de la Pipeline de Dos Etapas: Utilizar la SE como paso de preprocesamiento introduce artefactos que oscurecen las señales emocionales y añade sobrecarga computacional. Además, los modelos de SE se optimizan para la inteligibilidad perceptual, lo cual puede no alinearse con la preservación de características discriminativas de la emoción.
• Conflictos en el Aprendizaje Multitarea (MTL): Entrenar conjuntamente SE y SER utilizando una única columna vertebral compartida a menudo conduce a interferencia de gradientes y conflictos de representación. Las tareas difieren significativamente en complejidad (la SE requiere reconstrucción de señales de grano fino, mientras que el SER requiere abstracción semántica de alto nivel), lo que causa una convergencia subóptima y representaciones de características sesgadas en los modelos MTL estándar.

2. Metodología: Sparse MERIT

Los autores proponen la Técnica de Integración de Representación de Mezcla de Expertos Escasa (Sparse MERIT), un marco MTL flexible diseñado para integrar representaciones de voz auto-supervisadas para ambas tareas.

Arquitectura Central

• Columna Vertebral: Utiliza un modelo preentrenado WavLM Large (transformador de 24 capas) como columna vertebral auto-supervisada compartida para extraer representaciones de voz robustas.
• Representación por Capas: En lugar de utilizar una sola capa, el modelo concatena los estados ocultos de la entrada y todas las 24 capas del transformador para capturar información contextual multiescala.
• Enrutamiento Escaso por Cuadro:
  • Grupo de Expertos: Un grupo compartido de $N=3$ redes de expertos (redes de dos capas tipo feedforward) procesa las características concatenadas.
  • Puerta Específica por Tarea: Dos redes de puerta independientes ($G_{\phi}^{SER}$ y $G_{\phi}^{SE}$) enrutan dinámicamente cada cuadro a un experto específico.
  • Selección Top-K: El marco emplea una estrategia de enrutamiento Top-1 (enrutamiento escaso), donde cada cuadro es procesado exactamente por un experto seleccionado. Esto reduce la sobrecarga computacional en comparación con el enrutamiento denso y fomenta un comportamiento especializado de los expertos.
• Cabezas de Tarea:
  • Cabeza SER: Utiliza agrupación estadística atenta sobre las características enrutadas, seguida de una cabeza de clasificación para predecir las etiquetas de emoción.
  • Cabeza SE: Concatena las características enrutadas con el espectrograma comprimido en logaritmo de la entrada ruidosa y reconstruye el espectrograma mejorado utilizando un decodificador (basado en la arquitectura BSSE-SE).
• Función Objetivo: Optimiza conjuntamente una pérdida de entropía cruzada ponderada (para SER, manejando el desequilibrio de clases) y una pérdida L1 (para SE, minimizando el error de reconstrucción espectral).

3. Contribuciones Clave

1. Nuevo Marco MTL: Introducción de Sparse MERIT, que va más allá de las columnas vertebrales compartidas simples incorporando una estructura de Mezcla de Expertos (MoE) con enrutamiento específico por tarea y por cuadro. Esto mitiga la interferencia de gradientes entre SE y SER.
2. Integración Eficiente de Representaciones: El método aprovecha representaciones auto-supervisadas de múltiples capas y enrutamiento escaso para permitir un aprendizaje adaptable a la tarea y eficiente en parámetros, sin aumentar significativamente los costos de inferencia.
3. Validación Exhaustiva: Experimentos extensos demuestran que Sparse MERIT supera a las líneas base más avanzadas, incluidas las pipelines de preprocesamiento SE, MTL ingenuo y técnicas avanzadas de manipulación de gradientes (PCGrad, ponderación por incertidumbre).
4. Perspectiva sobre la Dinámica de Puertas: El artículo proporciona un análisis del comportamiento de las puertas, mostrando que la selección de expertos está impulsada más por el contenido emocional que por los niveles de ruido, y que el enrutamiento Top-1 produce una mejor generalización que el enrutamiento denso.

4. Resultados Experimentales

Los experimentos se realizaron en el corpus MSP-Podcast con aumento de ruido (CRSS-4ENGLISH-14, Freesound y el Desafío DNS de ICASSP 2023).

Reconocimiento de Emociones en la Voz (SER)

• Rendimiento: Bajo la condición más desafiante (-5 dB SNR) con ruido no visto (Freesound), Sparse MERIT mejoró el F1-macro en un 12.4% sobre la línea base de preprocesamiento SE y un 3.8% sobre la línea base de MTL ingenuo.
• Generalización: El modelo mantuvo un rendimiento robusto tanto en condiciones de ruido visto como no visto, mientras que las líneas base de preprocesamiento SE se degradaron significativamente en tipos de ruido no vistos.
• Comparación: Superó otras estrategias MTL como la ponderación basada en incertidumbre y PCGrad, y también superó a una variante "Dense MERIT" (donde todos los expertos contribuyen a cada cuadro), confirmando la eficacia del enrutamiento escaso Top-1.

Mejora de Voz (SE)

• Métricas: Evaluado utilizando PESQ, CSIG, CBAK, COVL, SSNR y STOI.
• Rendimiento: Sparse MERIT superó consistentemente a las líneas base en condiciones de ruido no visto. A -5 dB SNR en el conjunto de datos DNS, logró una mejora del 44.4% en SSNR y un 19.6% en STOI en comparación con la línea base ajustada solo para SE.
• Compromiso: Aunque mostró una ligera caída en PESQ en comparación con algunos modelos especializados de SE (debido a la falta de discriminadores específicos de PESQ), mejoró significativamente la inteligibilidad (STOI) y la calidad general (COVL) en escenarios de aprendizaje conjunto.

Estudios de Ablación

• Número de Expertos: El rendimiento de SER alcanzó su punto máximo con 3 expertos, mientras que el rendimiento de SE continuó mejorando ligeramente con más expertos. Los autores seleccionaron 3 para equilibrar la robustez del SER y la complejidad del modelo.
• Pérdida de Equilibrio: Contrario a las prácticas estándar de MoE (por ejemplo, Switch Transformer), añadir una pérdida de equilibrio de expertos degradó el rendimiento en ruido no visto, lo que sugiere que forzar un uso uniforme de los expertos obstaculiza la especialización específica de la tarea en este contexto.

5. Significado

• Robustez en Escenarios del Mundo Real: Sparse MERIT aborda la brecha crítica entre el rendimiento en laboratorio limpio y la implementación en el mundo real, optimizando conjuntamente la inteligibilidad y el reconocimiento de emociones sin los artefactos de las pipelines de dos etapas.
• Resolución de Conflictos MTL: Proporciona una solución estructural (MoE escasa) al problema de la interferencia de gradientes, demostrando que el enrutamiento específico de la tarea es más efectivo que la manipulación de gradientes (como PCGrad) para tareas heterogéneas como SE y SER.
• Implementación Práctica: El marco ofrece una alternativa computacionalmente eficiente a los sistemas en cascada, haciéndolo adecuado para entornos con recursos limitados donde se requiere tanto una salida audible para humanos como un análisis automático de emociones.

En conclusión, Sparse MERIT demuestra que integrar representaciones auto-supervisadas con un enrutamiento escaso de expertos por cuadro crea un sistema robusto y generalizable capaz de manejar entornos acústicos complejos y ruidosos tanto para la mejora de voz como para el reconocimiento de emociones.