Joint Learning using Mixture-of-Expert-Based Representation for Speech Enhancement and Robust Emotion Recognition

1. Enunciato del Problema

Il Riconoscimento delle Emozioni nel Parlato (SER) è fondamentale per l'interazione uomo-computer, ma subisce un significativo degrado delle prestazioni in ambienti rumorosi reali. Sebbene il Miglioramento del Parlato (SE) possa migliorare la robustezza, gli approcci tradizionali affrontano due limitazioni principali:

• Problemi della Pipeline a Due Stadi: L'uso del SE come fase di pre-elaborazione introduce artefatti che oscurano i segnali emotivi e aggiunge un sovraccarico computazionale. Inoltre, i modelli SE sono ottimizzati per l'intelligibilità percettiva, che potrebbe non allinearsi con la preservazione delle caratteristiche discriminative delle emozioni.
• Conflitti nell'Apprendimento Multi-Task (MTL): L'addestramento congiunto di SE e SER utilizzando un singolo backbone condiviso porta spesso a interferenze dei gradienti e conflitti rappresentazionali. I compiti differiscono significativamente in complessità (il SE richiede una ricostruzione del segnale fine-granulare, mentre il SER richiede un'astrazione semantica di alto livello), causando una convergenza subottimale e rappresentazioni di caratteristiche distorte nei modelli MTL standard.

2. Metodologia: Sparse MERIT

Gli autori propongono la Tecnica di Integrazione della Rappresentazione a Mixture-of-Experts Sparsa (Sparse MERIT), un framework MTL flessibile progettato per integrare rappresentazioni del parlato auto-supervisionate per entrambi i compiti.

Architettura Principale

• Backbone: Utilizza un modello WavLM Large pre-addestrato (trasformatore a 24 livelli) come backbone auto-supervisionato condiviso per estrarre rappresentazioni robuste del parlato.
• Rappresentazione a Livello di Strato: Invece di utilizzare un singolo livello, il modello concatena gli stati nascosti dall'input e da tutti i 24 livelli del trasformatore per catturare informazioni contestuali multi-scala.
• Instradamento Sparsa a Livello di Frame:
  • Pool di Esperti: Un pool condiviso di $N=3$ reti di esperti (reti feedforward a due livelli) elabora le caratteristiche concatenate.
  • Gating Specifico per Compito: Due reti di gating indipendenti ($G_{\phi}^{SER}$ e $G_{\phi}^{SE}$) instradano dinamicamente ogni frame a uno specifico esperto.
  • Selezione Top-K: Il framework impiega una strategia di instradamento Top-1 (instradamento sparsa), dove ogni frame è elaborato da esattamente un esperto selezionato. Questo riduce il sovraccarico computazionale rispetto all'instradamento denso e incoraggia un comportamento specializzato degli esperti.
• Teste di Compito:
  • Testa SER: Utilizza un pooling statistico attentivo sulle caratteristiche instradate, seguito da una testa di classificazione per prevedere le etichette emotive.
  • Testa SE: Concatena le caratteristiche instradate con lo spettrogramma log-compresso dell'input rumoroso e ricostruisce lo spettrogramma potenziato utilizzando un decoder (basato sull'architettura BSSE-SE).
• Funzione Obiettivo: Ottimizza congiuntamente una perdita di entropia incrociata pesata (per il SER, gestendo lo squilibrio delle classi) e una perdita L1 (per il SE, minimizzando l'errore di ricostruzione spettrale).

3. Contributi Chiave

1. Nuovo Framework MTL: Introduzione di Sparse MERIT, che va oltre i semplici backbone condivisi incorporando una struttura a Mixture-of-Experts (MoE) con instradamento specifico per compito a livello di frame. Questo mitiga l'interferenza dei gradienti tra SE e SER.
2. Integrazione Efficiente delle Rappresentazioni: Il metodo sfrutta rappresentazioni auto-supervisionate multi-livello e instradamento sparsa per abilitare un apprendimento adattivo al compito ed efficiente in termini di parametri, senza aumentare significativamente i costi di inferenza.
3. Validazione Completa: Esperimenti estensivi dimostrano che Sparse MERIT supera le linee di stato dell'arte, inclusi pipeline di pre-elaborazione SE, MTL ingenuo e tecniche avanzate di manipolazione dei gradienti (PCGrad, pesatura basata sull'incertezza).
4. Analisi delle Dinamiche di Gating: L'articolo fornisce un'analisi del comportamento di gating, mostrando che la selezione degli esperti è guidata più dal contenuto emotivo che dai livelli di rumore, e che l'instradamento Top-1 produce una migliore generalizzazione rispetto all'instradamento denso.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul corpus MSP-Podcast con aumento del rumore (CRSS-4ENGLISH-14, Freesound e ICASSP 2023 DNS Challenge).

Riconoscimento delle Emozioni nel Parlato (SER)

• Prestazioni: Nella condizione più impegnativa (-5 dB SNR) con rumore non visto (Freesound), Sparse MERIT ha migliorato l'F1-macro del 12,4% rispetto alla linea di base di pre-elaborazione SE e del 3,8% rispetto alla linea di base MTL ingenua.
• Generalizzazione: Il modello ha mantenuto prestazioni robuste sia nelle condizioni di rumore visto che non visto, mentre le linee di base di pre-elaborazione SE si sono degradate significativamente su tipi di rumore non visti.
• Confronto: Ha superato altre strategie MTL come la pesatura basata sull'incertezza e PCGrad, e ha anche superato una variante "Dense MERIT" (dove tutti gli esperti contribuiscono a ogni frame), confermando l'efficacia dell'instradamento sparsa Top-1.

Miglioramento del Parlato (SE)

• Metriche: Valutato utilizzando PESQ, CSIG, CBAK, COVL, SSNR e STOI.
• Prestazioni: Sparse MERIT ha costantemente superato le linee di base nelle condizioni di rumore non visto. A -5 dB SNR sul dataset DNS, ha ottenuto un miglioramento del 44,4% in SSNR e del 19,6% in STOI rispetto alla linea di base fine-tuned solo SE.
• Compromesso: Sebbene abbia mostrato un leggero calo in PESQ rispetto ad alcuni modelli SE specializzati (a causa della mancanza di discriminatori specifici per PESQ), ha migliorato significativamente l'intelligibilità (STOI) e la qualità complessiva (COVL) negli scenari di apprendimento congiunto.

Studi di Ablazione

• Numero di Esperti: Le prestazioni SER sono state massime con 3 esperti, mentre le prestazioni SE sono continuate a migliorare leggermente con più esperti. Gli autori hanno selezionato 3 per bilanciare la robustezza SER e la complessità del modello.
• Bilanciamento della Perdita: Contrariamente alle pratiche MoE standard (es. Switch Transformer), l'aggiunta di una perdita di bilanciamento degli esperti ha degradato le prestazioni sul rumore non visto, suggerendo che forzare un uso uniforme degli esperti ostacola la specializzazione specifica per compito in questo contesto.

5. Significato

• Robustezza in Scenari Reali: Sparse MERIT affronta il divario critico tra le prestazioni in laboratorio pulito e il dispiegamento nel mondo reale ottimizzando congiuntamente l'intelligibilità e il riconoscimento delle emozioni senza gli artefatti delle pipeline a due stadi.
• Risoluzione dei Conflitti MTL: Fornisce una soluzione strutturale (MoE sparsa) al problema dell'interferenza dei gradienti, dimostrando che l'instradamento specifico per compito è più efficace della manipolazione dei gradienti (come PCGrad) per compiti eterogenei come SE e SER.
• Dispiegamento Pratico: Il framework offre un'alternativa computazionalmente efficiente ai sistemi in cascata, rendendolo adatto ad ambienti con risorse limitate dove sono richiesti sia un output udibile dall'uomo che un'analisi automatica delle emozioni.

In conclusione, Sparse MERIT dimostra che l'integrazione di rappresentazioni auto-supervisionate con un instradamento sparsa a livello di frame di esperti crea un sistema robusto e generalizzabile capace di gestire ambienti acustici complessi e rumorosi sia per il miglioramento del parlato che per il riconoscimento delle emozioni.