From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks

Résumé technique : Estimation des propriétés des signaux auxiliaires à l'aide de masques d'élagage dynamique dans les réseaux d'amélioration de la parole

Énoncé du problème
Les systèmes d'amélioration de la parole (SE) dans les dispositifs audio embarqués (par exemple, les aides auditives) reposent de plus en plus sur l'apprentissage profond. Pour garantir une robustesse et une expérience utilisateur fluide, ces systèmes nécessitent souvent des modules auxiliaires pour des tâches telles que la détection d'activité vocale (VAD), l'estimation du rapport signal sur bruit (SNR), la classification des scènes acoustiques et la prédiction de la qualité de la parole (SQP). Cependant, le déploiement de modèles d'apprentissage profond distincts pour ces tâches auxiliaires est prohibitif en termes de calcul pour les appareils périphériques, tandis que l'inférence basée sur le cloud introduit des problèmes de latence et de confidentialité. Bien que l'élagage dynamique des canaux (DynCP) ait été proposé pour réduire le calcul SE en désactivant adaptativement les canaux, il reste à déterminer si les mécanismes internes régissant cet élagage contiennent suffisamment d'informations pour réaliser ces tâches auxiliaires sans modèles dédiés.

Méthodologie
Les auteurs proposent un cadre pour estimer les propriétés des signaux auxiliaires directement à partir des masques d'élagage binaires générés par un modèle SE basé sur DynCP, spécifiquement l'architecture Conv-FSENet.

• Pipeline de données : Le système traite les données d'entraînement et de test comme des flux continus. Des extraits de parole propre et de bruit sont mélangés pour former des entrées bruyantes ($x$), qui sont traitées par le modèle SE pour produire une parole améliorée ($\hat{s}$). Les étiquettes de vérité terrain pour diverses tâches (VAD, genre, accent, catégorie de bruit, SNR, SI-SDR, PESQ, F0) sont extraites des métadonnées ou calculées à l'aide de bibliothèques standard (par exemple, librosa, pyworld) et alignées sur le taux de trame de la transformée de Fourier à court terme (STFT).
• Extraction de caractéristiques : Le modèle SE génère un tenseur de masques d'élagage binaires ($G$) indiquant quels canaux de convolution sont actifs dans chaque bloc de traitement. Pour réduire la dimensionnalité et éliminer les masques constants non informatifs, les auteurs filtrent $G$ sur la base d'un seuil minimal d'écart type ($\tau$), aboutissant à un sous-ensemble de caractéristiques dynamiques ($\tilde{G}$).
• Modèles de prédiction : Les auteurs emploient des modèles linéaires simples et interprétables (régression logistique pour la classification, régression linéaire pour la régression) pour prédire les cibles à partir de $\tilde{G}$. L'utilisation d'entrées binaires permet de calculer les prédictions comme des sommes pondérées, minimisant ainsi la surcharge de calcul.
• Lignes de base et comparaisons : Les performances sont comparées à des lignes de base utilisant les magnitudes logarithmiques brutes de la STFT et les masques de suppression prédits. L'étude évalue également l'impact de l'utilisation de caractéristiques provenant de blocs de réseau spécifiques, des $N$ premières caractéristiques les plus informatives et des scores de commutation bruts (non binarisés).
• Vérification du locuteur (SV) : En tant qu'expérience supplémentaire, les auteurs agrègent les masques d'élagage sur les trames vocalement actives pour créer des plongements au niveau de l'énoncé, qui sont ensuite évalués à l'aide d'un backend linéaire standard (WCCN et LDA) pour la vérification du locuteur.

Contributions clés

1. Analyse du comportement émergent : L'article examine les représentations latentes apprises par les sous-réseaux de commutation DynCP, démontrant qu'ils encodent implicitement des caractéristiques acoustiques et vocales pertinentes, malgré un entraînement uniquement axé sur l'efficacité computationnelle.
2. Solution holistique : Les auteurs réutilisent les masques DynCP comme source unifiée d'informations pour plusieurs tâches auxiliaires (VAD, classification du bruit, SNR, métriques de qualité, etc.), éliminant ainsi le besoin de modèles prédictifs séparés et lourds en calcul.
3. Efficacité et interprétabilité : En utilisant des prédicteurs linéaires simples sur des masques binaires, l'approche atteint des performances élevées avec une surcharge de calcul négligeable. Les coefficients linéaires offrent un certain degré d'interprétabilité concernant les parties du réseau qui contribuent à des propriétés spécifiques du signal.

Résultats

• Classification : Des prédicteurs simples ont atteint jusqu'à 93 % de précision pour la VAD, 84 % pour la classification du bruit et 59 % pour la classification du bruit (en utilisant les 64 premières caractéristiques). La classification du genre a été réussie, tandis que la classification de l'accent a performé près des niveaux du hasard, probablement parce que le comportement SE n'est pas fortement influencé par l'accent.
• Régression : Le modèle a atteint un $R^2$ de 0,86 pour l'estimation du F0. Pour les métriques de qualité, il a obtenu une erreur absolue moyenne (MAE) de 0,2 pour le PESQ et 3,2 dB pour le SI-SDR.
• Efficacité des caractéristiques : L'utilisation uniquement des 64 caractéristiques les plus informatives a maintenu des performances comparables à l'utilisation de l'ensemble complet d'environ 202 caractéristiques, suggérant que les modèles auxiliaires peuvent être hautement compacts.
• Scores bruts vs masques binaires : Les scores de commutation bruts (pré-binarisation) ont généralement surpassé les masques binaires, en particulier pour la classification du bruit et l'estimation du F0, car ils conservent plus d'informations sur l'état interne. Cependant, les masques binaires offrent le coût de calcul le plus faible.
• Vérification du locuteur : Les masques d'élagage n'ont produit que des résultats modérés en taux d'erreur égale (EER), performant moins bien que les lignes de base STFT. Les auteurs suggèrent que cela peut être dû au regroupement temporel ou au fait que le modèle SE apprend des représentations agnostiques au locuteur.
• Coût de calcul : La surcharge pour la prédiction de 21 cibles en utilisant l'ensemble complet de caractéristiques est d'environ 0,6 % à 0,93 % du calcul total par trame, selon les canaux actifs.

Signification et limites
L'article affirme que les modèles DynCP présentent un « comportement émergent » où les sous-réseaux de commutation apprennent à allouer des ressources en fonction des caractéristiques du signal telles que les niveaux de bruit et l'activité vocale. Cela suggère que DynCP peut servir de mécanisme à double usage : optimiser l'efficacité SE tout en fournissant simultanément des données auxiliaires pour un comportement robuste du système et des retours utilisateurs.

Les auteurs restent modestes quant à la maturité de ces découvertes. Ils reconnaissent plusieurs limites :

• Les modèles linéaires supposent des contributions additives et peuvent avoir du mal avec des entrées corrélées.
• La colinéarité des caractéristiques complique l'interprétation de l'importance des coefficients.
• Le lissage temporel au sein des sous-réseaux de commutation peut entraver l'estimation de cibles changeant rapidement.
• Les vérités terrain fenêtrées (par exemple, PESQ) peuvent ne pas représenter pleinement la qualité instantanée du signal.

Ce travail se positionne comme une étape préliminaire vers des pipelines à modèle unique capables d'améliorer la parole, d'économiser du calcul et de générer des données auxiliaires simultanément, encourageant ainsi de nouvelles recherches sur les modèles dynamiques et l'entraînement multi-tâches dans le traitement audio.