Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

Résumé technique : Pertes pondérées par le temps et la fréquence pour la reconstruction de phonèmes dans l'amélioration de la parole basée sur les DNN

Énoncé du problème
Les pertes d'entraînement conventionnelles pour l'amélioration multicanale de la parole (MCSE) basée sur les réseaux de neurones profonds (DNN), particulièrement celles basées sur le rapport signal sur distorsion (SDR), traitent uniformément toutes les régions temps-fréquence (TF). Cette approche néglige les indices spectraux fins, critiques pour l'intelligibilité des phonèmes spécifiques. D'un point de vue phonétique, l'intelligibilité repose largement sur des indices acoustiques localisés — tels que les transitions consonantiques, les bouffées de plosives ou les bandes de bruit de fricatives — qui portent une information linguistique disproportionnée par rapport aux régions de voyelles à état stationnaire. De plus, les effets de masquage sont les plus sévères lorsque les magnitudes de la parole et du bruit sont comparables, dégradant ainsi la transmission de ces indices. Les formulations de SDR pondérées par la fréquence ont amélioré le comportement au niveau des phonèmes, mais n'ont pas explicitement unifié la présence de la parole, la compétition parole-bruit et la dynamique transitoire au sein d'un cadre de pondération différentiable unique.

Méthodologie
Les auteurs proposent un cadre de SDR pondéré par le TF qui module la fonction d'objectif en fonction de l'interaction locale parole-bruit. La fonction de perte centrale est définie par :
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
où $w(f, t)$ est un poids non négatif contrôlant la contribution de chaque cellule TF. L'article étudie trois schémas de pondération spécifiques :

1. SIR–Présence de la parole ($L_{SIR \cdot SP}$) : Ce schéma modélise explicitement la compétition parole-bruit. Il combine une fonction de porte basée sur le rapport signal sur interférence (SIR) local et une fonction de porte basée sur la magnitude de la parole ($|S(f, t)|$). Les poids mettent l'accent sur les cellules TF où la parole reste active malgré un faible SIR, tout en atténuant les régions dominées par le bruit ou une énergie négligeable.
2. SIR–Présence de la parole–Flux spectral ($L_{SIR \cdot SP \cdot SF}$) : Pour traiter les indices phonétiques transitoires (ex. : plosives) qui peuvent présenter une faible magnitude mais une pertinence perceptuelle élevée, ce schéma incorpore une métrique de flux spectral par trame. Le flux spectral mesure l'augmentation relative de l'énergie spectrale entre des trames consécutives. La fonction de pondération multiplie les portes SIR et de présence de la parole par un terme dépendant du flux spectral, augmentant la sensibilité aux structures variant rapidement.
3. Poids apprenables ($L_{learn}$) : En tant qu'alternative pilotée par les données, ce schéma utilise des paramètres spectraux indépendants du temps, initialisés avec les poids d'importance de bande ANSI 1997 et appris pendant l'entraînement.

Le cadre proposé a été implémenté à l'aide du beamformer adaptatif temporel de bout en bout FaSNet, entraîné sur un jeu de données dérivé de LibriSpeech mélangé à du bruit blanc (WN) et du bruit de forme de parole (SSN), simulé avec des réponses impulsionnelles de pièce pour une configuration d'aide auditive binaurale à 4 canaux.

Résultats clés
Les évaluations expérimentales ont été menées à l'aide de métriques objectives (SDR, SIR, SAR, variantes pondérées par la fréquence, STOI) et de métriques de reconnaissance de phonèmes (taux d'erreur de mots - WER, précision des phonèmes - PA).

• Performance au niveau de l'énoncé : Sous bruit blanc, la perte $L_{SIR \cdot SP \cdot SF}$ a obtenu la plus forte amélioration globale du SIR et du SIR pondéré par la fréquence. Bien que les pertes pondérées aient généralement maintenu des performances comparables à la ligne de base en termes de distorsion (SDR) et d'artefacts (SAR), elles ont montré une suppression d'interférence plus cohérente à travers les types de bruit par rapport aux pertes reposant uniquement sur la modulation du SIR local (ex. : $L_{logSIR}$).
• Reconnaissance de la parole : Sous bruit blanc, toutes les pertes pondérées proposées ont produit un WER plus faible que la ligne de base pour la plupart des niveaux de rapport signal sur interférence (SIR). Sous bruit de forme de parole, les résultats étaient moins cohérents ; cependant, $L_{SIR \cdot SP \cdot SF}$ a démontré un léger avantage sur la ligne de base aux niveaux de SIR moyen à élevé.
• Analyse au niveau des phonèmes : La perte proposée $L_{SIR \cdot SP \cdot SF}$ a considérablement amélioré la précision des phonèmes (PA) pour les consonnes et les voyelles, particulièrement sous bruit blanc. Pour les consonnes, la méthode a amélioré la suppression des interférences (SIR plus élevé) tout en maintenant un SDR pondéré par la fréquence comparable.
• Reconstruction des transitoires : L'analyse de la reconnaissance des plosives à travers les niveaux de SIR a révélé que $L_{SIR \cdot SP \cdot SF}$ surpasse significativement la ligne de base aux niveaux de SIR moyen à élevé (0 dB et plus). L'analyse spectrale indique que cette perte reconstruit mieux les structures de moyenne fréquence des plosives à des niveaux de SIR d'entrée modérés et élevés, suivant plus étroitement la forme spectrale propre que la ligne de base dans les bandes 6–13.

Signification et revendications
L'article affirme que le cadre de pondération TF proposé reforme avec succès la contribution des cellules TF selon la compétition parole-bruit sans déstabiliser l'optimisation du SDR. La contribution principale est la démonstration que la modélisation explicite de la présence de la parole, du SIR local et de la dynamique transitoire (via le flux spectral) conduit à une meilleure suppression des interférences et à une meilleure reconstruction des phonèmes.

Les auteurs soutiennent que leur approche reflète mieux les priorités perceptuelles que les pertes uniformes globales, particulièrement pour les consonnes et les indices transitoires. Les résultats suggèrent que l'incorporation d'une modulation sensible au SIR et au flux spectral est plus robuste que le recours exclusif au SIR local ou à des profils spectraux purement appris, notamment dans des conditions pertinentes pour les scénarios d'aide auditive où la préservation des structures de parole transitoires et de moyenne fréquence est critique. Le travail ne prétend pas remplacer les tests d'écoute, mais fournit des proxys objectifs reproductibles pour l'intelligibilité et la reconstruction phonétique.