Interpretable Audio Pattern Discovery in Keyword-Spotting Models via Waveform Optimization and Segment-Level Analysis

Résumé technique : Découverte de motifs audio interprétables dans les modèles de détection de mots-clés via l'optimisation de la forme d'onde et l'analyse par segment

Énoncé du problème
Les modèles de détection de mots-clés (KWS - Keyword-spotting) produisent généralement une étiquette de classe et un score pour la classe cible, mais ne parviennent pas à révéler quelles régions temporelles spécifiques de la forme d'onde d'entrée soutiennent cette décision. Ce manque de transparence complique le débogage, la comparaison de modèles et la vérification des réponses des modèles. Bien que des scores élevés indiquent une classification réussie, ils ne permettent pas de distinguer si la décision repose sur un intervalle court unique, des motifs temporels distribués ou des artefacts introduits lors du prétraitement. L'article répond au besoin d'une procédure qui relie les scores cibles à des fragments temporels explicites, allant au-delà de la simple prédiction de classe pour identifier les motifs de formes d'onde spécifiques qui activent un modèle.

Méthodologie : Le pipeline GRADV
Les auteurs présentent GRADV, une application de recherche reproductible basée sur Python, conçue pour la découverte de motifs de signaux audio de classes cibles. Le flux de travail fonctionne comme suit :

1. Entrée et prétraitement : Le système accepte des entrures audio (fichiers téléchargés, silence ou bruit) et les standardise en formes d'onde mono à 16 kHz. Les signaux sont divisés en fenêtres temporelles chevauchantes (durée de 0,25 s, saut de 0,05 s).
2. Adaptation du modèle : Une couche d'adaptation modulaire isole l'analyse des implémentations de modèles spécifiques, permettant l'accès au vocabulaire, la récupération des scores (probabilités ou logits) et le calcul des gradients.
3. Optimisation ciblée de la forme d'onde : Le mécanisme central synthétise ou modifie les formes d'onde pour maximiser le score d'un mot cible sélectionné. Dans les expériences rapportées, l'ascension de gradient avec un objectif de logit a été utilisée pour optimiser la forme d'onde.
4. Analyse au niveau du segment : Une fois une forme d'onde optimisée générée, le système évalue les fenêtres temporelles selon quatre critères distincts :
   • Saillance ($S_i$) : Sensibilité locale du score cible par rapport aux échantillons de la forme d'onde.
   • Occlusion ($O_i$) : La diminution du score cible lorsque une fenêtre est masquée.
   • Score de fenêtre isolée ($I_i$) : Le score cible lorsque la fenêtre est isolée du reste du signal.
   • Magnitude de changement de signal ($D_i$) : Le degré de modification appliqué au segment lors de l'optimisation.
5. Classement intégré : Ces métriques sont normalisées et combinées en un score de contribution intégrée ($C_i$) via une somme pondérée (Éq. 1) :
   $$C_i = 0,35S_i + 0,25O_i + 0,15I_i + 0,25D_i$$
   Ce score classe les segments comme « exacts » (répondant à un seuil isolé strict) ou « similaires/supporters » (contribuant à la réponse sans atteindre le seuil strict).
6. Reproductibilité et exportation : Le système exporte des artefacts incluant des fichiers WAV, des tableaux CSV, des résumés JSON et des rapports Markdown, garantissant que les résultats expérimentaux sont traçables et inspectables sans l'interface interactive.

Configuration expérimentale
Les auteurs ont mené une expérience de vérification étendue utilisant un modèle de base PyTorch compact pour la détection de mots-clés avec un vocabulaire russe de huit mots (« да », « нет », « стоп », « вперёд », « назад », « привет », « включи », « выключи »). L'étude a impliqué :

• 80 exécutions totales : 8 mots cibles $\times$ 2 modes d'entrée (à partir de bruit, à partir de silence) $\times$ 5 répétitions par mode.
• Configuration : Optimisation par ascension de gradient avec un score cible de 0,85.
• Études d'ablation : Analyse de la stabilité du classement en faisant varier les poids et en comparant le score intégré aux classements à critère unique (saillance seule, occlusion seule, etc.).

Résultats clés

• Succès de l'optimisation : Les 80 exécutions se sont terminées avec succès avec un taux de réussite de 100 %. Le score cible moyen final sur toutes les exécutions était de 0,8903 (écart-type 0,0499), avec un meilleur score de 0,9805. Le gain de score moyen était de 0,7653.
• Analyse de segment : Au seuil de fragment isolé strict (0,95), aucun fragment exact de 0,25 s n'a été détecté. Cependant, chaque meilleure exécution a identifié des fragments similaires supports. Cela suggère que, pour le modèle de base testé, les réponses de la classe cible sont entraînées par des preuves temporelles distribuées plutôt que par un segment isolé unique.
• Stabilité du classement : Le classement intégré a montré un chevauchement élevé avec les classements à critère unique (par exemple, 0,925 de chevauchement avec l'occlusion seule), mais l'étude d'ablation a confirmé que le score intégré n'est pas simplement une reformulation d'un seul critère. L'analyse de sensibilité des poids a indiqué que le classement reste stable sous des profils de poids alternatifs, bien que les poids spécifiques soient des paramètres d'implémentation plutôt que des constantes universelles.
• Modes d'entrée : L'initialisation par le bruit a produit des scores finaux moyens légèrement plus élevés que l'initialisation par le silence, bien que les deux modes aient atteint 100 % de succès.

Signification et revendications
L'article positionne GRADV non pas comme une nouvelle architecture de reconnaissance vocale ou un outil de validation ASR industriel, mais comme un flux de travail d'analyse de signal pour examiner les motifs de classes cibles spécifiques aux modèles sous des conditions contrôlées.

• Contribution à l'interprétabilité : Ce travail fournit une méthode structurée pour exporter des « preuves temporelles » pour les décisions de KWS, distinguant les fragments cibles exacts des signaux de support.
• Reproductibilité : En archivant le logiciel (DOI Zenodo : 10.5281/zenodo.2079419) et en exportant des résumés exploitables par machine, les auteurs répondent à la difficulté de reproduire les expériences d'interprétabilité.
• Limites de portée : Les auteurs déclarent explicitement que les résultats sont limités au modèle et au vocabulaire testés. Les signaux générés sont des motifs spécifiques au modèle, et non des énoncés naturels ou des modèles acoustiques universels. Le système gère actuellement l'audio mono et ne prend pas en charge les réseaux de microphones multicanaux, le beamforming ou le filtrage spatial.

En conclusion, GRADV offre une procédure reproductible pour découvrir et analyser les motifs de formes d'onde qui pilotent les modèles de détection de mots-clés, offrant une vue transparente de la manière dont des fenêtres temporelles spécifiques contribuent aux réponses des modèles.