Interpretable Audio Pattern Discovery in Keyword-Spotting Models via Waveform Optimization and Segment-Level Analysis

Resumen Técnico: Descubrimiento de Patrones de Audio Interpretables en Modelos de Detección de Palabras Clave mediante la Optimización de la Forma de Onda y el Análisis a Nivel de Segmento

Planteamiento del Problema
Los modelos de detección de palabras clave (KWS, por sus siglas en inglés) suelen devolver una etiqueta de clase y una puntuación de la clase objetivo, pero no revelan qué regiones temporales específicas de la forma de onda de entrada sustentan esa decisión. Esta falta de transparencia complica la depuración, la comparación de modelos y la verificación de las respuestas de los modelos. Aunque las puntuaciones altas indican una clasificación exitosa, no distinguen si la decisión se basa en un intervalo corto único, en patrones temporales distribuidos o en artefactos introducidos durante el preprocesamiento. El artículo aborda la necesidad de un procedimiento que conecte las puntuaciones objetivo con fragmentos temporales explícitos, yendo más allá de la simple predicción de clase para identificar los patrones específicos de la forma de onda que activan un modelo.

Metodología: El Flujo de Trabajo GRADV
Los autores presentan GRADV, una aplicación de investigación reproducible basada en Python, diseñada para el descubrimiento de patrones de señales de audio de clases objetivo. El flujo de trabajo opera de la siguiente manera:

1. Entrada y Preprocesamiento: El sistema acepta entradas de audio (archivos cargados, silencio o ruido) y las estandariza a formas de onda mono de 16 kHz. Las señales se dividen en ventanas temporales superpuestas (duración de 0.25 s, salto de 0.05 s).
2. Adaptación del Modelo: Una capa de adaptador modular aísla el análisis de implementaciones de modelos específicos, permitiendo el acceso al vocabulario, la recuperación de puntuaciones (probabilidades o logits) y el cálculo de gradientes.
3. Optimización de la Forma de Onda Dirigida: El mecanismo central sintetiza o modifica las formas de onda para maximizar la puntuación de una palabra objetivo seleccionada. En los experimentos reportados, se utilizó el ascenso de gradiente con un objetivo de logit para optimizar la forma de onda.
4. Análisis a Nivel de Segmento: Una vez generada una forma de onda optimizada, el sistema evalúa las ventanas temporales utilizando cuatro criterios distintos:
   • Saliencia ($S_i$): Sensibilidad local de la puntuación objetivo respecto a las muestras de la forma de onda.
   • Oclusión ($O_i$): La disminución en la puntuación objetivo cuando una ventana es enmascarada.
   • Puntuación de Ventana Aislada ($I_i$): La puntuación objetivo cuando la ventana se aísla del resto de la señal.
   • Magnitud de Cambio de Señal ($D_i$): El grado de modificación aplicada al segmento durante la optimización.
5. Clasificación Integrada: Estas métricas se normalizan y se combinan en una puntuación de contribución integrada ($C_i$) mediante una suma ponderada (Ec. 1):
   $$C_i = 0.35S_i + 0.25O_i + 0.15I_i + 0.25D_i$$
   Esta puntuación clasifica los segmentos como "exactos" (que cumplen con un umbral aislado estricto) o "similares/de apoyo" (que contribuyen a la respuesta sin cumplir el umbral estricto).
6. Reproducibilidad y Exportación: El sistema exporta artefactos que incluyen archivos WAV, tablas CSV, resúmenes JSON e informes Markdown, asegurando que los resultados experimentales sean trazables e inspeccionables sin la interfaz interactiva.

Configuración Experimental
Los autores realizaron un experimento de verificación extendido utilizando un modelo base de PyTorch para KWS con un vocabulario ruso de ocho palabras ("да", "нет", "стоп", "вперёд", "назад", "привет", "включи", "выключи"). El estudio involucró:

• 80 ejecuciones totales: 8 palabras objetivo $\times$ 2 modos de entrada (desde ruido, desde silencio) $\times$ 5 repeticiones por modo.
• Configuración: Optimización por ascenso de gradiente con una puntuación objetivo de 0.85.
• Estudios de Ablación: Análisis de la estabilidad de la clasificación variando los pesos y comparando la puntuación integrada contra clasificaciones de un solo criterio (solo saliencia, solo oclusión, etc.).

Resultados Clave

• Éxito de la Optimización: Las 80 ejecuciones se completaron con éxito con una tasa de éxito del 100%. La puntuación objetivo media final en todas las ejecuciones fue de 0.8903 (DE 0.0499), con una mejor puntuación de 0.9805. La ganancia de puntuación media fue de 0.7653.
• Análisis de Segmentos: En el umbral de fragmento aislado estricto (0.95), no se detectaron fragmentos exactos de 0.25 s. Sin embargo, cada mejor ejecución identificó fragmentos similares de apoyo. Esto sugiere que, para el modelo base probado, las respuestas de la clase objetivo son impulsadas por evidencia temporal distribuida en lugar de un único segmento aislado.
• Estabilidad de la Clasificación: La clasificación integrada mostró un alto solapamiento con las clasificaciones de un solo criterio (por ejemplo, un solapamiento de 0.925 con la clasificación de solo oclusión), pero el estudio de ablación confirmó que la puntuación integrada no es simplemente una reiteración de cualquier métrica individual. El análisis de sensibilidad de los pesos indicó que la clasificación permanece estable bajo perfiles de peso alternativos, aunque los pesos específicos son parámetros de implementación en lugar de constantes universales.
• Modos de Entrada: La inicialización por ruido produjo puntuaciones finales medias ligeramente superiores que la inicialización por silencio, aunque ambos modos alcanzaron un éxito del 100%.

Significancia y Reivindicaciones
El artículo posiciona a GRADV no como una nueva arquitectura de reconocimiento de voz o una herramienta de validación de ASR industrial, sino como un flujo de trabajo de análisis de señales para examinar los patrones de clase objetivo específicos de un modelo bajo condiciones controladas.

• Contribución a la Interpretabilidad: El trabajo proporciona un método estructurado para exportar "evidencia temporal" para las decisiones de KWS, distinguiendo entre fragmentos exactos del objetivo y señales de apoyo.
• Reproducibilidad: Al archivar el software (DOI de Zenodo: 10.5281/zenodo.2079419) y exportar resúmenes legibles por máquina, los autores abordan la dificultad de reproducir experimentos de interpretabilidad.
• Limitaciones del Alcance: Los autores declaran explícitamente que los resultados están limitados al modelo y vocabulario probados. Las señales generadas son patrones específicos del modelo, no locuciones naturales o plantillas acústicas universales. El sistema actualmente maneja audio mono y no soporta arreglos de micrófonos multicanal, formación de haces (beamforming) o filtrado espacial.

En conclusión, GRADV ofrece un procedimiento reproducible para descubrir y analizar los patrones de la forma de onda que impulsan los modelos de detección de palabras clave, proporcionando una visión transparente de cómo las ventanas temporales específicas contribuyen a las respuestas del modelo.