Interpretable Audio Pattern Discovery in Keyword-Spotting Models via Waveform Optimization and Segment-Level Analysis

Resumo Técnico: Descoberta de Padrões de Áudio Interpretáveis em Modelos de Detecção de Palavras-Chave via Otimização de Forma de Onda e Análise de Segmento

Definição do Problema
Modelos de detecção de palavras-chave (KWS - Keyword-spotting) geralmente produzem um rótulo de classe e uma pontuação para a classe alvo, mas falham em revelar quais regiões temporais específicas da forma de onda de entrada sustentam essa decisão. Essa falta de transparência complica a depuração, a comparação de modelos e a verificação das respostas do modelo. Embora pontuações altas indiquem uma classificação bem-sucedida, elas não distinguem se a decisão se baseia em um único intervalo curto, em padrões temporais distribuídos ou em artefatos introduzidos durante o pré-processamento. O artigo aborda a necessidade de um procedimento que conecte as pontuações de alvo a fragmentos temporais explícitos, indo além da simples predição de classe para identificar os padrões específicos de forma de onda que ativam um modelo.

Metodologia: O Pipeline GRADV
Os autores apresentam o GRADV, uma aplicação de pesquisa reprodutível baseada em Python, projetada para a descoberta de padrões de sinais de áudio de classe alvo. O fluxo de trabalho opera da seguinte forma:

1. Entrada e Pré-processamento: O sistema aceita entradas de áudio (arquivos carregados, silêncio ou ruído) e as padroniza para formas de onda mono de 16 kHz. Os sinais são divididos em janelas temporais sobrepostas (duração de 0,25 s, salto de 0,05 s).
2. Adaptação do Modelo: Uma camada adaptadora modular isola a análise de implementações específicas de modelos, suportando acesso ao vocabulário, recuperação de pontuação (probabilidades ou logits) e computação de gradiente.
3. Otimização de Forma de Onda Direcionada: O mecanismo central sintetiza ou modifica formas de onda para maximizar a pontuação de uma palavra alvo selecionada. Nos experimentos relatados, o gradiente ascendente com um objetivo de logit foi usado para otimizar a forma de onda.
4. Análise de Nível de Segmento: Uma vez gerada uma forma de onda otimizada, o sistema avalia as janelas temporais usando quatro critérios distintos:
   • Saliência ($S_i$): Sensibilidade local da pontuação de alvo em relação às amostras da forma de onda.
   • Oclusão ($O_i$): A diminuição na pontuação de alvo quando uma janela é mascarada.
   • Pontuação de Janela Isolada ($I_i$): A pontuação de alvo quando a janela é isolada do restante do sinal.
   • Magnitude de Mudança de Sinal ($D_i$): O grau de modificação aplicado ao segmento durante a otimização.
5. Classificação Integrada: Essas métricas são normalizadas e combinadas em uma pontuação de contribuição integrada ($C_i$) usando uma soma ponderada (Eq. 1):
   $$C_i = 0,35S_i + 0,25O_i + 0,15I_i + 0,25D_i$$
   Esta pontuação classifica os segmentos como "exatos" (atendendo a um limiar isolado estrito) ou "semelhantes/de suporte" (contribuindo para a resposta sem atender ao limiar estrito).
6. Reprodutibilidade e Exportação: O sistema exporta artefatos, incluindo arquivos WAV, tabelas CSV, resumos JSON e relatórios Markdown, garantindo que os resultados experimentais sejam rastreáveis e inspecionáveis sem a interface interativa.

Configuração Experimental
Os autores conduziram um experimento de verificação estendido usando um modelo de linha de base (baseline) de KWS em PyTorch com um vocabulário russo de oito palavras ("да", "нет", "стоп", "вперёд", "назад", "привет", "включи", "выключи"). O estudo envolveu:

• 80 execuções totais: 8 palavras alvo $\times$ 2 modos de entrada (a partir de ruído, a partir de silêncio) $\times$ 5 repetições por modo.
• Configuração: Otimização de gradiente ascendente com uma pontuação alvo de 0,85.
• Estudos de Ablação: Análise da estabilidade de classificação variando pesos e comparando a pontuação integrada contra classificações de critério único (apenas saliência, apenas oclusão, etc.).

Principais Resultados

• Sucesso da Otimização: Todas as 80 execuções foram concluídas com sucesso, com uma taxa de sucesso de 100%. A média da pontuação final do alvo em todas as execuções foi de 0,8903 (DP 0,0499), com um melhor valor de 0,9805. O ganho médio de pontuação foi de 0,7653.
• Análise de Segmento: No limiar de fragmento isolado estrito (0,95), nenhum fragmento exato de 0,25 s foi detectado. No entanto, cada melhor execução identificou fragmentos semelhantes de suporte. Isso sugere que, para o modelo de linha de base testado, as respostas da classe alvo são impulsionadas por evidências temporais distribuídas, em vez de um único segmento isolado.
• Estabilidade de Classificação: A classificação integrada mostrou alta sobreposição com as classificações de critério único (ex: 0,925 de sobreposição com apenas oclusão), mas o estudo de ablação confirmou que a pontuação integrada não é meramente uma reiteração de qualquer métrica individual. A análise de sensibilidade de peso indicou que a classificação permanece estável sob perfis de peso alternativos, embora os pesos específicos sejam parâmetros de implementação e não constantes universais.
• Modos de Entrada: A inicialização por ruído yielded pontuações finais médias ligeiramente superiores à inicialização por silêncio, embora ambos os modos tenham alcançado 100% de sucesso.

Significância e Alegações
O artigo posiciona o GRADV não como uma nova arquitetura de reconhecimento de fala ou uma ferramenta de validação de ASR industrial, mas como um fluxo de trabalho de análise de sinal para examinar padrões de classe alvo específicos de um modelo sob condições controladas.

• Contribuição para a Interpretabilidade: O trabalho fornece um método estruturado para exportar "evidência temporal" para decisões de KWS, distinguindo entre fragmentos exatos do alvo e sinais de suporte.
• Reprodutibilidade: Ao arquivar o software (Zenodo DOI: 10.5281/zenodo.2079419) e exportar resumos legíveis por máquina, os autores abordam a dificuldade de reproduzir experimentos de interpretabilidade.
• Limitações de Escopo: Os autores declaram explicitamente que os resultados são limitados ao modelo e vocabulário testados. Os sinais gerados são padrões específicos do modelo, não enunciados naturais ou modelos acústicos universais. O sistema atualmente lida com áudio mono e não suporta matrizes de microfones multicanais, beamforming ou filtragem espacial.

Em conclusão, o GRADV oferece um procedimento reprodutível para descobrir e analisar os padrões de forma de onda que impulsionam modelos de detecção de palavras-chave, fornecendo uma visão transparente de como janelas temporais específicas contribuem para as respostas do modelo.