Executable Boundary Contracts for Sound Event Traces

Resumo Técnico: Contratos de Limite Executáveis para Traços de Eventos Sonoros

Declaração do Problema
As atuais benchmarks de detecção de eventos sonoros (SED) tipicamente comprimem o comportamento de limites temporais em métricas escalares, como F1 a nível de quadro, F1 a nível de segmento ou F1 a nível de evento com colares de tolerância fixa. Embora esses números resumam a sobreposição, eles obscurecem a natureza específica dos erros de limite. Um detector pode alcançar uma pontuação alta de quadro ao identificar corretamente o interior de um evento, mas falhar no início, no fim ou na duração, alterando assim o "contrato de traço" oferecido a componentes a jusante (por exemplo, sistemas de recuperação, decodificadores neurais ou portas de fala). O artigo argumenta que um erro de limite não é meramente uma perda de sobreposição, mas uma mudança no traço operacional, ainda que as métricas padrão falhem em expor esses modos de falha distintos (por exemplo, liberação tardia versus início antecipado, vazamento de silêncio versus atividade espúria) de maneira interpretável e executável.

Metodologia
O artigo propõe um cálculo de contrato de limite executável específico de domínio, em vez de uma nova lógica temporal de propósito geral. A metodologia estrutura-se em torno de três componentes principais:

1. Linguagem de Contrato de Dois Sortes:

   • Sorte de Quadro: Um fragmento booleano limitado, incorporável na Lógica Temporal de Sinais (STL) após projeção em grade. Utiliza fórmulas analisadas com átomos (por exemplo, ref onset, pred active), negação, conjunção, implicação e modalidades limitadas (vizinhança $N_\epsilon$, futuro $F_\epsilon$, sempre $G_\epsilon$, até $U_\epsilon$). As fórmulas são avaliadas sobre uma grade de quadros fixa.
   • Sorte de Evento: Uma camada que opera sobre sequências ativas máximas (intervalos semi-abertos) e uma relação de correspondência declarada. Inclui cláusulas tipadas para duração, fragmentação e identidade de intervalo indexada por classe.
   • Avaliação Restrita a Obrigações: Para evitar a vacuidade da implicação (onde uma fórmula é trivialmente verdadeira porque o antecedente é raro), as pontuações são médias apenas sobre quadros ou intervalos onde uma "máscara de obrigação" específica está ativa (por exemplo, avaliar a precisão do início apenas nos quadros de início de referência).

2. O Protocolo de Monitoramento e Auditoria:

   • Um analisador e monitor determinísticos avaliam o vetor de contrato contra traços finitos.
   • O sistema emprega um correspondente de intervalo ganancioso (com opção de correspondência exata de cardinalidade máxima para auditoria) para emparelhar intervalos de referência e predição.
   • A saída é um vetor de guarda (uma lista finita de coordenadas) antes que qualquer média escalar seja computada. Este vetor separa o desempenho em categorias distintas: guarda de início, guarda de fim, atividade ausente, atividade espúria, proteção de silêncio, duração e fragmentação.
   • Calibração e Seleção: A base do contrato é selecionada em relação a um conjunto de calibração declarado e uma "ordem de risco" escrita (por exemplo, priorizando suporte perdido sobre distorção de duração). O contrato selecionado é o menor conjunto de coordenadas que separa casos de falha de maior risco daqueles de menor risco.

3. Configuração Experimental:

   • Benchmarks Controlados: 960 itens de treinamento e 420 itens de teste gerados a partir de segmentos do Mini LibriSpeech misturados com tons e explosões sintetizados, submetidos a perturbações controladas (ruído, reverberação, clipping, deriva de ganho, jitter).
   • Corpus Real: Paisagens sonoras reais do MAESTRO com rótulos fortes suaves crowdsourcados, avaliados sob o mesmo monitor.
   • Detectores: Seis detectores locais (baseados em limiar, regressão logística, CNNs temporais, CNNs dilatadas e um modelo aumentado consciente de contrato) e uma sonda de codificador congelado (wav2vec2, AST, HTS-AT, BEATs) avaliados com uma cabeça de limite comum.
   • Linha de Base Externa: A linha de base oficial do DCASE 2024 Task 4 é avaliada para fornecer uma referência de nível de desafio.

Principais Contribuições

1. Infraestrutura de Medição Executável: O artigo introduz uma linguagem de especificação finita onde políticas de limite são fórmulas analisadas e cláusulas de intervalo, não heurísticas implícitas. Isso permite que a benchmark reporte um "vetor de contrato" que torna obrigações específicas inspecionáveis.
2. Separação de Patologias de Traço: O quadro distingue explicitamente entre diferentes modos de falha (por exemplo, deslocamento de início versus deslocamento de fim, sangramento de silêncio versus atividade espúria) que são frequentemente colapsados em uma única pontuação escalar.
3. Reprodutibilidade e Auditabilidade: O artefato inclui um tokenizador, analisador, monitor e verificações Lean 4 para o núcleo de quadros finitos. Cada tabela é regenerada a partir de linhas de origem, e o sistema suporta varreduras de tolerância para mostrar como as conclusões mudam com o raio de limite.
4. Descobertas Empíricas sobre União versus Atividade Tipada: O estudo demonstra que altas pontuações de "atividade de união" (tratando todas as classes como uma) podem ocultar "falhas de limite tipadas" significativas (erros na identidade da classe ou limites de classe específicos), uma distinção revelada apenas pelo vetor de contrato.

Resultados

• Divergência de Métricas: Pontuações padrão (F1 de Quadro, F1 de Limite) e coordenadas de contrato frequentemente discordam. Por exemplo, um detector pode ter um F1 de Quadro alto, mas falhar na guarda de silêncio ou na guarda de duração, indicando que ele se sobrepõe ao evento, mas falha em respeitar o contrato de limite.
• Desempenho do Detector: O detector aumentado consciente de contrato (treinado com supervisão de borda e aumento) alcançou as maiores pontuações na maioria das coordenadas de guarda (Lógica: 0,802, F1 de Limite: 0,829) na benchmark controlada. No entanto, diferentes detectores lideraram em diferentes coordenadas (por exemplo, fluxo espectral liderou em início/fim, CNN dilatada em atividade ausente), provando que nenhum detector único é ótimo para todas as patologias de limite.
• Lacuna no Corpus Real: No MAESTRO Real, as pontuações de traço de união foram altas (Lógica: 0,917), mas as pontuações indexadas por classe foram significativamente mais baixas (Lógica: 0,542). A análise do mecanismo atribuiu isso à esparsidade de classe, desequilíbrio de suporte e suavidade de anotação, confirmando que métricas de união podem mascarar falhas tipadas.
• Sensibilidade à Tolerância: A varredura de tolerância revelou que alguns métodos parecem robustos apenas sob tolerâncias frouxas, enquanto outros mantêm o desempenho sob limites estritos. O vetor de contrato expõe essa dependência.
• Codificadores Congelados: Codificadores pré-treinados (por exemplo, wav2vec2, BEATs) mostraram capacidades variadas de preservar a estrutura de tempo quando congelados, com alguns falhando em manter a precisão de limite apesar de fortes evidências a nível de quadro.

Significância e Alegações
O artigo modestamente alega fornecer um estudo de medição baseado em contrato para traços de eventos sonoros, em vez de uma nova lógica temporal geral ou um ranking de detectores. Sua significância primária reside em:

• Mudança de Medição: Passar da agregação escalar para um vetor executável que separa início, fim, atividade ausente, atividade espúria, silêncio, duração e fragmentação.
• Transparência de Política: Tornar a política de limite (tolerância, regras de correspondência, máscaras de obrigação) explícita e parte do objeto de benchmark, em vez de uma etapa de pós-processamento implícita.
• Utilidade Diagnóstica: Fornecer uma explicação estruturada da falha do detector que permite que aplicações a jusante selecionem detectores com base em perfis de risco específicos (por exemplo, uma porta de fala priorizando atividade ausente versus um sistema de recuperação priorizando fragmentação).
• Reprodutibilidade: Garantir que cada resultado seja derivado de um pipeline determinístico e auditável, com código-fonte, analisador e verificações Lean disponíveis.

Os autores enfatizam que o "contrato" é relativo à tarefa; o conjunto específico de guardas é justificado por um conjunto de calibração declarado e ordem de risco, não por um teorema universal. O trabalho serve como base para tornar a avaliação de limites um processo verificável, reproduzível e interpretável.