Executable Boundary Contracts for Sound Event Traces

Sintesi Tecnica: Contratti di Bordo Esecutivi per Tracce di Eventi Sonori

Enunciato del Problema
I benchmark attuali per il rilevamento di eventi sonori (SED) comprimono tipicamente il comportamento temporale dei bordi in metriche scalari come F1 a livello di frame, F1 a livello di segmento o F1 a livello di evento con collari di tolleranza fissi. Sebbene questi numeri riassumano la sovrapposizione, oscurano la natura specifica degli errori di bordo. Un rilevatore può ottenere un alto punteggio a livello di frame identificando correttamente l'interno di un evento, pur fallendo all'inizio, alla fine o nella durata, alterando così il "contratto di traccia" offerto ai componenti a valle (ad esempio, sistemi di recupero, decoder neurali o gate vocali). L'articolo sostiene che un errore di bordo non è semplicemente una perdita di sovrapposizione, ma un cambiamento nella traccia operativa; tuttavia, le metriche standard non riescono a esporre queste modalità di fallimento distinte (ad esempio, rilascio tardivo rispetto a inizio anticipato, perdita di silenzio rispetto ad attività spuria) in modo interpretabile ed eseguibile.

Metodologia
L'articolo propone un calcolo di contratto di bordo eseguibile specifico per il dominio piuttosto che una nuova logica temporale a scopo generale. La metodologia è strutturata attorno a tre componenti fondamentali:

1. Linguaggio di Contratto a Due Sorti:

   • Sorto Frame: Un frammento booleano limitato incorporabile nella Logica Temporale dei Segnali (STL) dopo la proiezione su griglia. Utilizza formule analizzate con atomi (ad esempio, ref onset, pred active), negazione, congiunzione, implicazione e modalità limitate (vicinato $N_\epsilon$, futuro $F_\epsilon$, sempre $G_\epsilon$, fino a $U_\epsilon$). Le formule sono valutate su una griglia di frame fissa.
   • Sorto Evento: Un livello che opera su sequenze attive massimali (intervalli semi-aperti) e su una relazione di corrispondenza dichiarata. Include clausole tipizzate per durata, frammentazione e identità dell'intervallo indicizzata per classe.
   • Punteggio a Restrizione di Obbligo: Per evitare la vacuità dell'implicazione (dove una formula è trivialmente vera perché l'antecedente è raro), i punteggi sono mediati solo sui frame o sugli intervalli in cui è attiva una specifica "maschera di obbligo" (ad esempio, valutare l'accuratezza dell'inizio solo sui frame di inizio di riferimento).

2. Il Protocollo di Monitoraggio e Audit:

   • Un parser e un monitor deterministici valutano il vettore di contratto contro tracce finite.
   • Il sistema impiega un corrisponditore di intervalli greedy (con un'opzione per la corrispondenza esatta di massima cardinalità per l'audit) per accoppiare gli intervalli di riferimento e di previsione.
   • L'output è un vettore di guardia (un elenco finito di coordinate) prima che venga calcolato qualsiasi media scalare. Questo vettore separa le prestazioni in categorie distinte: guardia di inizio, guardia di fine, attività mancante, attività spuria, protezione del silenzio, durata e frammentazione.
   • Calibrazione e Selezione: La base del contratto è selezionata rispetto a un insieme di calibrazione dichiarato e a un "ordine di rischio" scritto (ad esempio, dando priorità all'omissione di supporto rispetto alla distorsione della durata). Il contratto selezionato è l'insieme più piccolo di coordinate che separa i casi di fallimento ad alto rischio da quelli a basso rischio.

3. Configurazione Sperimentale:

   • Benchmark Controllati: 960 elementi di addestramento e 420 di test generati da segmenti di Mini LibriSpeech miscelati con toni sintetizzati e impulsi, sottoposti a perturbazioni controllate (rumore, riverberazione, clipping, deriva del guadagno, jitter).
   • Corpus Reale: Paesaggi sonori reali MAESTRO con etichette forti e deboli crowdsourcate, valutati con lo stesso monitor.
   • Rilevatori: Sei rilevatori locali (basati su soglia, regressione logistica, CNN temporali, CNN dilatate e un modello aumentato consapevole del contratto) e un probe di encoder congelato (wav2vec2, AST, HTS-AT, BEATs) valutati con un comune capo di bordo.
   • Baseline Esterna: La baseline ufficiale DCASE 2024 Task 4 è valutata per fornire un riferimento a livello di sfida.

Contributi Chiave

1. Infrastruttura di Misurazione Esecutiva: L'articolo introduce un linguaggio di specifica finito in cui le politiche di bordo sono formule analizzate e clausole di intervallo, non euristiche implicite. Ciò consente al benchmark di riportare un "vettore di contratto" che rende ispezionabili obblighi specifici.
2. Separazione delle Patologie di Traccia: Il framework distingue esplicitamente tra diverse modalità di fallimento (ad esempio, spostamento dell'inizio rispetto a spostamento della fine, perdita di silenzio rispetto ad attività spuria) che sono spesso collassate in un singolo punteggio scalare.
3. Riproducibilità e Auditabilità: L'artefatto include un tokenizzatore, un parser, un monitor e controlli Lean 4 per il nucleo dei frame finiti. Ogni tabella è rigenerata dalle righe sorgente e il sistema supporta scansioni di tolleranza per mostrare come le conclusioni cambiano con il raggio di bordo.
4. Risultati Empirici su Attività Unita vs. Attività Tipizzata: Lo studio dimostra che alti punteggi di "attività unita" (trattando tutte le classi come una) possono nascondere significativi "fallimenti di bordo tipizzati" (errori nell'identità della classe o nei bordi specifici della classe), una distinzione rivelata solo dal vettore di contratto.

Risultati

• Divergenza delle Metriche: I punteggi standard (F1 Frame, F1 Bordo) e le coordinate del contratto spesso non concordano. Ad esempio, un rilevatore potrebbe avere un alto F1 Frame ma fallire la guardia del silenzio o la guardia della durata, indicando che sovrappone l'evento ma non rispetta il contratto di bordo.
• Prestazioni dei Rilevatori: Il rilevatore aumentato consapevole del contratto (addestrato con supervisione ai bordi e aumento dei dati) ha ottenuto i punteggi più alti sulla maggior parte delle coordinate di guardia (Logica: 0,802, F1 Bordo: 0,829) sul benchmark controllato. Tuttavia, diversi rilevatori hanno eccelso su coordinate diverse (ad esempio, il flusso spettrale ha prevalso su inizio/fine, la CNN dilatata sull'attività mancante), dimostrando che nessun singolo rilevatore è ottimale per tutte le patologie di bordo.
• Divario del Corpus Reale: Su MAESTRO Real, i punteggi della traccia unita erano alti (Logica: 0,917), ma i punteggi indicizzati per classe erano significativamente più bassi (Logica: 0,542). L'analisi del meccanismo ha attribuito ciò alla sparsità delle classi, allo squilibrio di supporto e alla morbidezza delle annotazioni, confermando che le metriche unite possono mascherare fallimenti tipizzati.
• Sensibilità alla Tolleranza: La scansione di tolleranza ha rivelato che alcuni metodi appaiono robusti solo sotto tolleranze lasche, mentre altri mantengono le prestazioni sotto confini stretti. Il vettore di contratto espone questa dipendenza.
• Encoder Congelati: Gli encoder preaddestrati (ad esempio, wav2vec2, BEATs) hanno mostrato capacità variabili nel preservare la struttura temporale quando congelati, con alcuni che non sono riusciti a mantenere la precisione dei bordi nonostante prove elevate a livello di frame.

Significato e Affermazioni
L'articolo rivendica modestamente di fornire uno studio di misurazione basato su contratti per le tracce di eventi sonori piuttosto che una nuova logica temporale generale o una classifica di rilevatori. Il suo significato principale risiede in:

• Cambiamento di Misurazione: Passare dall'aggregazione scalare a un vettore eseguibile che separa inizio, fine, attività mancante, attività spuria, silenzio, durata e frammentazione.
• Trasparenza della Politica: Rendere la politica di bordo (tolleranza, regole di corrispondenza, maschere di obbligo) esplicita e parte dell'oggetto del benchmark, piuttosto che un passo di post-elaborazione implicito.
• Utilità Diagnostica: Fornire una spiegazione strutturata del fallimento del rilevatore che consente alle applicazioni a valle di selezionare i rilevatori in base a profili di rischio specifici (ad esempio, un gate vocale che dà priorità all'attività mancante rispetto a un sistema di recupero che dà priorità alla frammentazione).
• Riproducibilità: Garantire che ogni risultato sia derivato da una pipeline deterministica e auditabile con codice sorgente, parser e controlli Lean disponibili.

Gli autori sottolineano che il "contratto" è relativo al compito; il set specifico di guardie è giustificato da un insieme di calibrazione dichiarato e un ordine di rischio, non da un teorema universale. Il lavoro serve come fondamento per rendere la valutazione dei bordi un processo verificabile, riproducibile e interpretabile.