ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Sintesi Tecnica: Framework di Ensemble Team of Specialists (ToS) per il 3D SELD

Definizione del Problema
Il documento affronta la localizzazione e il rilevamento di eventi sonori con stima della distanza (3D SELD) nel video. Questo compito multimodale richiede l'identificazione simultanea di eventi sonori attivi da un insieme predefinito, il tracciamento della loro attività temporale e la stima delle loro coordinate spaziali (Direzione di Arrivo - DOA, e distanza). La sfida specifica affrontata è il DCASE2025 Task 3 Stereo SELD, che utilizza video con prospettiva frontale e audio stereo. Questa configurazione sostituisce i formati precedenti (FOA/MIC e video a 360°) con formati multimediali mainstream, ma introduce vincoli, come la stima della DOA solo sull'azimut nell'intervallo [-90°, 90°] e la necessità di predire l'attività on-screen (a schermo) rispetto a quella off-screen (fuori schermo). La difficoltà principale risiede nel requisito di un ragionamento congiunto attraverso tre dimensioni distinte: indizi spaziali per la localizzazione, pattern temporali per il tracciamento dell'attività e comprensione semantica per la classificazione del suono. I modelli singoli spesso faticano a integrare efficacemente queste dimensioni simultaneamente.

Metodologia: Il Team of Specialists (ToS)
Gli autori propongono il Team of Specialists (ToS), un framework di ensemble progettato per navigare la complessità multidimensionale scomponendo il compito in tre sottoreti complementari. Ogni sottorete è un modello audio-visuale specializzato addestrato sullo stesso compito di 3D SELD, ma ottimizzato per concentrarsi su una coppia distinta di dimensioni.

1. Fondamenta Architetturali:

   • Ramo Visuale: A differenza dei lavori precedenti che utilizzano ResNet50 con global average pooling (che degrada la risoluzione spaziale), il ToS impiega OWL-ViT, un encoder visuale allineato al linguaggio. OWL-ViT produce una griglia fine di embedding visuali.
   • Ramo Audio: I modelli utilizzano spettrogrammi log-mel e feature spaziali. Per l'audio stereo, la principale feature spaziale è l'Inter-Channel Level Difference (ILD), calcolata dalle trasformate di Fourier a breve termine (STFT) dei canali sinistro e destro.
   • Meccanismo di Fusione: I modelli utilizzano un Cross-Modal Conformer (CMC) per fondere gli embedding di diverse modalità, adattando l'architettura standard del Conformer per l'attenzione incrociata tra modalità generiche.

2. I Tre Specialisti:

   • Specialista Spazio-Linguistico: Si concentra sulle dimensioni spaziali e semantiche. Integra un encoder SELD ResNet-Conformer con CLAP (un encoder audio allineato al linguaggio) tramite un CMC. Il ramo visuale utilizza OWL-ViT con temporal average pooling per preservare la ricchezza spaziale e semantica. Questo modello dà priorità alla comprensione semantica e alla localizzazione.
   • Specialista Spazio-Temporale: Si concentra sulle dimensioni spaziali e temporali. Omette l'encoder CLAP e il CMC iniziale per de-enfatizzare il ragionamento semantico. Il ramo visuale estrae gli embedding di OWL-ViT per ogni frame e aggrega attraverso la dimensione del canale per preservare la struttura spaziale nel tempo. Il ramo audio utilizza feature specifiche per il SELD (spettrogrammi e ILD) per associare gli eventi sonori alla DOA.
   • Specialista Tempo-Linguistico: Si concentra sulle dimensioni temporali e semantiche. Specchia l'architettura Spatio-Linguistica ma omette le esplicite feature spaziali (ILD) dall'input dell'encoder SELD, affidandosi invece a indizi direzionali impliciti negli spettrogrammi. Il ramo visuale elabora i frame indipendentemente con OWL-ViT, mediando gli embedding attraverso la dimensione spaziale per ottenere una sequenza ordinata temporalmente di rappresentazioni semantiche.

3. Strategia di Ensemble:
   Le predizioni finali sono generate tramite un meccanismo di voto a maggioranza. Un evento sonoro è considerato attivo in uno specifico frame temporale solo se rilevato da almeno due specialisti, e le loro predizioni di DOA devono rientrare in una soglia angolare di 20°. La DOA e la distanza finali sono calcolate come la media delle stime degli specialisti contribuenti. Per l'attività on/off-screen, una singola predizione positiva da parte di uno qualsiasi degli specialisti è sufficiente per classificare l'evento come on-screen.

Contributi Chiave

1. Proposta di Framework: Introduzione del framework Team-of-Specialists (ToS), che integra sottoreti audio-visuali specializzate per combinare la conoscenza spaziale, temporale e linguistica in un sistema di comprensione unificato.
2. Benchmarking: Valutazione sia dei singoli specialisti che del full ensemble ToS sul set di sviluppo DCASE2025 Task 3 Stereo SELD utilizzando audio stereo e video frontale.
3. Dimostrazione delle Prestazioni: Evidenza empirica che mostra guadagni significativi rispetto ai metodi state-of-the-art (SOTA) e ai baseline di riferimento.

Risultati Sperimentali
Il framework è stato valutato sul set di sviluppo DCASE2025 Task 3 (30.000 clip) utilizzando metriche tra cui F1 score ($F_{\le20^\circ/1}$), F1 on/off-screen ($F_{\le20^\circ/1/on}$), Direzione di Arrivo Error (DOAE), Relative Distance Error (RDE) e On/Off Accuracy.

• Prestazioni Individuali: Lo Specialista Spazio-Linguistico è emerso come il modello individuale con le migliori prestazioni (F1: 36,9%), suggerendo che la comprensione semantica e la localizzazione spaziale siano le dimensioni più critiche per questo compito. Gli specialisti Spatio-Temporale e Tempo-Linguistico hanno mostrato prestazioni leggermente inferiori in metriche specifiche, riflettendo il loro ridotto focus sulla terza dimensione.
• Prestazioni dell'Ensemble: Il full ensemble ToS ha raggiunto un F1 score del 40,2% e un on/off-screen F1 del 30,7%. Ciò rappresenta un guadagno di 3,3 punti (un aumento relativo del 12%) rispetto al miglior specialista individuale.
• Confronto con SOTA: ToS ha superato i modelli audio-visuali esistenti, inclusi AV-Conf, MVANet e il lavoro precedente degli autori (Berghi [10]). Nello specifico, ToS ha ottenuto un F1 score quasi 5 punti percentuale superiore al precedente migliore (Berghi [10]) e il DOAE più basso (16,7°).
• Compromessi: Gli autori notano che questo miglioramento delle prestazioni comporta un aumento del carico computazionale dovuto all'aggregazione di tre modelli indipendenti.

Significatività e Rivendicazioni
Il documento sostiene che il framework ToS affronta efficacemente la sfida del ragionamento congiunto attraverso le dimensioni semantica, spaziale e temporale, sfruttando un approccio modulare basato su ensemble piuttosto che sovraccaricare un'unica architettura. I risultati dimostrano che le reti specializzate, quando combinate, possono produrre predizioni SELD più robuste e accurate rispetto ai modelli monolitici.

Gli autori mantengono una posizione modesta riguardo al lavoro futuro, notando che i risultati attuali servono come prova di concetto. Suggeriscono che futuri miglioramenti potrebbero essere ottenuti rafforzando gli specialisti con task, addestramenti e curricula di pre-training appropriati, e investigando il pre-training degli specialisti per sfruttare appieno la loro complementarità. Il lavoro è finanziato dalla partnership EPSRC-BBC Prosperity 'AI4ME'.