ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Technische Samenvatting: Team of Specialists (ToS) Ensemble Framework voor 3D SELD

Probleemdefinitie
Het artikel behandelt Sound Event Localization and Detection met afstandschatting (3D SELD) in video. Deze multimodale taak vereist de gelijktijdige identificatie van actieve geluidsevenementen uit een vooraf gedefinieerde set, het volgen van hun temporele activiteit en het schatten van hun ruimtelijke coördinaten (Direction of Arrival - DOA, en afstand). De specifieke uitdaging die wordt geadresseerd is DCASE2025 Taak 3 Stereo SELD, die gebruikmaakt van video met frontaal perspectief en stereogeluid. Deze opstelling vervangt eerdere formaten (FOA/MIC en 360°-video) door mainstream mediaformaten, maar introduceert beperkingen, zoals azimuth-alleen DOA-schatting binnen [-90°, 90°] en de noodzaak om on-screen versus off-screen activiteit te voorspellen. De kern van de moeilijkheid ligt in de vereiste voor gezamenlijke redenering over drie verschillende dimensies: ruimtelijke aanwijzingen voor lokalisatie, temporele patronen voor activiteitsvolging en semantisch begrip voor geluidsclassificatie. Enkele modellen hebben vaak moeite om deze dimensies tegelijkertijd effectief te integreren.

Methodologie: De Team of Specialists (ToS)
De auteurs stellen de Team of Specialists (ToS) voor, een ensemble-framework dat is ontworpen om de multidimensionale complexiteit te navigeren door de taak te deconstrueren in drie complementaire sub-netwerken. Elk sub-netwerk is een gespecialiseerd audio-visueel model dat is getraind op dezelfde 3D SELD-taak, maar geoptimaliseerd om zich te concentreren op een afzonderlijk paar dimensies.

1. Architecturale Fundering:

   • Visuele tak: In tegen tegenstelling tot eerdere werken die ResNet50 met global average pooling gebruiken (wat de ruimtelijke resolutie degradeert), gebruikt ToS OWL-ViT, een taal-gealigneerde visuele encoder. OWL-ViT produceert een fijnmazig rooster van visuele embeddings.
   • Audio-tak: De modellen maken gebruik van log-mel spectrogrammen en ruimtelijke kenmerken. Voor stereo-audio is het primaire ruimtelijke kenmerk het Inter-Channel Level Difference (ILD), berekend vanuit de short-time Fourier transforms (STFTs) van de linker- en rechterkanalen.
   • Fusie-mechanisme: De modellen gebruiken een Cross-Modal Conformer (CMC) om embeddings van verschillende modaliteiten te fuseren, waarbij de standaard Conformer-architectuur wordt aangepast voor cross-attentie tussen generieke modaliteiten.

2. De Drie Specialisten:

   • Spatio-Linguïstische Specialist: Richt zich op de ruimtelijke en semantische dimensies. Het integreert een ResNet-Conformer SELD-encoder met CLAP (een taal-gealigneerde audio-encoder) via een CMC. De visuele tak gebruikt OWL-ViT met temporal average pooling om ruimtelijke en semantische rijkdom te behouden. Dit model geeft prioriteit aan semantisch begrip en lokalisatie.
   • Spatio-Temporele Specialist: Richt zich op de ruimtelijke en temporele dimensies. Het laat de CLAP-encoder en de initiële CMC weg om semantische redenering te de-emphaseren. De visuele tak extraheert OWL-ViT embeddings per frame en poolt over de kanaaldimensie om de ruimtelijke structuur over de tijd te behouden. De audio-tak gebruikt SELD-specifieke kenmerken (spectrogrammen en ILD) om geluidsevenementen te associëren met DOA.
   • Tempo-Linguïstische Specialist: Richt zich op de temporele en semantische dimensies. Het spiegelt de Spatio-Linguïstische architectuur, maar laat expliciete ruimtelijke kenmerken (ILD) uit de SELD-encoder input weg, waarbij het vertrouwt op impliciete directionele aanwijzingen in spectrogrammen. De visuele tak verwerkt frames onafhankelijk met OWL-ViT en middelt de embeddings over de ruimtelijke dimensie om een temporeel geordende sequentie van semantische representaties te verkrijgen.

3. Ensemble Strategie:
   De uiteindelijke voorspellingen worden gegenereerd via een majority voting mechanisme. Een geluidsevenement wordt als actief beschouwd in een specifiek tijdframe alleen als het door ten minste twee specialisten wordt gedetecteerd, en hun DOA-voorspellingen binnen een drempelwaarde van 20° vallen. De uiteindelijke DOA en afstand worden berekend als het gemiddelde van de schattingen van de bijdragende specialisten. Voor on/off-screen activiteit is een enkele positieve voorspelling van een enkele specialist voldoende om het evenement als on-screen te classificeren.

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van het Team-of-Specialists (ToS) framework, dat gespecialiseerde audio-visuele sub-netwerken integreert om ruimtelijke, temporele en linguïstische kennis te combineren in een verenigd begripssysteem.
2. Benchmarking: Evaluatie van zowel individuele specialisten als het volledige ToS ensemble op de DCASE2025 Taak 3 Stereo SELD development set met behulp van stereo audio en frontale video.
3. Prestatie Demonstratie: Empirisch bewijs dat significante prestatiewinsten oplevert ten opzichte van state-of-the-art (SOTA) methoden en referentie-baselines.

Experimentele Resultaten
Het framework werd geëvalueerd op de DCASE2025 Taak 3 development set (30.000 clips) met gebruik van metrieken waaronder F1-score ($F_{\le20^\circ/1}$), on/off-screen F1 ($F_{\le20^\circ/1/on}$), Direction of Arrival Error (DOAE), Relative Distance Error (RDE) en On/Off Accuracy.

• Individuele Prestaties: De Spatio-Linguïstische Specialist kwam naar voren als het best presterende individuele model (F1: 36,9%), wat suggereert dat semantisch begrip en ruimtelijke lokalisatie de meest kritieke dimensies zijn voor deze taak. De Spatio-Temporele en Tempo-Linguïstische specialisten vertoonden iets lagere prestaties in specifieke metrieken, wat hun verminderde focus op de derde dimensie weerspiegelt.
• Ensemble Prestaties: Het volledige ToS ensemble bereikte een F1-score van 40,2% en een on/off-screen F1 van 30,7%. Dit vertegenwoordigt een winst van 3,3 punten (12% relatieve toename) ten opzichte van de best presterende individuele specialist.
• Vergelijking met SOTA: ToS presteerde beter dan bestaande audio-visuele modellen, inclusief AV-Conf, MVANet en het eerdere werk van de auteurs (Berghi [10]). Specifiek behaalde ToS een F1-score die bijna 5 procentpunten hoger ligt dan de vorige beste (Berghi [10]) en de laagste DOAE (16,7°).
• Trade-offs: De auteurs merken op dat deze prestatieverbetering gepaard gaat met een verhoogde computationele overhead door de aggregatie van drie onafhankelijke modellen.

Betekenis en Claims
Het artikel claimt dat het ToS-framework effectief de uitdaging van gezamenlijke redenering over semantische, ruimtelijke en temporele dimensies aanpakt door een modulaire, ensemble-gebaseerde aanpak te gebruiken in plaats van een enkele architectuur te overbelasten. De resultaten laten zien dat gespecialiseerde netwerken, wanneer gecombineerd, meer robuuste en nauwkeurige SELD-voorspellingen kunnen opleveren dan monolithische modellen.

De auteurs hanteren een bescheiden houding met betrekking tot toekomstig werk, waarbij zij opmerken dat de huidige resultaten dienen als een proof of concept. Zij suggereren dat toekomstige verbeteringen kunnen worden bereikt door de specialisten te versterken met passende taken, training en pre-training curricula, en door het onderzoeken van specialist pre-training om hun complementariteit volledig uit te buiten. Het werk wordt gefinancierd door de EPSRC-BBC Prosperity Partnership 'AI4ME'.