ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Technisches Resümee: Team of Specialists (ToS) Ensemble-Framework für 3D SELD

Problemdefinition
Die Arbeit befasst sich mit der Lokalisierung und Detektion von Schallereignissen inklusive Distanzschätzung (3D SELD) in Videos. Diese multimodale Aufgabe erfordert die gleichzeitige Identifizierung aktiver Schallereignisse aus einem vordefinierten Set, die Verfolgung ihrer zeitlichen Aktivität sowie die Schätzung ihrer räumlichen Koordinaten (Einfallsrichtung – DOA, und Distanz). Die spezifische Herausforderung adressiert die DCASE2025 Task 3 Stereo SELD, welche frontales Perspektivvideo und Stereo-Audio verwendet. Dieses Setup ersetzt frühere Formate (FOA/MIC und 360°-Video), führt jedoch Einschränkungen ein, wie etwa eine Azimut-beschränkte DOA-Schätzung innerhalb von [-90°, 90°] und die Notwendigkeit, zwischen On-Screen- und Off-Screen-Aktivität zu unterscheiden. Die Kernschwierigkeit liegt in der Anforderung des gemeinsamen Schließens (Joint Reasoning) über drei verschiedene Dimensionen hinweg: räumliche Hinweise für die Lokalisierung, zeitliche Muster für die Aktivitätsverfolgung und semantisches Verständnis für die Klassifizierung von Schallereignissen. Einzelne Modelle haben oft Schwierigkeiten, diese Dimensionen gleichzeitig effektiv zu integrieren.

Methodik: Das Team of Specialists (ToS)
Die Autoren schlagen das Team of Specialists (ToS) vor, ein Ensemble-Framework, das darauf ausgelegt ist, die multidimensionale Komplexität durch die Zerlegung der Aufgabe in drei komplementäre Sub-Netzwerke zu bewältigen. Jedes Sub-Netzwerk ist ein spezialisiertes audio-visuelles Modell, das auf dieselbe 3D SELD-Aufgabe trainiert, aber darauf optimiert wurde, sich auf ein spezifisches Paar von Dimensionen zu konzentrieren.

1. Architektonische Grundlage:

   • Visueller Zweig: Im Gegensatz zu früheren Arbeiten, die ResNet50 mit Global Average Pooling verwendeten (was die räumliche Auflösung verschlechtert), setzt ToS auf OWL-ViT, einen sprachgestützten visuellen Encoder. OWL-ViT erzeugt ein feinkörniges Grid aus visuellen Embeddings.
   • Audio-Zweig: Die Modelle nutzen Log-Mel-Spektrogramme und räumliche Merkmale. Für Stereo-Audio ist das primäre räumliche Merkmal der Inter-Channel Level Difference (ILD), der aus den Kurzzeit-Fourier-Transformationen (STFTs) der linken und rechten Kanäle berechnet wird.
   • Fusionsmechanismus: Die Modelle verwenden einen Cross-Modal Conformer (CMC), um Embeddings aus verschiedenen Modalitäten zu fusionieren, wobei die Standard-Conformer-Architektur für die Cross-Attention zwischen generischen Modalitäten angepasst wurde.

2. Die drei Spezialisten:

   • Spatio-Linguistic Specialist: Konzentriert sich auf die räumlichen und semantischen Dimensionen. Er integriert einen ResNet-Conformer SELD-Encoder mit CLAP (einem sprachgestützten Audio-Encoder) via CMC. Der visuelle Zweig nutzt OWL-ViT mit Temporal Average Pooling, um die räumliche und semantische Reichhaltigkeit zu bewahren. Dieses Modell priorisiert semantisches Verständnis und Lokalisierung.
   • Spatio-Temporal Specialist: Konzentriert sich auf die räumlichen und temporalen Dimensionen. Er lässt den CLAP-Encoder und den initialen CMC weg, um das semantische Schließen zu de-empathisieren. Der visuelle Zweig extrahiert OWL-ViT-Embeddings pro Frame und poolt über die Kanal-Dimension, um die räumliche Struktur über die Zeit zu bewahren. Der Audio-Zweig nutzt SELD-spezifische Merkmale (Spektrogramme und ILD), um Schallereignisse mit der DOA zu assoziieren.
   • Tempo-Linguistic Specialist: Konzentriert sich auf die temporalen und semantischen Dimensionen. Er spiegelt die Architektur des Spatio-Linguistic Specialists wider, lässt jedoch explizite räumliche Merkmale (ILD) aus dem SELD-Encoder-Input weg und verlässt sich stattdessen auf implizite Richtungsmerkmale in den Spektrogrammen. Der visuelle Zweig verarbeitet Frames unabhängig mittels OWL-ViT und mittelt die Embeddings über die räumliche Dimension, um eine zeitlich geordnete Sequenz semantischer Repräsentationen zu erhalten.

3. Ensemble-Strategie:
   Die endgültigen Vorhersagen werden über einen Mehrheitsentscheid (Majority Voting) generiert. Ein Schallereignis gilt für einen spezifischen Zeitrahmen nur dann als aktiv, wenn es von mindestens zwei Spezialisten detektiert wurde und deren DOA-Vorhersagen innerhalb einer Winkelschwelle von 20° liegen. Die endgültige DOA und Distanz werden als Mittelwert der Schätzungen der beitragenden Spezialisten berechnet. Für die On/Off-Screen-Aktivität reicht eine einzige positive Vorhersage eines beliebigen Spezialisten aus, um das Ereignis als On-Screen zu klassifizieren.

Wesentliche Beiträge

1. Framework-Vorschlag: Einführung des Team-of-Specialists (ToS)-Frameworks, das spezialisierte audio-visuelle Sub-Netzwerke integriert, um räumliches, temporales und linguistisches Wissen in ein einheitliches Verständnisssystem zu kombinieren.
2. Benchmarking: Evaluierung sowohl der einzelnen Spezialisten als auch des vollständigen ToS-Ensembles auf dem DCASE2025 Task 3 Stereo SELD Development Set unter Verwendung von Stereo-Audio und frontalem Video.
3. Leistungsnachweis: Empirische Belege, die signifikante Leistungssteigerungen gegenüber State-of-the-Art (SOTA)-Methoden und Referenz-Baselines zeigen.

Experimentelle Ergebnisse
Das Framework wurde auf dem DCASE2025 Task 3 Development Set (30.000 Clips) unter Verwendung von Metriken wie F1-Score ($F_{\le20^\circ/1}$), On/Off-Screen F1 ($F_{\le20^\circ/1/on}$), Direction of Arrival Error (DOAE), Relative Distance Error (RDE) und On/Off Accuracy evaluiert.

• Einzelleistung: Der Spatio-Linguistic Specialist kristallisierte sich als das leistungsstärkste Einzelmodell heraus (F1: 36,9 %), was darauf hindeutet, dass semantisches Verständnis und räumliche Lokalisierung die kritischsten Dimensionen für diese Aufgabe sind. Die Spatio-Temporal- und Tempo-Linguistic-Spezialisten zeigten in spezifischen Metriken eine etwas geringere Leistung, was ihren reduzierten Fokus auf die dritte Dimension widerspiegelt.
• Ensemble-Leistung: Das vollständige ToS-Ensemble erreichte einen F1-Score von 40,2 % und einen On/Off-Screen F1 von 30,7 %. Dies entspricht einer Steigerung um 3,3 Punkte (12 % relativer Zuwachs) gegenüber dem besten einzelnen Spezialisten.
• Vergleich mit SOTA: ToS übertraf bestehende audio-visuelle Modelle, einschließlich AV-Conf, MVANet und der vorherigen Arbeit der Autoren (Berghi [10]). Insbesondere erreichte ToS einen F1-Score, der fast 5 Prozentpunkte höher liegt als der bisher beste Wert (Berghi [10]), sowie den niedrigsten DOAE (16,7°).
• Trade-offs: Die Autoren merken an, dass diese Leistungssteigerung mit einem erhöhten Rechenaufwand aufgrund der Aggregation von drei unabhängigen Modellen einhergeht.

Bedeutung und Ansprüche
Das Paper behauptet, dass das ToS-Framework die Herausforderung des gemeinsamen Schließens über semantische, räumliche und temporale Dimensionen effektiv adressiert, indem es einen modularen, Ensemble-basierten Ansatz nutzt, anstatt eine einzelne Architektur zu überlasten. Die Ergebnisse zeigen, dass spezialisierte Netzwerke, wenn sie kombiniert werden, robustere und genauere SELD-Vorhersagen liefern können als monolithische Modelle.

Die Autoren vertreten eine bescheidene Haltung bezüglich zukünftiger Arbeiten und merken an, dass die aktuellen Ergebnisse als Proof-of-Concept dienen. Sie schlagen vor, dass zukünftige Verbesserungen durch die Stärkung der Spezialisten mit geeigneten Aufgaben, Trainings- und Pre-Training-Lehrplänen sowie durch die Untersuchung des Spezialisten-Pre-Trainings erzielt werden könnten, um deren Komplementarität voll auszuschöpfen. Die Arbeit wird durch die EPSRC-BBC Prosperity Partnership 'AI4ME' gefördert.