ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Résumé Technique : Cadre d'Ensemble « Team of Specialists » (ToS) pour la 3D SELD

Définition du Problème
Le document traite de la localisation et de la détection d'événements sonores avec estimation de la distance (3D SELD) dans la vidéo. Cette tâche multimodale nécessite l'identification simultanée d'événements sonores actifs à partir d'un ensemble prédéfini, le suivi de leur activité temporelle et l'estimation de leurs coordonnées spatiales (direction d'arrivée - DOA, et distance). Le défi spécifique abordé est la tâche DCASE2025 Task 3 Stereo SELD, qui utilise une vidéo en perspective frontale et un son stéréo. Cette configuration remplace les formats précédents (FOA/MIC et vidéo à 360°) par des formats de médias courants, mais introduit des contraintes, telles qu'une estimation de la DOA uniquement en azimut dans l'intervalle [-90°, 90°] et la nécessité de prédire l'activité à l'écran ou hors écran. La difficulté fondamentale réside dans l'exigence d'un raisonnement conjoint sur trois dimensions distinctes : les indices spatiaux pour la localisation, les motifs temporels pour le suivi de l'activité et la compréhension sémantique pour la classification sonore. Les modèles uniques peinent souvent à intégrer efficacement ces trois dimensions simultanément.

Méthodologie : L'Équipe de Spécialistes (ToS)
Les auteurs proposent le Team of Specialists (ToS), un cadre d'ensemble conçu pour naviguer dans la complexité multidimensionnelle en décomposant la tâche en trois sous-réseaux complémentaires. Chaque sous-réseau est un modèle audio-visuel spécialisé, entraîné sur la même tâche de 3D SELD, mais optimisé pour se concentrer sur une paire de dimensions distinctes.

1. Fondation Architecturale :

   • Branche Visuelle : Contrairement aux travaux antérieurs utilisant ResNet50 avec un pooling moyen global (qui dégrade la résolution spatiale), le ToS emploie OWL-ViT, un encodeur visuel aligné sur le langage. OWL-ViT produit une grille fine de plongements (embeddings) visuels.
   • Branche Audio : Les modèles utilisent des spectrogrammes log-mel et des caractéristiques spatiales. Pour l'audio stéréo, la principale caractéristique spatiale est la différence de niveau inter-canaux (ILD), calculée à partir des transformées de Fourier à court terme (STFT) des canaux gauche et droit.
   • Mécanisme de Fusion : Les modèles utilisent un Cross-Modal Conformer (CMC) pour fusionner les plongements de différentes modalités, adaptant l'architecture Conformer standard pour l'attention croisée entre modalités génériques.

2. Les Trois Spécialistes :

   • Spécialiste Spatio-Linguistique : Se concentre sur les dimensions spatiale et sémantique. Il intègre un encodeur SELD ResNet-Conformer avec CLAP (un encodeur audio aligné sur le langage) via un CMC. La branche visuelle utilise OWL-ViT avec un pooling moyen temporel pour préserver la richesse spatiale et sémantique. Ce modèle donne la priorité à la compréhension sémantique et à la localisation.
   • Spécialiste Spatio-Temporel : Se concentre sur les dimensions spatiale et temporelle. Il omet l'encodeur CLAP et le CMC initial pour désaccentuer le raisonnement sémantique. La branche visuelle extrait les plongements OWL-ViT par image et effectue un pooling à travers la dimension des canaux pour préserver la structure spatiale au fil du temps. La branche audio utilise des caractéristiques spécifiques à la SELD (spectrogrammes et ILD) pour associer les événements sonores à la DOA.
   • Spécialiste Tempo-Linguistique : Se concentre sur les dimensions temporelle et sémantique. Il calque l'architecture du spécialiste spatio-linguistique mais omet les caractéristiques spatiales explicites (ILD) de l'entrée de l'encodeur SELD, s'appuyant plutôt sur les indices directionnels implicites dans les spectrogrammes. La branche visuelle traite les images de manière indépendante avec OWL-ViT, en moyennant les plongements sur la dimension spatiale pour obtenir une séquence ordonnée temporellement de représentations sémantiques.

3. Stratégie d'Ensemble :
   Les prédictions finales sont générées via un mécanisme de vote majoritaire. Un événement sonore est considéré comme actif à un instant donné seulement s'il est détecté par au moins deux spécialistes, et si leurs prédictions de DOA tombent dans un seuil angulaire de 20°. La DOA et la distance finales sont calculées comme la moyenne des estimations des spécialistes contributeurs. Pour l'activité on/off-screen, une seule prédiction positive de n'importe quel spécialiste suffit pour classer l'événement comme étant à l'écran.

Principales Contributions

1. Proposition de Cadre : Introduction du cadre Team-of-Specialists (ToS), qui intègre des sous-réseaux audio-visuels spécialisés pour combiner les connaissances spatiales, temporelles et linguistiques dans un système de compréhension unifié.
2. Évaluation de Référence (Benchmarking) : Évaluation des spécialistes individuels et de l'ensemble complet ToS sur l'ensemble de développement DCASE2025 Task 3 Stereo SELD utilisant l'audio stéréo et la vidéo frontale.
3. Démonstration de Performance : Preuve empirique montrant des gains de performance significatifs par rapport aux méthodes de l'état de l'art (SOTA) et aux lignes de base de référence.

Résultats Expérimentaux
Le cadre a été évalué sur l'ensemble de développement DCASE2025 Task 3 (30 000 clips) en utilisant des métriques incluant le score F1 ($F_{\le20^\circ/1}$), le F1 on/off-screen ($F_{\le20^\circ/1/on}$), l'erreur de direction d'arrivée (DOAE), l'erreur de distance relative (RDE) et la précision On/Off.

• Performance Individuelle : Le Spécialiste Spatio-Linguistique est apparu comme le modèle individuel le plus performant (F1 : 36,9 %), suggérant que la compréhension sémantique et la localisation spatiale sont les dimensions les plus critiques pour cette tâche. Les spécialistes spatio-temporels et tempo-linguistiques ont montré des performances légèrement inférieures sur certaines métriques spécifiques, reflétant leur focalisation réduite sur la troisième dimension.
• Performance de l'Ensemble : L'ensemble complet ToS a atteint un score F1 de 40,2 % et un F1 on/off-screen de 30,7 %. Cela représente un gain de 3,3 points (augmentation relative de 12 %) par rapport au meilleur spécialiste individuel.
• Comparaison avec le SOTA : Le ToS a surpassé les modèles audio-visuels existants, notamment AV-Conf, MVANet et le travail précédent des auteurs (Berghi [10]). Plus précisément, le ToS a obtenu un score F1 supérieur de près de 5 points de pourcentage par rapport au précédent meilleur (Berghi [10]) et la plus faible DOAE (16,7°).
• Compromis : Les auteurs notent que cette amélioration de performance s'accompagne d'une charge de calcul accrue en raison de l'agrégation de trois modèles indépendants.

Signification et Revendications
L'article affirme que le cadre ToS répond efficacement au défi du raisonnement conjoint à travers les dimensions sémantiques, spatiales et temporelles en exploitant une approche modulaire basée sur l'ensemble plutôt qu'en surchargeant une architecture unique. Les résultats démontrent que des réseaux spécialisés, lorsqu'ils sont combinés, peuvent produire des prédictions SELD plus robustes et précises que des modèles monolithiques.

Les auteurs adoptent une position modeste concernant les travaux futurs, notant que les résultats actuels servent de preuve de concept. Ils suggèrent que des améliorations futures pourraient être obtenues en renforçant les spécialistes avec des tâches, des entraînements et des cursus de pré-entraînement appropriés, et en étudiant le pré-entraînement des spécialistes pour exploiter pleinement leur complémentarité. Ce travail est financé par le partenariat EPSRC-BBC Prosperity Partnership 'AI4ME'.