ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Resumo Técnico: Estrutura de Ensemble de Equipe de Especialistas (ToS) para 3D SELD

Definição do Problema
O artigo aborda a Localização e Detecção de Eventos Sonoros com estimativa de distância (3D SELD) em vídeo. Esta tarefa multimodal exige a identificação simultânea de eventos sonoros ativos de um conjunto predefinido, o rastreamento de sua atividade temporal e a estimativa de suas coordenadas espaciais (Direção de Chegada - DOA, e distância). O desafio específico abordado é o DCASE2025 Task 3 Stereo SELD, que utiliza vídeo de perspectiva frontal e áudio estéreo. Esta configuração substitui formatos anteriores (FOA/MIC e vídeo 360°) por formatos de mídia convencionais, mas introduz restrições, como a estimativa de DOA apenas em azimute dentro de [-90°, 90°] e a necessidade de prever atividade na tela (on-screen) versus fora da tela (off-screen). A dificuldade central reside na exigência de raciocínio conjunto através de três dimensões distintas: pistas espaciais para localização, padrões temporais para rastreamento de atividade e compreensão semântica para classificação de som. Modelos únicos frequentemente têm dificuldade em integrar essas dimensões simultaneamente de forma eficaz.

Metodologia: A Equipe de Especialistas (ToS)
Os autores propõem o Team of Specialists (ToS), uma estrutura de ensemble projetada para navegar pela complexidade multidimensional ao decompor a tarefa em três sub-redes complementares. Cada sub-rede é um modelo audiovisual especializado treinado para a mesma tarefa de 3D SELD, mas otimizado para focar em um par distinto de dimensões.

1. Fundação Arquitetônica:

   • Ramo Visual: Ao contrário de trabalhos anteriores que utilizam ResNet50 com global average pooling (que degrada a resolução espacial), o ToS emprega o OWL-ViT, um codificador visual alinhado à linguagem. O OWL-ViT produz uma grade fina de embeddings visuais.
   • Ramo de Áudio: Os modelos utilizam espectrogramas log-mel e características espaciais. Para áudio estéreo, a principal característica espacial é a Diferença de Nível Inter-Canal (ILD), calculada a partir das transformadas de Fourier de tempo curto (STFT) dos canais esquerdo e direito.
   • Mecanismo de Fusão: Os modelos utilizam um Cross-Modal Conformer (CMC) para fundir embeddings de diferentes modalidades, adaptando a arquitetura padrão do Conformer para atenção cruzada entre modalidades genéricas.

2. Os Três Especialistas:

   • Especialista Espácio-Linguístico: Foca nas dimensões espacial e semântica. Ele integra um codificador SELD ResNet-Conformer com CLAP (um codificador de áudio alinhado à linguagem) via um CMC. O ramo visual utiliza o OWL-ViT com temporal average pooling para preservar a riqueza espacial e semântica. Este modelo prioriza a compreensão semântica e a localização.
   • Especialista Espácio-Temporal: Foca nas dimensões espacial e temporal. Ele omite o codificador CLAP e o CMC inicial para desestimular o raciocínio semântico. O ramo visual extrai embeddings do OWL-ViT por quadro e realiza o pooling através da dimensão de canal para preservar a estrutura espacial ao longo do tempo. O ramo de áudio utiliza características específicas de SELD (espectrogramas e ILD) para associar eventos sonoros ao DOA.
   • Especialista Tempo-Linguístico: Foca nas dimensões temporal e semântica. Ele espelha a arquitetura Espácio-Linguística, mas omite características espaciais explícitas (ILD) da entrada do codificador SELD, baseando-se, em vez disso, em pistas direcionais implícitas nos espectrogramas. O ramo visual processa quadros independentemente com o OWL-ViT, realizando a média dos embeddings ao longo da dimensão espacial para gerar uma sequência temporalmente ordenada de representações semânticas.

3. Estratégia de Ensemble:
   As predições finais são geradas via um mecanismo de votação majoritária. Um evento sonoro é considerado ativo em um quadro temporal específico apenas se detectado por pelo menos dois especialistas, e suas predições de DOA devem cair dentro de um limiar angular de 20°. O DOA e a distância finais são computados como a média das estimativas dos especialistas contribuintes. Para atividade na tela/fora da tela (on/off-screen), uma única predição positiva de qualquer especialista é suficiente para classificar o evento como na tela.

Principais Contribuições

1. Proposta de Estrutura: Introdução da estrutura Team-of-Specialists (ToS), que integra sub-redes audiovisuais especializadas para combinar conhecimento espacial, temporal e linguístico em um sistema de compreensão unificado.
2. Benchmarking: Avaliação de ambos os especialistas individuais e do ensemble completo ToS no conjunto de desenvolvimento DCASE2025 Task 3 Stereo SELD usando áudio estéreo e vídeo frontal.
3. Demonstração de Desempenho: Evidência empírica mostrando ganhos significativos sobre métodos de estado da arte (SOTA) e baselines de referência.

Resultados Experimentais
A estrutura foi avaliada no conjunto de desenvolvimento DCASE2025 Task 3 (30.000 clipes) utilizando métricas incluindo F1 score ($F_{\le20^\circ/1}$), F1 de on/off-screen ($F_{\le20^\circ/1/on}$), Erro de Direção de Chegada (DOAE), Erro de Distância Relativa (RDE) e Precisão de On/Off.

• Desempenho Individual: O Especialista Espácio-Linguístico emergiu como o modelo individual de melhor desempenho (F1: 36,9%), sugerindo que a compreensão semântica e a localização espacial são as dimensões mais críticas para esta tarefa. Os especialistas Espácio-Temporal e Tempo-Linguístico mostraram um desempenho ligeiramente inferior em métricas específicas, refletindo seu foco reduzido na terceira dimensão.
• Desempenho do Ensemble: O ensemble completo ToS alcançou um F1 score de 40,2% e um F1 de on/off-screen de 30,7%. Isso representa um ganho de 3,3 pontos (aumento relativo de 12%) sobre o melhor especialista individual.
• Comparação com SOTA: O ToS superou modelos audiovisuais existentes, incluindo AV-Conf, MVANet e o trabalho anterior dos autores (Berghi [10]). Especificamente, o ToS alcançou um F1 score quase 5 pontos percentuais superior ao melhor anterior (Berghi [10]) e o menor DOAE (16,7°).
• Compromissos (Trade-offs): Os autores observam que este aumento de desempenho vem acompanhado de um maior custo computacional devido à agregação de três modelos independentes.

Significância e Alegações
O artigo afirma que a estrutura ToS aborda efetivamente o desafio do raciocínio conjunto através das dimensões semântica, espacial e temporal ao utilizar uma abordagem modular baseada em ensemble, em vez de sobrecarregar uma única arquitetura. Os resultados demonstram que redes especializadas, quando combinadas, podem gerar predições de SELD mais robustas e precisas do que modelos monolíticos.

Os autores mantêm uma postura modesta em relação ao trabalho futuro, observando que os resultados atuais servem como uma prova de conceito. Eles sugerem que melhorias futuras poderiam ser alcançadas fortalecendo os especialistas com tarefas, treinamentos e currículos de pré-treinamento apropriados, e investigando o pré-treinamento de especialistas para explorar totalmente sua complementaridade. O trabalho é financiado pela parceria EPSRC-BBC Prosperity Partnership 'AI4ME'.