⚡ electrical engineering

ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

본 논문은 비디오를 통한 거리 추정이 포함된 3D 음향 이벤트 위치 추적 및 탐지의 멀티모달 과제를 효과적으로 해결하기 위해 세 개의 상호 보완적인 하위 네트워크를 통합하는 Team of Specialists (ToS) 앙상블 프레임워크를 소개하며, 이를 통해 DCASE2025 Task 3 벤치마크에서 최첨단 성능을 달성하였습니다.

원저자: Davide Berghi, Philip J. B. Jackson

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Davide Berghi, Philip J. B. Jackson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 방 안에서 미스터리를 풀려고 한다고 상상해 보세요. 당신은 **무엇(what)**이 소리인지(개 짖는 소리인가?), 그 소리가 **어디(where)**에서 들려오는지(왼쪽, 오른쪽, 멀리, 혹은 가까이?), 그리고 언제(when) 발생하는지(짧게 짖는 것인가, 아니면 길게 울부짖는 것인가?)를 알아내야 합니다.

이 세 가지를 동시에 수행하는 것은 단일 컴퓨터 두뇌에게 매우 어려운 일입니다. 마치 한 사람에게 탐정, 지도 제작자, 그리고 시간 여행 전문가 역할을 동시에 맡기는 것과 같습니다. 그 사람은 과부하가 걸려 세부 사항을 놓칠 수도 있습니다.

이 논문은 **ToS (Team of Specialists, 전문가 팀)**라고 불리는 새로운 해결책을 소개합니다. 하나의 "슈퍼 브레인" 대신, 저자들은 각기 다른 초능력을 가진 세 가지 서로 다른 컴퓨터 모델을 구축하여 함께 미스터리를 풀도록 했습니다.

이 팀이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

세 명의 전문가

이 팀을 범죄 현장을 해결하기 위해 고용된 전문가 그룹이라고 생각해보세요. 각 전문가는 서로 다른 렌즈를 통해 증거를 관찰합니다.

"무엇과 어디" 전문가 (공간-언어 전문가):
- 초능력: 이 전문가는 소리의 의미(언어 학습 AI 사용)를 이해하고 위치를 파악하는 데 뛰어납니다.
- 비유: 이 전문가는 탐정이자 지도 제작자인 데텍티브를 상상해 보세요. 그들은 "저건 개가 짖는 소리입니다"라고 말함과 동시에 방의 구석을 즉시 가리킬 수 있습니다. 이들은 소리를 식별하고 그 위치를 찾아내는 데 매우 능숙하지만, 사건의 정확한 타이밍에 집중하는 능력은 다소 떨어질 수 있습니다 있습니다.
"어디와 언제" 전문가 (공간-시간 전문가):
- 초능력: 이 전문가는 위치와 시간에 집중합니다.
- 비유: 스톱워치와 레이저 포인터를 든 보안 요원을 생각해보세요. 이들은 소리가 어디로 이동하는지, 그리고 얼마나 오래 지속되는지를 추적하는 데 탁월하지만, 소리의 구체적인 "어휘"(예: 특정 종류의 새 울음소리와 다른 것을 구별하는 것)에는 크게 신경 쓰지 않을 수도 있습니다.
"무엇과 언제" 전문가 (템포-언어 전문가):
- 초능력: 이 전문가는 소리의 의미와 타이밍에 집중합니다.
- 비유: 이는 스톱워치를 든 음악 평론가와 같습니다. 그들은 어떤 악기가 연주되고 있는지, 그리고 언제 음이 찍히는지를 정확하게 말할 수 있지만, 악기가 방 안의 정확히 어느 정도 거리에 있는지는 파악하는 데 서툴 수 있습니다.

협업 방식 (앙상블)

개별적으로 각 전문가는 뛰어나지만, 모두에게는 사각지대가 있습니다. 마법은 그들이 정답에 대해 투표할 때 일어납니다.

규칙: 세 명의 전문가 중 적어도 두 명이 어떤 소리가 발생하고 있다고 동의하고, 그 소리가 대략 어디에 있는지에 대해서도 의견이 일치할 때, 팀은 이를 사실로 받아들입니다.
결과: 만약 "무엇과 어디" 전문가와 "무엇과 언제" 전문가가 모두 "네, 왼쪽에서 개가 짖고 있습니다"라고 말한다면, 팀은 매우 확신을 갖습니다. 만약 단 한 명의 전문가만이 그렇다고 말한다면, 팀은 오보를 피하기 위해 그 의견을 무시합니다.

그들의 투표를 결합함으로써, 팀은 단일 전문가가 혼자 만들어낼 수 있는 것보다 더 똑똑하고 정확한 최종 답안을 만들어냅니다. 이는 마치 배심원단이 다수의 의견이 일치할 때만 최종 판결을 내려 고품질의 결정을 보장하는 것과 같습니다.

테스트 주행

저자들은 이 "전문가 팀"을 DCASE 2025 Task 3라고 불리는 특정 과제를 통해 테스트했습니다. 이 과제는 스테레오 사운드(왼쪽, 오른쪽 스피커처럼 두 개의 채널)가 포함된 영상을 시청하고, 소리를 찾아내고, 위치를 파악하며, 거리를 추측하는 작업을 포함합니다.

경쟁: 그들은 이 팀을 모든 것을 한 번에 처리하려고 시도하는 현재의 "챔피언들"(기존의 가장 뛰어난 컴퓨터 모델들)과 비교했습니다.
결과: 전문가 팀이 승리했습니다. 그들은 소리를 식별하고, 위치를 정확히 짚어내며, 거리를 추정하는 데 있어 단일 모델 경쟁자들보다 더 뛰어난 성과를 보였습니다.
- 그들은 최선의 단일 모델과 비교했을 때 소리를 찾는 정확도를 약 12% 향art 개선했습니다.
- 또한 소리의 방향을 추측하는 데 있어 훨씬 더 뛰어난 성능을 보였습니다.

트레이드오프 (교환 조건)

논문은 한 가지 주의할 점을 언급합니다. 팀이 하나의 모델 대신 세 개의 모델을 사용하기 때문에, 실행하는 데 더 많은 컴퓨터 전력이 필요합니다. 이는 한 명의 탐사 대신 세 명의 탐정을 고용하는 것과 같아서, 비용이 더 많이 들고 더 많은 노력이 필요하지만, 결과적으로 훨씬 더 신뢰할 수 있는 솔루션을 제공합니다.

요약

이 논문은 이 기술이 질병을 치료하거나 날씨를 예측한다고 주장하는 것이 아닙니다. 이 논문은 영상 속에서 소리를 찾고 위치를 파악하는 특정 작업에 있어서, 전문가 팀을 고용하여 정답에 대해 투표하게 하는 것이 하나의 일반론적인 모델에 의존하는 것보다 더 낫다는 점을 주장합니다. 이 접근 방식은 테스트에서 기존의 최선책들을 지속적으로 앞질렀습니다.

기술 요약: 3D SELD를 위한 전문가 팀(ToS) 앙상블 프레임-워크

문제 정의
본 논문은 비디오에서의 거리 추정이 포함된 음향 이벤트 국지화 및 탐지(3D SELD) 문제를 다룹니다. 이 멀티모달 작업은 사전 정의된 집합으로부터 활성화된 음향 이벤트를 동시에 식별하고, 이들의 시간적 활동을 추적하며, 공간 좌표(도래각(DOA) 및 거리)를 추정하는 것을 요구합니다. 다루고자 하는 구체적인 과제는 DCASE2025 Task 3 Stereo SELD이며, 이는 정면 시점의 비디오와 스테레오 오디오를 활용합니다. 이 설정은 이전의 형식들(FOA/MIC 및 360° 비디오)을 대체하여 주류 미디어 형식을 사용하지만, [-90°, 90°] 범위 내의 방위각 전용 DOA 추정과 온스크린(on-screen) 대 오프스크린(off-screen) 활동 예측 필요성과 같은 제약 조건을 도입합니다. 핵심적인 어려움은 공간적 단서(localization), 시간적 패턴(activity tracking), 그리고 의미론적 이해(sound classification)라는 세 가지 뚜의 서로 다른 차원을 동시에 결합하여 추론해야 한다는 점에 있습니다. 단일 모델은 이러한 차원들을 동시에 효과적으로 통합하는 데 어려움을 겪는 경우가 많습니다.

방법론: 전문가 팀(The Team of Specialists, ToS)
저자들은 작업을 세 개의 상호 보완적인 서브 네트워크로 분해함으로써 다차원적 복잡성을 해결하도록 설계된 앙상블 프레임워크인 ToS를 제안합니다. 각 서브 네트워크는 동일한 3D SELD 작업에 대해 훈련되었지만, 서로 다른 두 차원의 쌍에 집중하도록 최적화된 특화된 오디오-비주얼 모델입니다.

아키텍처 기반:
- 비주얼 브랜치: 공간 해상도를 저하시키는 글로벌 평균 풀링을 사용하는 기존의 ResNet50과 달리, ToS는 언어 정렬형 비주얼 인코더인 OWL-ViT를 채택합니다. OWL-ViT는 미세한 그리드 형태의 비주얼 임베딩을 생성합니다.
- 오디오 브랜치: 모델은 로그 멜 스펙트로그램(log-mel spectrograms)과 공간적 특징을 활용합니다. 스테레오 오디오의 경우, 주요 공간 특징은 좌우 채널의 단시간 푸리에 변환(STFT)으로부터 계산된 채널 간 레벨 차이(ILD)입니다.
- 퓨전 메커니즘: 모델은 서로 다른 모달리티로부터의 임베딩을 융합하기 위해 **교차 모달 컨포머(Cross-Modal Conformer, CMC)**를 사용하며, 이는 일반적인 모달리티 간의 교차 주의(cross-attention)를 위해 표준 컨포머 아키텍처를 변형한 것입니다.
세 명의 전문가:
- 공간-언어 전문가(Spatio-Linguistic Specialist): 공간 및 의미론적 차원에 집중합니다. 이 모델은 ResNet-Conformer SELD 인코더를 CLAP(언어 정렬형 오디오 인코더)와 CMC를 통해 통합합니다. 비주얼 브랜치는 공간적 및 의미론적 풍부함을 보존하기 위해 시간적 평균 풀링을 적용한 OWL-ViT를 사용합니다. 이 모델은 의미론적 이해와 국지화에 우선순위를 둡니다.
- 공간-시간 전문가(Spatio-Temporal Specialist): 공간 및 시간적 차원에 집중합니다. 이 모델은 의미론적 추론을 약화시키기 위해 CLAP 인코더와 초기 CMC를 제외합니다. 비주얼 브랜치는 프레임당 OWL-ViT 임베딩을 추출하고 채널 차원 전체에 걸쳐 풀링하여 시간 경과에 따른 공간 구조를 보존합니다. 오디오 브랜치는 SELD 전용 특징(스펙트로그램 및 ILD)을 사용하여 음향 이벤트와 DOA를 연관시킵니다.
- 시간-언어 전문가(Tempo-Linguistic Specialist): 시간적 및 의미론적 차원에 집중합니다. 이 모델은 공간-언어 아키텍처를 따르되, SELD 인코더 입력에서 명시적인 공간 특징(ILD)을 제외하고 대신 스펙트로그램 내의 암시적인 방향성 단서에 의존합니다. 비주얼 브랜치는 OWL-ViT를 통해 프레임을 독립적으로 처리하며, 공간 차원 전체에서 임베딩을 평균화하여 시간적으로 정렬된 의미론적 표현을 생성합니다.
앙상블 전략:
최종 예측은 다수결 투표(majority voting) 메커니즘을 통해 생성됩니다. 특정 타임 프레임에서 음향 이벤트가 활성화된 것으로 간주되려면 최소 두 명의 전문가에 의해 탐지되어야 하며, 그들의 DOA 예측이 20° 각도 임계값 내에 있어야 합니다. 최종 DOA와 거리는 기여하는 전문가들의 추정치 평균으로 계산됩니다. 온/오프스크린 활동의 경우, 전문가 중 단 한 명의 양성 예측만으로도 해당 이벤트를 온스크린으로 분류하기에 충분합니다.

주요 기여

프레임워크 제안: 공간, 시간, 언어적 지식을 통합된 이해 시스템으로 결합하기 위해 특화된 오디오-비주얼 서브 네트워크를 통합하는 전문가 팀(ToS) 프레임워크를 도입했습니다.
벤치마킹: 스테레오 오디오와 정면 비디오를 사용하는 DCASE2025 Task 3 Stereo SELD 개발 세트에서 개별 전문가와 전체 ToS 앙상블을 모두 평가했습니다.
성능 입증: 최첨단(SOTA) 방법 및 참조 베이스라인 대비 유의미한 성능 향상을 입증했습니다.

실험 결과
프레임워크는 F1 스코어( $F_{\le20^\circ/1}$ ), 온/오프스크린 F1( $F_{\le20^\circ/1/on}$ ), 도래각 오차(DOAE), 상대적 거리 오차(RDE), 그리고 온/오프 정확도를 포함한 지표를 사용하여 DCASE2025 Task 3 개발 세트(30,000개 클립)에서 평가되었습니다.

개별 성능: 공간-언어 전문가가 가장 우수한 성능을 보이는 개별 모델(F1: 36.9%)로 나타났으며, 이는 의미론적 이해와 공간적 국지화가 이 작업에서 가장 중요한 차원임을 시사합니다. 공간-시간 및 시간-언어 전문가는 특정 지표에서 약간 낮은 성능을 보였는데, 이는 세 번째 차원에 대한 집중도가 낮아졌음을 반영합니다.
앙상블 성능: 전체 ToS 앙상블은 **40.2%**의 F1 스코어와 **30.7%**의 온/오프스크린 F1을 달성했습니다. 이는 가장 성능이 좋은 개별 전문가보다 3.3포인트 상승(12% 상대적 증가)한 수치입니다.
SOTA와의 비교: ToS는 AV-Conf, MVANet 및 저자의 이전 연구(Berghi [10])를 포함한 기존 오디오-비주얼 모델들을 능가했습니다. 특히, ToS는 이전 최고 기록(Berghi [10])보다 거의 5%포인트 높은 F1 스코어를 달성했으며 가장 낮은 DOAE(16.7°)를 기록했습니다.
트레이드오프: 저자들은 이러한 성능 향상이 세 개의 독립적인 모델을 집계함에 따라 발생하는 계산 오버헤드의 증가를 동반한다고 언급했습니다.

의의 및 주장
본 논문은 ToS 프레임워크가 단일 아키텍처에 과도한 부담을 주는 대신 모듈형 앙상블 기반 접근 방식을 활용함으로써, 의미론적, 공간적, 시간적 차원에 대한 공동 추론의 과제를 효과적으로 해결한다고 주장합니다. 결과는 특화된 네트워크들이 결합될 때, 단일 구조의 모델보다 더 견고하고 정확한 SELD 예측을 생성할 수 있음을 보여줍니다.

저자들은 현재의 결과가 개념 증명(proof of concept) 역할을 한다는 점을 언급하며 미래 연구에 대해 신중한 입장을 유지합니다. 그들은 적절한 태스크, 훈련 및 프리트레이닝 커리큘럼을 통해 전문가들을 강화하고, 전문가 프리트레이닝을 조사함으로써 향arian 성능 향상을 달ical 수 있을 것이라고 제안합니다. 본 연구는 EPSRC-BBC Prosperity Partnership 'AI4ME'의 지원을 받았습니다.

세 명의 전문가

협업 방식 (앙상블)

테스트 주행

트레이드오프 (교환 조건)

요약

유사한 논문