🤖 AI

SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios

이 논문은 프롬프트 유도 선택적 주의 메커니즘을 활용하여 복잡한 다중 소스 음향 환경에서 사용자가 지정한 대상 음원을 정확하게 국지화하고 그 기수(cardinality)를 추정함으로써, 대상 음원 추출과 음원 국지화 사이의 간극을 효과적으로 메우는 엔드 투 엔드 딥러닝 프레임워크인 SelectTSL을 소개한다.

원저자: Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시끄럽고 혼란스러운 파티에 있다고 상상해 보세요. 사람들의 대화 소리, 음악 소리, 그리고 구석에서 짖는 강아지 소리가 들립니다. 만약 당신이 특정 친구의 목소리만 듣고 싶다면, 당신의 뇌는 자연스럽게 소음을 걸러내고 그 목소리에만 집중합니다. 이것을 "칵테일 파티 효과(cocktail party problem)"라고 부릅니다.

하지만 현재의 컴퓨터 시스템은 필터링을 할 줄 모르는 파티 손님과 같습니다. 만약 당신이 일반적인 음원 위치 추적 컴퓨터에게 "소리가 어디에서 들려?"라고 묻는다면, 그 컴퓨터는 음악, 강아지, 사람들 대화 등 모든 곳을 가리킬 것입니다. 즉, 소리의 방향을 엉망진창으로 보여주는 것이죠.

반면, 어떤 고급 시스템들은 특정 목소리(예: 당신의 친구 목소리)를 추출하여 더 명확하게 들려줄 수는 있지만, 그 과정에서 그 목소리가 정확히 어디에서 오는지 알려주는 능력은 종종 상실하곤 합니다. 무엇을 들어야 하는지는 알지만, 그것이 어디에 있는지는 모르는 상태가 되는 것입니다.

"SelectTSL": 스마트한 파티 손님

이 논문은 SelectTSL(Selective Target Sound Localization, 선택적 대상 음원 위치 추적)이라는 새로운 시스템을 소개합니다. 이것을 아주 똑똑한 파티 손님이라고 생각해보세요. 이 손님은 두 가지를 모두 할 수 있습니다. 당신이 원하는 것만 골라 듣는 동시에, 그것이 정확히 어디에 있는지도 알려주는 것이죠.

작동 원리는 다음과 같은 쉬운 비유를 통해 설명할 수 있습니다.

1. "프롬프트" (당신의 요청)

SelectTSL는 단순히 소음을 듣는 대신, 프롬프트라고 불리는 특정한 지시를 기다립니다. 당신은 두 가지 방식으로 이 지시를 내릴 수 있습니다:

텍스트: "음성을 찾아줘"라고 타이핑합니다.
오디오: 찾고자 하는 소리(예: 강아지가 짖는 1초 정도의 샘플)를 들려주며 "이 소리를 찾아줘"라고 말합니다.

2. "선택적 필터" (PGSA 모듈)

요청을 받으면, 시스템은 PGSA(Prompt-Guided Selective Attention, 프롬프트 유도 선택적 주의)라고 불리는 특별한 필터를 사용합니다.

비유: 방 안에 모든 소리를 나타내는 거대하고 엉클어진 실타래 뭉치가 있다고 상상해 보세요. 당신의 프롬프트는 특정 색깔의 염료와 같습니다. PGSA 모듈은 이 실타래 속에 자석을 담급니다. 자석은 당신의 염료 색상과 일치하는 실들(대상 소리)만 잡아내고, 나머지(소음 및 다른 목소리)는 무시합니다.
이 과정을 통해 시스템은 오디오를 정화하여, 대상 소리와 관련된 "실"들만 남깁니다.

3. "공간 탐정" (IPD 인핸서)

대상 소리를 분리해낸 후, 시스템은 이제 그 위치를 찾아야 합니다.

비유: 두 개의 귀(또는 두 개의 마이크)를 사용하여 소리의 근원을 찾는다고 상상해 보세요. 시스템은 소리가 왼쪽 귀와 오른쪽 귀에 도달하는 미세한 시간 차이(Inter-Channel Phase Difference, IPD)를 살펴봅니다.
시스템이 이미 소음을 걸러냈기 때문에, 이제 이러한 미세한 타이밍 차이를 훨씬 더 명확하게 포착할 수 있습니다. 이는 마치 록 콘서트장에서의 속삭임을 듣는 것과 조용한 방 안에서의 속삭임을 듣는 것의 차이와 같습니다. 조용한 방에서는 타이밍 단서를 훨씬 더 쉽게 찾을 수 있습니다 있습니다.

4. "개수 세기와 추적" (Cardinality Head)

시스템은 단순히 한 방향만을 추측하는 것이 아니라, 대상 소리가 몇 개 존재하는지도 함께 계산합니다.

비유: 만약 당신이 "음성을 찾아줘"라고 요청했다면, 시스템은 다음과 같이 확인합니다: "말하는 사람이 한 명인가, 두 명인가, 아니면 아무도 없는가?" 이를 통해 움직이는 화자의 수가 변하는 상황도 처리할 수 있습니다.
또한, 시스템은 단순히 흔들리는 점 하나를 보여주는 것이 아니라, 시간이 흐름에 따라 소리가 이동하는 경로를 지도 위에 매끄러운 선으로 그려냅니다.

이것이 왜 중요한가요?

논문에서는 이 시스템을 두 가지 방식으로 테스트했습니다:

시뮬레이션된 공간: 움직이는 스피커, 짖는 강아지, 큰 소음이 있는 디지털 공간을 만들었습니다.
실제 녹음: 실제 울림(에코)과 가구가 있는 실제 방에서 테스트했습니다.

결과:

기존 시스템들: 소음이 많은 방에 직면했을 때, 모든 곳을 가리키며 혼란스러워하거나 엉뚱한 곳을 가리켰습니다.
SelectTSL: 일관되게 정확한 대상을 찾아냈고, 소음을 무시했으며, 움직임을 매끄럽게 추적했습니다. 심지어 대상 화자가 잠시 말을 멈췄다가 다시 시작하는 상황에서도 시스템은 추적을 놓치지 않았습니다.

요약

요약하자면, SelectTSL는 컴퓨터가 시끄러운 방에서 듣는 법을 배우는 새로운 방식입니다. 단순히 "모든 소리가 들려요!"라고 외치는 대신, "나는 '이것'을 듣고 싶어"라는 당신의 요청을 기다린 후, 레이저처럼 집중된 스포트라이트가 되어 혼란스러운 환경 속에서도 그 특정 소리가 정확히 어디에서 오고 어디로 가고 있는지를 알려줍니다.

기술 요약: SelectTSL – 프롬프트 유도형 선택적 타겟 음원 위치 추적

1. 문제 정의

현재의 음원 위치 추적(Sound Source Localization, SSL) 시스템은 근본적인 한계에 직면해 있습니다. 바로 "의미론적 맹목성(semantic-blind)"입니다. 딥러닝 기반의 SSL 방식은 음향 이벤트의 도착 각도(Direction of Arrival, DoA)를 추정하는 데 성공했지만, 일반적으로 모든 활성 음원을 구별 없이 무차별적으로 위치 추적합니다. 이는 청취자가 경쟁하는 소음과 소리들 사이에서 특정 타겟(예: 특정 화자)에 선택적으로 주의를 기울일 수 있는 인간의 청각적 지각 능력과 대조됩니다.

반대로, 타겟 음원 추출(Target Sound Extraction, TSE) 방식은 멀티모달 프롬프트(텍스트 또는 오디오)를 사용하여 특정 음원을 분리할 수 있지만, 파형 재구성의 충실도보다 공간적 일관성을 우선시합니다. 결과적으로, TSE는 정밀한 위치 추적에 필요한 채널 간 위상 정보를 종종 저하시킵니다.

SelectTSL은 이 두 분야 사이의 간극을 메우기 위해 새로운 과업인 **프롬프트 유도형 선택적 타겟 음원 위치 추적(Prompt-Guided Selective Target Sound Localization)**을 정의합니다. 목표는 멀티모달 프롬프트(텍스트 설명 또는 오디오 큐)가 주어졌을 때, 복잡하고 다중 음원이 존재하는 노이즈 환경 속에서 사용자가 지정한 특정 타겟 음원(들)만을 위치 추적하고 간섭을 억제하는 엔드투엔드 프레임워크를 구축하는 것입니다. 또한 시스템은 시간에 따라 변하는 활성 타겟 음원의 수(카디널리티)와 움직이는 타겟을 처리할 수 있어야 합니다.

2. 방법론: SelectTSL 아키텍처

SelectTSL은 의미론적 선택과 공간적 추정을 분리하도록 설계된 엔드투엔드 아키텍처입니다. 이는 두 가지 주요 단계인 프롬프트 유도형 선택적 주의(Prompt-Guided Selective Attention, PGSA) 모듈과 **DoA 추정기(DoA Estimator)**로 구성됩니다.

A. 프롬프트 유도형 선택적 주의 (PGSA) 모듈

이 모듈은 혼합 음성에서 타겟과 일치하는 특징을 추출하는 의미론적 필터 역할을 합니다.

입력 처리: 듀얼 채널 혼합 음성과 멀티모달 프롬프트(텍스트 또는 오디오)를 입력으로 받습니다.
프롬프트 인코더: 텍-오디오 대조 사전 학습(CLASP) 모델인 CLAP을 사용하여 텍스트 및 오디오 큐를 의미론적 임베딩으로 인코딩합니다. 이들은 투영되어 하나의 통합된 가이드 벡터로 융합됩니다.
추출 네트워크: 듀얼 패스 RNN(DPRNN) 백본을 사용합니다. 특징별 선형 변조(Feature-wise Linear Modulation, FiLM) 캐스케이드를 사용하여 입력 혼합 음성의 크기 특징을 융합된 프롬프트 벡터에 따라 조건화합니다.
교차 주의(Cross-Attention): 교차 주의 메커니즘은 의미론적 가이드를 오디오 특징에 주입하여 네트워크가 타겟과 관련된 시간-주파수 영역에 집중할 수 있도록 합니다.
출력:
1. 타겟 크기 스펙트로그램: 타겟 음원의 정제된 크기 표현.
2. 추출 정보 임베딩(Extraction-Informed Embeddings, EIEs): 타겟 특유의 정보를 인코딩하는 중간 DPRNN 블록의 특징 맵 스택입니다. 이 EIE는 후속 위치 추정 단계를 위한 고수준의 의미론적 가이드 역할을 합니다.

B. DoA 추정기

이 단계는 PGSA 모듈의 의미론적 가이드를 사용하여 공간적 큐를 정제하고 DoA 및 음원 수를 추정합니다.

IPD 인핸서(IPD Enhancer): 원시 채널 간 위상차(Inter-Channel Phase Difference, IPD)를 정제하는 핵심 구성 요소입니다. 두 개의 병렬 브랜치를 통해 작동합니다:
- 음향 브랜치(Acoustic Branch): 추출된 타겟 크기와 원시 공간 큐(IPD, ILD)를 처리합니다.
- 의미론적 브랜치(Semantic Branch): PGSA 모듈의 EIE를 처리합니다.
- 융합: 브랜치들은 게이트형 FiLM 메커니즘을 통해 융합됩니다. 의미론적 브랜치는 음향 특징을 변조하여 공간 선택적 IPD 향상을 가능하게 합니다. 네트워크는 원시 IPD에 대한 잔차(델타)를 예측하여, 프롬프트로 지정된 타겟에 편향된 향상된 IPD( $IPD_{enh}$ )를 복구합니다.
점진적 정제 시간 모델링(Progressive Refinement Temporal Modeling, PRTM): 향상된 공간 큐, 타겟 크기, ILD를 결-합하여 확장 템포럴 컨볼루션 네트워크(Dilated TCN)와 양방향 GRU(BiGRU)가 포함된 특징 정제 블록(FRB) 스택으로 처리하여 시간적 의존성을 모델링합니다.
예측 헤드:
- DoA 헤드: 180개의 방위각 빈(0°–179°)에 대한 프레임 레벨 사후 확률도(posteriorgram)를 출력합니다.
- 카디널리티 헤드: 활성 타겟 음원의 수(0, 1, 2개)를 예측하는 경량 헤드입니다.
추론: 시스템은 예측된 카디널리티 $\hat{n}$ 에 따라 DoA 사후 확률도의 상위 $\hat{n}$ 개 피크를 선택함으로써 이 예측들을 결합합니다.

C. 학습 목적 함수

모델은 세 가지 손실 항과 함께 공동으로 학습됩니다:

분리 손실(Separation Loss): PGSA 모듈이 타겟 파형을 효과적으로 추출하도록 보장하기 위한 음의 SI-SNR.
DoA 손실(DoA Loss): DoA 사후 확률도에 대한 이진 교차 엔트로피(BCE).
카디널리티 손실(Cardinality Loss): 음원 수에 대한 교차 엔트로피(CE).
참고: 손실 값의 규모 차이(분리 손실은 보통 $O(10^1)$ , 희소한 DoA 손실은 보통 $O(10^{-1})$ )를 조절하기 위해 가중치가 튜닝됩니다.

3. 주요 기여

과업 정의: 동적이고 노이즈가 있으며 다중 소스가 존재하는 환경에서, 알려지지 않고 시간에 따라 변하는 타겟 개수를 가진 프롬프트 유도형 선택적 타겟 음원 위치 추적 과업을 정의했습니다.
SelectTSL 프레임워크: 텍스트 및 오디오 프롬프트를 모두 지원하는 엔드투엔드 아키텍처를 제안합니다. 이는 추출 정보 임베딩(EIE)을 생성하는 PGSA 모듈과 공간 위상 큐를 정제하기 위해 이 임베딩을 사용하는 IPD 인핸서를 도입합니다.
카디널리티 처리: DoA 히트맵과 프레임 레벨 음원 수를 공동으로 예측하는 경량 카디널리티 헤드를 통해, 고정된 트랙 슬롯 없이도 움직이는 화자와 간헐적 활동을 안정적으로 추적할 수 있게 합니다.
강건한 성능: 합성 및 실제 녹음 데이터셋 모두에서 강력한 베이스라인 모델들보다 일관된 개선을 보여줌으로써 견고한 일반화 성능을 입증했습니다.

4. 실험 결과

저자들은 합성 데이터셋(다양한 음향 조건, 움직이는 소스, 변화하는 SNR 포함)과 실제 데이터셋(TAU-SRIR)에서 SelectTSL을 평가했습니다.

베이스라인: IPDNet, EINV2, DCASE25(트랙 기반 방식), SELDnet, SELDT(SELD+DoA 방식), SRP-DNN, FN-SSL(순수 DoA 방식), Text-Queried SEL(프롬프트 기반 방식) 등이 비교 대상에 포함되었습니다.
성능:
- 정적 지표: SelectTSL은 "Mix" 조건(복잡한 다중 소스/노이즈 입력)에서 평균 각도 오차(MAE) **0.98°**와 F1 점수 **95.67%**를 달 기록했으며, 이는 다음으로 우수한 프롬프트 기반 베이스라인(MAE 5.37°)을 크게 앞지른 수치입니다.
- 동적 지표: 궤적 추적 측면에서(MOTA*), SelectTSL은 **91.57%**를 달성하여, 복잡한 혼합 상황에서 20% 미만으로 떨어지거나 추적에 실패하는 다른 방법들과 압도적인 차이를 보였습니다.
- 절제 연구(Ablation Studies):
  - IPD 인핸서를 제거하면 MAE가 2.10°로 증가했습니다.
  - 카디널리티 헤드를 제거하면 MOTA*가 91.57%에서 58.19%로 감소하여 추적에 대한 중요성을 입증했습니다.
  - 엔드투엔드 학습이 2단계(별도 선택 및 위치 추적) 접근 방식보다 우수한 성능을 보였습니다.
  - 시스템은 다양한 방 크기, 잔향 시간, 이동 속도에 대해 강건함을 보였으나, 극도로 빠른 움직임이나 매우 비대칭적인 방에서는 성능이 저하되었습니다.
- 실제 환경 일반화: TAU-SRIR 실제 실내 데이터셋에서 모델은 평균 MAE 2.62°, MOTA* 77%를 유지하며 강력한 전이 능력을 보여주었습니다.

5. 의의 및 주장

논문은 SelectTSL이 의미론적 추출과 공간적 위치 추적 사이의 간극을 성공적으로 메웠다고 주장합니다. 이러한 목표를 통합함으로써, 시스템은 다음과 같은 한계를 극복합니다:

기존 SSL: 선택성 없이 모든 음원을 위치 추적함.
TSE: 음원을 추출하지만 위치 추적에 필요한 공간적 큐를 왜곡함.

저자들은 공간 위상 큐(IPD)의 정제를 유도하기 위해 의미론적 프롬프트를 사용하는 결합된 설계 덕분에, 시스템이 오직 사용자가 지정한 타겟에만 집중할 수 있다고 강조합니다. 이를 통해 움직이는 화자, 여러 개의 간섭 음원, 변화하는 타겟 수가 존재하는 시나리오에서도 견고한 위치 추적 및 추적이 가능합니다. 이 연구는 스마트 스피커, 보청기, 로봇 청각 시스템 등의 미래 시스템이 "의미론적 맹목" 처리를 넘어 진정으로 상호작용하고 의도에 따라 구동되는 공간 감지 능력을 갖출 수 있음을 시사합니다.