The trajectoRIR Database: Room Acoustic Recordings Along a Trajectory of Moving Microphones

이 논문은 로봇 카트를 이용해 L 자형 궤적을 따라 이동하는 마이크로폰과 정적 마이크로폰으로 수집된 8,648 개의 정적 임펄스 응답 및 다양한 이동 중 오디오 데이터를 포함하는 'trajectoRIR' 데이터베이스를 소개하며, 음원 위치 추정 및 공간 음장 재구성 등 다양한 음향 신호 처리 연구에 활용될 수 있음을 제시합니다.

핵심

이 논문은 소리가 방 안에서 어떻게 움직이고 반사되는지를 연구하기 위해 만든 **'trajectoRIR'**이라는 특별한 데이터베이스를 소개합니다.

기존의 소리 연구는 대부분 "고정된 마이크"와 "고정된 소리"를 사용했습니다. 하지만 실제 우리 생활에서는 우리가 걸어가거나, 로봇이 소리를 듣거나, 사람이 소리를 내며 이동하는 등 소리와 듣는 이가 함께 움직이는 상황이 많습니다. 이 논문은 바로 그 '움직이는 소리 세상'을 정밀하게 기록한 데이터를 공개한 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 이 데이터베이스는 무엇인가요? (비유: "소리의 3D 지도와 동영상")

상상해 보세요. 방 안에 마이크가 달린 장난감 카트가 있습니다. 이 카트는 방 안을 정해진 길 (L 자 모양) 로 천천히 움직입니다.

• 고정된 사진 (정적 RIR): 카트가 멈춰 있는 특정 지점마다, 방의 소리가 어떻게 울리는지 (잔향, 반사 등) 를 정밀하게 촬영한 '사진' 8,600 장이 있습니다.
• 움직이는 동영상 (동적 녹음): 카트가 실제로 움직이면서, 피아노 소리, 드럼 소리, 사람 목소리 등을 들으며 녹음한 '동영상'이 있습니다.

이 데이터베이스의 가장 큰 특징은 이 두 가지 (고정된 사진과 움직이는 동영상) 가 같은 공간, 같은 경로에서 완벽하게 매칭되어 있다는 점입니다. 마치 지도 (고정 데이터) 와 그 지도 위를 걷는 사람의 발자국 소리 (동적 데이터) 를 동시에 가지고 있는 것과 같습니다.

2. 어떻게 만들었나요? (비유: "정교한 레일 위의 마법")

연구진은 벨기에의 한 실험실 (AIL) 에서 다음과 같은 장비를 사용했습니다.

• 레일 시스템: 방 중앙에 L 자 모양의 레일을 깔았습니다. 카트가 이 레일 위를 0.2m/s(느린 걸음) 에서 0.8m/s(빠른 걸음) 까지 일정한 속도로 움직입니다.
• 다양한 '귀' (마이크 배열): 카트 위에는 세 가지 종류의 마이크가 장착되었습니다.
  1. 인조 인간 머리 (Dummy Head): 실제 사람의 귀 모양을 본떠서 양쪽 귀와 머리 위에 마이크를 달았습니다. (가장 자연스러운 소리)
  2. 원형 마이크 군집: 머리 주변과 위에 마이크를 원형으로 빙 둘러쌌습니다. (소리의 방향을 정밀하게 파악)
  3. 선형 마이크 줄: 마이크를 일렬로 줄지어 놓았습니다.
• 소리 내기: 방 반대편에는 스피커 두 대가 있어서 다양한 소리 (피아노, 드럼, 노래, 잡음 등) 를 틀어주었습니다.

3. 왜 이것이 중요한가요? (비유: "가상 현실 (VR) 과 로봇의 귀")

이 데이터는 왜 필요할까요?

• 가상 현실 (VR) 의 현실감: VR 게임이나 영화에서 사용자가 방 안을 돌아다닐 때, 소리가 움직이는 방향에 따라 자연스럽게 변해야 합니다. 이 데이터는 그 '자연스러운 소리 변화'를 만드는 훈련용 교재 역할을 합니다.
• 로봇의 청각: 청소 로봇이나 안내 로봇이 방 안을 돌아다니며 소리를 듣고 소스를 찾아야 할 때, 이 데이터를 통해 로봇이 "내가 움직일 때 소리가 어떻게 변하는지"를 학습할 수 있습니다.
• 소음 제거: 카트가 움직일 때 나는 기계 소음 (Ego-noise) 도 함께 기록되어 있어서, 로봇이 자신의 소음을 구별하고 제거하는 기술을 개발하는 데 도움을 줍니다.

4. 연구 결과가 말해주는 것 (비유: "혼자서 하기보다 함께가 더 낫다")

연구진은 이 데이터를 이용해 "움직이는 소리를 예측하는 알고리즘"을 테스트했습니다. 결과는 매우 흥미로웠습니다.

• 방법 1 (고정된 사진만 보기): 멈춰 있는 지점의 소리 데이터만 가지고 중간을 이어 붙이면, 소리가 매끄럽지 않고 어색해집니다. (사진을 이어 붙인 만화책처럼 끊김이 생김)
• 방법 2 (동영상만 보기): 움직이는 녹음 데이터만 분석하면 소리는 자연스럽지만, 정확한 소리 위치를 파악하기 어렵습니다.
• 방법 3 (둘 다 섞기): 고정된 사진 (정밀한 지도) 과 움직이는 동영상 (실제 경험) 을 함께 사용하면 가장 정확하고 자연스러운 소리 재현이 가능했습니다.

이는 "움직이는 소리를 이해하려면, 정지한 상태의 정확한 정보와 움직이는 상태의 생생한 경험을 모두 필요로 한다"는 것을 증명합니다.

5. 결론

이 논문은 단순히 소리를 녹음한 것을 넘어, 소리가 움직이는 공간에서 어떻게 변하는지를 체계적으로 기록한 '보물창고'를 열었습니다.

이 데이터는 개발자들이 더 똑똑한 음성 인식 시스템, 더 현실적인 가상 현실, 그리고 소리를 잘 이해하는 로봇을 만드는 데 필수적인 자료가 될 것입니다. 연구진은 이 모든 데이터와 이를 사용하는 프로그램 (파이썬 코드) 을 무료로 공개하여, 전 세계 연구자들이 함께 이 '소리의 지도'를 완성해 나가기를 바라고 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

음향 신호 처리 알고리즘, 특히 데이터 기반 (data-driven) 접근법의 발전에는 방대하고 다양한 학습 데이터가 필수적입니다. 기존 연구들은 주로 **정적 (stationary)**인 음향 환경 (고정된 마이크와 소스) 에 초점을 맞추었거나, **동적 (dynamic)**인 음향 장면 (이동하는 마이크) 을 위한 오디오 데이터만 제공했습니다.

그러나 실제 응용 분야 (가상 현실, 로봇 청각, 보청기 등) 에서는 마이크와 소스가 모두 이동하는 동적 환경이 일반적입니다. 이러한 환경에서 중요한 과제는 다음과 같습니다:

• 시간 변이 Room Impulse Response (RIR) 추정: 마이크가 이동함에 따라 변하는 RIR 을 정확히 모델링해야 합니다.
• 데이터의 부재: 기존 데이터셋은 이동 중 녹음된 오디오는 제공하지만, 이동 경로상의 정적 RIR 데이터를 함께 제공하지 않아, 이동 중 오디오와 정적 RIR 을 매칭하여 동적 음향장을 재구성하거나 시스템 식별을 수행하는 데 한계가 있었습니다.
• 시뮬레이션의 한계: 물리적 모델을 기반으로 한 시뮬레이션은 제어하기 쉽지만 실제 환경과 차이가 있어 알고리즘의 일반화 성능을 저하시킬 수 있습니다.

따라서, 동일한 제어된 궤적 (trajectory) 위에서 정적 RIR 과 이동 중 오디오 녹음이 모두 포함된 데이터셋의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 벨기에 루벤 (Leuven) 의 Alamire Interactive Laboratory (AIL) 에서 trajectoRIR이라는 새로운 데이터베이스를 구축했습니다.

가. 실험 환경 및 하드웨어

• 방 (Room): AIL 실험실 (약 208 m³, T20 = 0.5 초의 잔향 시간).
• 궤적 (Trajectory): 방 중앙에 설치된 모듈식 레일 시스템. 총 길이 약 4.62m 의 부드러운 L 자형 궤적 (두 개의 직선 구간과 90 도 곡선 구간 연결).
• 이동 장치: 로봇 카트 (Robotic Cart) 가 레일을 따라 이동하며 마이크 어레이를 운반합니다.
• 속도: 보행 속도 범위인 0.2, 0.4, 0.8 m/s의 세 가지 일정한 속도로 이동 실험 수행.
• 음원 (Source): 궤적 양쪽에 고정된 2 개의 스피커 (Genelec 8030 CP) 를 사용.

나. 마이크 어레이 구성 (3 가지)

데이터 수집을 위해 세 가지 다른 마이크 구성을 사용했습니다:

1. MC1: 더미 헤드 (Dummy Head, KU-100) + 귀 근처 기준 마이크 2 개 + 16 채널 원형 어레이 (UCA) + 머리 위 4 채널 원형 어레이 (Crown).
2. MC2: MC1 과 동일하되 더미 헤드 제거.
3. MC3: 3 개의 1 차 Ambisonics 마이크 (Rode NT-SF1) + 12 채널 선형 어레이 (ULA).

다. 녹음 신호 및 데이터 구성

• 정적 녹음 (STAT): 궤적상의 46 개 (MC1, MC2) 또는 92 개 (MC3) 의 고정된 위치에서 8,648 개의 정적 RIR 을 수집.
• 이동 중 녹음 (MOV): 로봇 카트가 이동하는 동안 6 가지 신호 (피아노, 드럼, 여성 음성, 백색 소음, 1kHz 및 8kHz 퍼펙트 스위프) 를 재생하여 녹음. 총 108 개의 멀티채널 녹음 파일 생성.
• 기타 데이터: 카트 및 레일 시스템의 기계적 소음 (Ego-noise) 녹음, 온도 데이터, 정밀한 기하학적 정보 (좌표, 각도, 타임스탬프) 포함.
• 포맷: 48 kHz, 24 비트, WAV 형식. 총 용량 7.47 GB.

라. 데이터 처리 및 보정

• 지연 시간 보정: 이동 중 녹음 시 시스템 지연을 추정하여 신호를 시간 정렬 (Time-alignment) 했습니다.
• 위치 매핑: iPad 로 촬영한 슬로우 모션 영상을 분석하여 마이크가 궤적의 특정 지점을 통과하는 정확한 타임스탬프를 생성했습니다.
• 오픈 소스 도구: Python 스크립트를 제공하여 오디오 로딩, 기하학적 정보 추출, 좌표 시각화 등을 지원합니다.

3. 주요 기여 (Key Contributions)

1. trajectoRIR 데이터베이스 공개: 동일한 궤적에서 수집된 정적 RIR 과 이동 중 오디오의 매칭된 데이터셋을 최초로 제공하여, 동적 음향장 분석에 필요한 표준 데이터를 마련했습니다.
2. 다양한 마이크 어레이 지원: 더미 헤드, 원형 어레이, 선형 어레이, Ambisonics 등 다양한 표준 마이크 구성을 포함하여 기존 데이터셋과의 호환성과 융합 학습을 가능하게 했습니다.
3. 정밀한 메타데이터: 마이크의 절대/상대 좌표, 이동 속도, 온도, 기계적 소음 정보 등 알고리즘 개발에 필수적인 상세 메타데이터를 제공합니다.
4. 재현 가능한 측정 시스템: 모듈식 레일 시스템과 로봇 카트 설계도 (CAD) 를 공개하여 향후 다른 연구자들이 동일한 실험을 재현하거나 확장할 수 있도록 했습니다.

4. 결과 및 평가 (Results)

논문 8 장에서는 시간 변이 RIR 추정을 위한 세 가지 방법론을 trajectoRIR 데이터로 평가했습니다:

1. 선형 보간 (Linear Interpolation): 희소하게 측정된 정적 RIR 만을 사용하여 이동 경로상의 RIR 을 보간.
2. 순수 데이터 기반 칼만 필터 (KF-α): 이동 중 녹음 데이터만 사용하여 RIR 을 추정.
3. 하이브리드 칼만 필터 (KF-A(l)): 이동 중 녹음 데이터와 희소 정적 RIR 을 물리 모델 (이미지 소스 모델) 과 결합하여 추정.

평가 결과:

• 선형 보간 (LI): 정적 측정값에는 잘 부합하지만, 이동 중 생성된 오디오 신호의 재현도는 낮았습니다 (상관 계수 낮음). 이는 기계적 소음 등 정적 RIR 에 포함되지 않은 요소들이 이동 신호에 영향을 미치기 때문입니다.
• 순수 데이터 기반 (KF-α): 이동 중 오디오 신호 재현도는 가장 높았으나, 정적 RIR 측정값과의 일치도는 떨어졌습니다.
• 하이브리드 모델 (KF-A(l)): 가장 균형 잡힌 성능을 보였습니다. 이동 중 오디오 신호의 재현도가 KF-α 와 유사하게 높으면서도, 정적 RIR 위치에서의 추정 오차를 크게 줄였습니다.

이 결과는 정적 RIR 과 이동 중 오디오 데이터를 결합하는 것이 동적 음향장 재구성과 RIR 추정에 가장 효과적임을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 알고리즘 개발의 혁신: 동적 음향 환경에서의 소스 위치 추정, 추적, 음향장 재구성, 청각화 (Auralization), 시스템 식별 등 다양한 분야에서 데이터 기반 알고리즘의 훈련 및 평가를 가능하게 합니다.
• 실제 환경 반영: 시뮬레이션 데이터의 한계를 극복하고, 실제 물리적 환경 (잔향, 기계적 소음, 온도 변화 등) 을 반영한 고품질 데이터를 제공합니다.
• 미래 연구 확장: 단일 방과 기하학적 구조로 시작되었으나, 모듈식 설계 덕분에 향후 다양한 방, 궤적, 마이크 구성으로 데이터를 확장할 수 있는 기반을 마련했습니다.

결론적으로, trajectoRIR 은 이동하는 마이크를 가진 동적 음향 장면 연구를 위한 필수적인 벤치마크 데이터셋으로, 음향 신호 처리 분야의 발전에 중요한 기여를 할 것으로 기대됩니다.