Dependence on Early and Late Reverberation of Single-Channel Speaker Distance Estimation

거대한 빈 방에 서 있고, 누군가가 다른 곳에서 당신에게 말을 걸고 있다고 상상해 보세요. 당신은 그들을 볼 수 없습니다. 당신의 유일한 단서는 귀에 도달하는 그들의 목소리 소리뿐입니다. 어떻게 그들이 얼마나 멀리 떨어져 있는지 추측할 수 있을까요?

이 논문은 바로 그 문제를 다룹니다: 컴퓨터가 단일 마이크 녹음만을 사용하여 화자가 얼마나 멀리 떨어져 있는지 파악할 수 있을까요?

연구자들은 컴퓨터가 이를 어떻게 수행하는지 이해하고자 했습니다. 컴퓨터는 직접적인 목소리에 귀를 기울일까요? 벽에 튕겨 돌아오는 메아리에 귀를 기울일까요? 아니면 소리의 "흐릿함"에 의존할까요?

다음은 간단한 비유를 사용한 그들의 발견 사항을 정리한 것입니다.

1. 방 안의 소리의 세 가지 구성 요소

방 안을 소리가 이동할 때, 파도가 해변에 부딪히듯 세 가지 뚜렷한 "파동"으로 도착합니다:

• 직접 경로: 음원으로부터 곧바로 당신에게 도달하는 첫 번째 파동입니다. 이는 수영장에 가장 먼저 뛰어든 사람과 같습니다.
• 초기 반사음: 가까운 벽에서 튕겨 나와 수백만 분의 1 초 후에 당신에게 도달하는 소리입니다. 이는 점프한 사람으로부터 발생하는 첫 번째 몇 개의 물보라와 같습니다.
• 후기 잔향: 소리가 너무 많이 튕겨 흐릿해지거나 소음의 "물결"이 되는 상태입니다. 이는 수영장의 물이 가라앉으며 남는 지속적인 윙윙거림과 같습니다.

연구자들은 컴퓨터가 어떤 부분이 필요한지 확인하기 위해 컴퓨터로 생성된 녹음들을 네 가지 다른 버전으로 잘게 나누었습니다:

1. 전체: 전체 소리 (직접음 + 초기 반사음 + 후기 잔향).
2. 직접음만: 첫 번째 파동만 포함.
3. 후기 잔향 제외: 직접음과 초기 물보라를 포함하지만, "윙윙거림"은 잘라낸 상태.
4. 초기 반사음 제외: 직접음과 마지막 "윙윙거림"을 포함하지만, 초기 물보라는 제거된 상태.

2. 두 가지 "치트" (보정)

실제 세계에서는 소리가 언제 시작되었는지나 화자의 원래 목소리 크기를 알 수 없습니다. 하지만 컴퓨터 시뮬레이션에서는 모델에 "치트" (보정) 를 제공할 수 있습니다:

• 시간 치트: 컴퓨터는 녹음된 시점과 관련하여 소리가 정확히 언제 시작되었는지 정확히 알고 있습니다. 이는 총이 발사된 순간에 exactly 러너가 출발을 알았다는 것을 알려주는 것과 같습니다. 이는 컴퓨터에게 정확한 이동 시간을 알려줍니다.
• 레벨 치트: 컴퓨터는 화자의 원래 음량이 정확히 얼마나 컸는지 알고 있습니다. 소리는 이동할수록 작아지기 때문에 도움이 됩니다 (이는 촛불에서 멀어질수록 희미해 보이는 것과 같습니다).

3. 큰 발견: "시간 치트"는 초능력이다

가장 중요한 발견은 시간 보정에 관한 것입니다.

• 컴퓨터가 정확한 시작 시간을 알고 있다면: 그것은 메아리, 벽, 또는 방의 크기에 전혀 신경 쓰지 않습니다. 단순히 녹음 시작과 목소리 도달 사이의 아주 작은 침묵 간격을 측정할 뿐입니다.
  • 비유: 차가 차고에서 언제 출발했는지, 그리고 당신의 집에 정확히 언제 도착했는지 정확히 안다면, 차를 볼 수 없거나 엔진 소리를 들을 수 없더라도 거리를 완벽하게 계산할 수 있습니다.
  • 결과: 컴퓨터는 방이 울림이 많든 조용하든 상관없이 오직 이 타이밍만을 사용하여 놀라울 정도로 정확했습니다 (14 센티미터 이내).

4. 실제 시나리오: 치트 금지

실제 세계에서는 보통 소리가 언제 시작되었는지나 원래 음량이 얼마나 컸는지 알지 못합니다. 컴퓨터는 소리 자체를 바탕으로 추측해야 합니다.

• 시간 치트가 없을 때 어떻게 될까요? 정확도가 크게 떨어집니다 (오차가 1 미터 이상으로 급증합니다).
• 대신 컴퓨터는 무엇을 사용할까요? 컴퓨터는 직접적인 소리를 보지 않고 초기 반사음(벽에 튕겨 나오는 첫 번째 몇 번의 반사) 을 보기 시작합니다.
  • 비유: 안개가 낀 방에서 친구가 얼마나 멀리 있는지 추측해 보라고 상상해 보세요. 당신은 그들을 볼 수 없습니다 (직접 경로 정보 부재), 그리고 그들이 평소 얼마나 크게 외치는지도 모릅니다. 대신, 당신은 그들의 목소리가 근처 벽에 어떻게 튕겨 돌아오는지 듣습니다. 그 첫 번째 반사들의 패턴은 공간의 크기와 그들이 얼마나 멀리 떨어져 있는지를 알려줍니다.
  • 놀라운 결과: 초기 반사가 없는 "직접음만"을 제공하면 컴퓨터의 성능이 실제로 더 나빠졌습니다. 사실, 완벽한 타이밍이 없을 때 초기 메아리가 가장 유용한 단서인 것으로 밝혀졌습니다.

5. 음량은 어떨까요?

연구자들은 원래 음량 (레벨 보정) 을 아는 것이 도움이 되는지도 테스트했습니다.

• 판단: 거의 도움이 되지 않았습니다.
• 비유: 음량에 의존하는 것은 엔진 소리가 얼마나 큰지만으로 차가 얼마나 멀리 있는지 추측하려는 것과 같습니다. 일부 차는 본래 더 시끄럽고 바람이 음량을 바꿀 수 있기 때문에 이는 약한 단서입니다. 컴퓨터는 음량보다 메아리의 "형태"가 훨씬 더 좋은 단서임을 발견했습니다.

6. "안개" 문제

이 연구는 방의 울림 (잔향) 이 얼마나 큰지도 살펴보았습니다.

• 좋은 소식: 약간의 울림은 컴퓨터가 거리를 추측하는 데 도움이 됩니다.
• 나쁜 소식: 방이 너무 울림이 많다면 (예: 대성당처럼), 소리가 너무 번지고 흐릿해져서 컴퓨터가 혼란을 겪고 정확도가 떨어집니다.

요약

• 완벽한 타이밍을 가진 경우: 컴퓨터는 침묵의 시간을 단순히 세기만 합니다. 쉽고 매우 정확합니다.
• 완벽한 타이밍이 없는 경우 (실제 생활): 컴퓨터는 직접적인 목소리를 무시하고 벽에 튕겨 돌아오는 첫 번째 몇 번의 메아리에 집중합니다.
• 음량은 중요하지 않음: 화자의 원래 음량을 아는 것은 컴퓨터가 거리를 추측하는 데 도움이 되지 않습니다.
• 너무 많은 울림은 나쁨: 방의 울림이 너무 많으면 단서들이 씻겨 나갑니다.

이 논문은 실제 세계를 위한 더 나은 시스템을 구축하기 위해서는 전체 음량이나 직접적인 목소리뿐만 아니라, 컴퓨터에게 벽에 튕겨 돌아오는 그 첫 번째 반사음들을 더 주의 깊게 듣도록 가르쳐야 한다고 결론 내립니다.