🤖 machine learning

Sound-based Multi-Person 3D Pose Estimation

이 논문은 신호의 중첩 및 반사와 같은 난제를 극복하기 위해 새로운 인코더-데코더 구조를 활용하여 오직 음향 신호만으로 다수 인원의 3D 포즈를 추정하는 최초의 프레임워크인 SoundMHPE를 소개하며, 이는 새롭게 구축된 6시간 분량의 동기화된 데이터셋을 통해 검증되었습니다.

원저자: Yusuke Oumi, Yuto Shibata, Go Irie, Akisato Kimura, Yoshimitsu Aoki, Mariko Isogawa

게시일 2026-09-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yusuke Oumi, Yuto Shibata, Go Irie, Akisato Kimura, Yoshimitsu Aoki, Mariko Isogawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십 년 동안 과학자들은 보이지 않는 것을 보는 방법을 찾기 위해 노력해 왔으며, 인간의 눈에 의존하지 않고 인간의 움직임을 추적할 수 있는 기술을 개발해 왔습니다. 빛에 의존하는 카메라는 어둠 속이나 사람이 벽 뒤에 숨었을 때 작동하지 못합니다. 일부 감지 시스템에서 사용되는 라디오파는 물이나 금속을 만났을 때 어려움을 겪습니다. 이러한 복잡한 실제 환경에서, 다른 종류의 신호가 유망한 대안으로 떠올랐습니다. 바로 소리입니다. 능동적으로 음향 펄스를 내보내고 그것이 어떻게 되돌아오는지 주의 깊게 들음으로써, 연구자들은 방 안의 물체의 형태와 위치를 파악할 수 있습니다. 능동 음향 감지(active acoustic sensing)라고 알려진 이 기술은 이미 한 사람의 자세를 파악할 수 있음을 보여주었으며, 심지어 그 사람이 가려져 있는 경우에도 가능했습니다. 그러나 이 분야에는 중대한 격차가 존재했습니다. 단일한 목소리나 움직임은 뚜렷한 메아리를 만들어내지만, 여러 사람으로 가득 찬 방은 중첩된 소리들이 뒤섞인 혼란스러운 상태를 만듭니다. 각 개인이 어디에 서 있고 어떻게 움직이는지 이해하기 위해 이 신호들을 풀어내는 것은, 한 사람의 메아리가 다른 사람의 메아리와 구별할 수 없을 정도로 섞이기 때문에 거의 불가능한 것으로 여겨져 왔습니다.

게이오 대학교, 도쿄 과학 대학교, 그리고 NTT의 연구팀은 이제 이 문제를 해결하기 위한 첫 걸음을 내디뎠습니다. 그들은 오직 소리만을 사용하여 여러 사람의 3차원 포즈를 추정할 수 있는 시스템을 개발했습니다. 연구진은 시스템을 훈련시키기 위해 맞춤형 데이터셋을 구축하였으며, 최대 세 명의 사람들이 방 안에서 동시에 움직이는 상황으로부터 6시간 분량의 동기화된 오디오 및 모션 데이터를 기록했습니다. 이 설정에는 특정 음향 신호를 방출하는 한 쌍의 스피커와 모든 방향에서 오는 소리를 포착할 수 있는 특수 마이크가 포함되었습니다. 참가자들이 걷고, 몸을 틀고, 팔을 들어 올릴 때, 시스템은 되돌아오는 메아리를 기록했습니다. 도전 과제는 엄청났습니다. 음향 신호는 여러 가지 다양한 움직임의 중첩이었으며, 소리가 신체와 벽에 반사되는 방식에 의해 더욱 복pp 복잡해져 특정 포즈와 특정 소리 변화 사이의 직접적인 연결 고리를 흐리게 만들었습니다.

이러한 복잡성을 헤쳐 나가기 위해, 연구팀은 SoundMHPE라고 부르는 새로운 프레임워크를 만들었습니다. 이 시스템은 오디오를 하나의 엉망인 덩어리로 처리하는 대신, 오디오를 여러 층위의 세부 정보로 분해합니다. 시스템은 서로 다른 시간 창(time windows)을 사용하여 소리를 분석하며, 순식간에 일어나는 급격한 변화와 소리의 주파수에서 나타나는 더 느리고 미세한 디테일을 모두 살펴봅니다. 이를 통해 시스템은 노이즈 속에 사라질 수도 있는 미세한 음향적 특징들을 분리해 낼 수 있습니다. 소리가 분석되면, 시스템은 사람들을 분리하기 위해 정교한 방법을 사용합니다. 시스템은 각 개인에게 특정 세트의 디지털 '쿼리(queries)'를 할당하여, 소프트웨어가 한 사람의 움직임의 시간적 진화를 추적하는 동시에 그 사람이 방 안의 다른 사람들과 어떻게 상호작용하는지를 이해할 수 있게 합니다. 이 접근 방식은 중첩된 정보를 풀어내어, 시스템이 프레임 단위로 각 사람의 포즈를 재구성할 수 있게 해줍니다.

이 연구의 결과는 이 시스템이 작동함을 입증합니다. 단일 인물 추적을 위해 설계되었거나 라디오파 감지에서 파생된 기존 방법들과 비교했을 때, 새로운 음향 기반 시스템은 더 높은 정확도를 보여주었습니다. 이 시스템은 다른 움직이는 개인들과 함께 수행될 때조차도 몸을 비틀거나 양팔을 들어 올리는 것과 같은 복잡한 움직임을 성공적으로 추적했습니다. 두 명 및 세 명의 인원이 참여한 테스트에서, 시스템은 예측된 관절 위치와 실제 위치 사이의 거리를 측정함에 있어 베이스라인 모델들을 능가하며 높은 수준의 정밀도를 유지했습니다. 또한 연구진은 그들의 방법이 보이지 않는 환경에도 적응할 수 있음을 발견했습니다. 방 안에 칸막이를 설치하여 소리의 반사 방식을 변경했을 때도 시스템은 여전히 거친 형태의 포즈를 추정할 수 있었으며, 이는 시스템이 다양한 음향 조건들을 처리할 수 있음을 시사합니다. 나아가, 이 시스템의 기저 논리는 라디오 주파수 데이터에 적용했을 때도 효과적임이 입증되어, 이 접근 방식이 서로 다른 유형의 신호 전반에 걸쳐 견고하다는 것을 보여주었습니다.

이 연구는 음향 감지로 가능한 영역의 중요한 확장을 의미합니다. 단일 인물 시나리오에서 다수 인원 환경으로 넘어감으로써, 연구팀은 카메라를 사용할 수 없고 라디오 신호가 차단될 수 있는 혼잡한 공간, 재난 구조, 그리고 스포츠 분석 분야에서의 응용 가능성을 열었습니다. 이 기술은 아직 초기 단계에 있으며 실제 세계에 배치하기 위해서는 추가적인 개발이 필요하지만, 이 새로운 데이터셋의 구축과 다인 추정 방법의 검증은 중요한 토대를 제공합니다. 이 연구는 소리가 적절한 도구와 함께 분석될 때, 집단의 숨겨진 기하학적 구조를 드러내어 혼란스러운 메아리의 혼합물을 명확한 인간 움직임의 그림으로 바꿀 수 있음을 확인시켜 줍니다.

기술 요약: 음향 기반 다인원 3D 포즈 추정 (SoundMHPE)

문제 정의

본 논문은 오직 음향 신호만을 사용하여 여러 개인의 3D 포즈를 추정하는 과제를 다룹니다. 능동적 음향 센싱을 통한 단일 인원 포즈 추정은 이미 탐구된 바 있으나, 이를 다인원 시나리오로 확장하는 것은 상당한 어려움을 수반합니다. 음향 변화가 한 개인의 움직임에 의해 유일하게 결정되는 단일 인원 설정과 달리, 다인원 시나리오에서는 **움직임에 따른 신호 변화의 중첩(superposition)**이 발생합니다. 관측된 신호는 여러 피사체의 겹쳐진 음향 시그니처가 혼합된 복잡한 형태이며, 이는 인물 간 반사(inter-person reflections)로 인한 복잡한 전파 지연으로 인해 더욱 복잡해집니다. 이러한 요인들은 특정 물리적 포즈와 음향 데이터 사이의 직접적인 대응 관계를 모호하게 만들어, 신호의 변화를 특정 개인의 것으로 귀속시키는 것을 어렵게 만듭니다.

RGB 이미지에 의존하는 기존 방식은 폐쇄(occlusion) 및 저조도 환경에서 문제를 겪으며, 무선 신호 기반 방식(RF, WiFi, mmWave)은 물이나 금속 장애물에 의한 제한 및 프라이버시 문제를 안고 있습니다. 능동적 음향 센싱은 조명에 영향을 받지 않고 특정 장애물을 투과할 수 있는 해결책을 제공하지만, 이전 연구는 단일 인원 추정에 국한되어 있었습니다.

방법론: SoundMHPE

저자들은 중첩된 음향 특징으로부터 동적인 움직임 의존적 정보를 분리하도록 설계된 새로운 인코더-디코더 프레임워크인 SoundMHPE(Sound-based Multi-person Human Pose Estimator)를 제안합니다. 이 시스템은 한 쌍의 스피커와 앰비소닉스(ambisonics) 마이크를 사용하는 능동적 음향 센싱 설정을 활용합니다.

1. 음향 다중 스케일 인코더 (AME)

다양한 시간적 및 세밀한 주파수 특징을 포착하기 위해, AME는 **다중 해상도 단시간 푸리에 변환(Multi-scale STFT)**을 통해 입력 음향 신호를 처리합니다.

다중 해상도 STFT: 시스템은 세 가지 서로 다른 시간 창 크기( $L$ , $2L$ , $4L$ )와 그에 대응하는 멜 필터 뱅크( $B$ , $2B$ , $4B$ )를 결합하여 로그-멜 스펙트로그램을 생성합니다. 이를 통해 고시간 해상도( $a_{high-time}$ ), 중간 해상도( $a_{mid}$ ), 고주파 해상도( $a_{high-freq}$ )를 가진 스펙트로그램을 생성합니다.
특화된 셀프 어텐션: 모든 해상도를 하나로 합치는 표준 셀프 어텐션 대신, AME는 다음을 채택합니다:
- 시간적 셀프 어텐션 (TSA): 동일한 STFT 창 해상도에서 생성된 특징 내에서 어텐션을 계산하여 시간적 관계를 모델링합니다.
- 주파수 셀프 어텐션 (FSA): 서로 다른 창 크기를 가졌지만 동일한 음향 시퀀스에서 파생된 스펙트로그램 간에 어텐션을 계산하여 주파수 영역의 관계를 포착합니다.

2. 시간적 포즈 디코더 (TPD)

TPD는 개인 내(intra-person) 시간적 역동성과 개인 간(inter-person) 상호작용을 명시적으로 모델링하도록 설계되었습니다.

다중 쿼리 전략: 전체 시퀀스를 대표하기 위해 단일 쿼리를 사용하는 표준 DETR 기반 모델과 달리, SoundMHPE는 각 개인에게 $N_{out}$ 개의 학습 가능한 포즈 쿼리(추정된 각 프레임당 하나)와 신뢰도 점수 산출을 위한 하나의 인스턴스 쿼리를 할당합니다. 이를 통해 모델이 시간 차원을 붕괴시키지 않고 특정 타임스텝에 해당하는 특정 음향 특징에 집중할 수 있게 합니다.
분리된 어텐션 메커니즘: 시간적 단서와 개인 간 의존성이 섞이는 것을 방지하기 위해, TPD는 두 가지 별도의 셀프 어텐션 메커니즘을 사용합니다:
- 모션 셀프 어텐션 (MSA): 동일한 개인에게 속한 쿼리에만 어텐션을 제한하여, 일관된 개인 내 시간적 역동성을 효과적으로 추출합니다.
- 상호작용 셀프 어텐션 (ISA): 특정 대상과 다른 모든 대상의 쿼리 간의 어텐션을 계산하여, 개인 간 의존성 및 상호 음향 영향을 모델링합니다.

3. 학습 및 손실 함수

모델은 포즈 손실( $L_{pose}$ , 평균 제곱 오차)과 신뢰도 손실( $L_c$ , 이진 크로스 엔트로피)로 구성된 매칭 기반 손실 함수(헝가리안 알고리즘)를 사용하여 학습됩니다.

주요 기여

최초의 다인원 음향 포즈 추정: 본 연구는 오직 음향 신호만을 사용하여 다인원의 3D 포즈를 추정하려는 최초의 시도로서, 고유한 신호 모호성과 중첩 문제를 해결합니다.
음향 다중 스케일 인코더: 다중 해상도 STFT와 특화된 셀프 어텐션(TSA 및 FSA)을 활용하여 미세한 시간적 역동성과 미묘한 음향 변화를 동시에 포착하는 혁신적인 구성 요소입니다.
시간적 포즈 디코더: 다중 쿼리 전략과 분리된 어텐션 메커니즘(MSA 및 ISA)을 사용하여 개인 내 시간적 진화와 개인 간 음향 상호작용을 공동으로 모델링하는 디코더 아키텍처입니다.
AMP 데이터셋: 15명의 참가자가 다양한 단일, 이중, 삼중 인원 구성으로 참여하여 수집한, 432,000개의 동기화된 다인원 포즈 및 음향 프레임을 포함하는 6시간 분량의 AMP(Acoustic Multi-person Pose) 데이터셋을 구축하였습니다.

실험 결과

저자들은 AMP 데이터셋에서 SoundMHPE를 평가하였으며, 이를 적응형 베이스라인 모델(단일 인원 음향 모델인 Shibata et al. 및 다인원 WiFi 기반 모델인 Yan et al.)과 비교하였습니다.

성능: SoundMHPE는 모든 지표(MPJPE, PA-MPJPE, PCK)에서 모든 베이스라인 모델을 능가했습니다. 구체적으로, 베이스라인 모델들이 각각 121.7mm와 119.9mm의 MPJPE를 기록한 것에 비해, SoundMHPE는 106.5mm의 MPJPE를 달성했습니다.
절제 연구 (Ablation Studies): AME 또는 TPD를 제거했을 때 성능이 크게 저하되었으며, 이는 다중 스케일 특징 추출과 특화된 디코더 아키텍처의 필요성을 입증합니다.
대상 인원 수: 모델은 단일 인원 설정과 비교하여 삼중 인원 시나리오에서도 경쟁력 있는 정확도를 유지하며, 신호 중첩에 대한 강건성을 보여주었습니다.
일반화 능력: 모델은 다른 반사 특성(예: 추가된 칸막이)을 가진 미지의 환경에서도 적응력을 보였습니다.
교차 모달 검증: WiFi 기반 다인원 포즈 추정 벤치마크(PiW)에 적용했을 때, 제안된 아키텍처(STFT 구성 제외)는 단일 프레임 및 시퀀스 기반 WiFi 베이스라인을 모두 능가하였으며, 이는 제안된 아키텍처가 다른 모달리티에도 일반화될 수 있음을 시사합니다.

의의 및 주장

본 논문은 시각 및 무선 신호가 제한적인 환경에서 비침습적 다인원 포즈 추정을 향한 기초적인 단계로서 이 연구를 위치시킵니다. 저자들은 전용 데이터셋을 구축하고 중첩된 음향 시그니처의 복잡성을 명시적으로 처리하는 프레임워크를 제안함으로써, 해당 분야의 중요한 공백을 메웠다고 주장합니다.

본 연구의 의의는 음향 신호를 사용하여 여러 사람의 포즈를 동시에 추정할 수 있음을 입증하여, 시각 기반 방식의 한계인 폐쇄 및 조명 문제를 극복했다는 데 있습니다. 저자들은 음향 기반 포즈 추정이 아직 초기 단계에 있으며, 대규모 데이터셋의 필요성과 다양한 환경에서의 강건성 등 실제 배포 시 직면할 과제들이 있음을 겸허히 언급합니다. 이들은 AMP 데이터셋과 SoundMHPE 아키텍처의 기여가 이 분야를 개척하는 데 필요한 토대가 될 것이라고 보고 있습니다.