지금까지 mmWave(밀리미터파) 레이더를 이용해 사람의 움직임을 인식하는 AI 를 훈련시킬 때, 데이터가 너무 적고 종류도 단조로웠습니다.
상황: 마치 비행기 조종사를 훈련시키는데, 오직 '맑은 날, 평지, 직진 비행' 상황만 100 번 반복해서 시뮬레이션에 넣은 것과 같습니다.
결과: 실제 비행 중 갑자기 비가 오거나 (새로운 환경), 급회전을 하거나 (새로운 동작) 하면 조종사는 당황해서 추락합니다. AI 도 마찬가지입니다. 훈련된 데이터와 다른 상황 (예: 옆에서 찍힌 모습, 복잡한 동작) 에서는 엉뚱한 예측을 합니다.
💡 해결책: "EMDUL"이라는 새로운 훈련 시스템
저자들은 **"데이터가 부족하다면, 없는 데이터를 만들어내고, 다른 곳에서 가져와서 섞어보자!"**라고 제안합니다. 이를 EMDUL이라고 부르는데, 크게 두 가지 마법 같은 장치를 사용합니다.
1. 마법 1: "눈 감고도 움직임을 알아맞히는 선생님" (미라벨 추정기)
상황: 우리는 '레이더 데이터'는 많지만, 그걸 해석할 '정답 (라벨)'이 없는 경우가 많습니다. (예: "저 사람이 손을 들었나? 안 들었나?"는 정답이 없는 데이터)
해결: AI 가 스스로 "아, 저건 손을 든 모양이겠지?"라고 추측해서 정답을 만들어냅니다 (이걸 가짜 정답, Pseudo-label이라고 합니다).
핵심 비유: 보통 AI 는 가짜 정답을 만들 때 실수를 많이 합니다. 하지만 이 논문은 **"시간의 흐름"**을 이용했습니다.
비유: 사람이 갑자기 공중으로 날아오르거나, 손이 갑자기 사라지는 건 물리적으로 불가능합니다. AI 가 예측한 동작이 시간 순서대로 자연스럽게 이어지지 않으면 (예: 손이 갑자기 사라졌다가 다시 나타남), "아, 이건 틀렸구나!"라고 지적하며 고치게 합니다. 이를 **UTCL(시간 일관성 손실)**이라고 하는데, AI 가 스스로 "자연스러운 동작"을 배우게 해주는 교정 장치입니다.
2. 마법 2: "레이더 눈으로 보는 LiDAR 데이터 변환기" (클로즈드 포름 컨버터)
상황: 'LiDAR(라이다)'라는 다른 센서는 mmWave 레이더보다 훨씬 더 다양하고 풍부한 데이터 (수영, 쪼그려 앉기 등) 를 가지고 있습니다. 하지만 LiDAR 데이터는 mmWave 레이더가 보는 방식과 완전히 달라서 바로 쓸 수 없습니다. (비유: 한국어로 된 책을 영어로 바로 번역할 수 없는 것처럼요)
해결: LiDAR 데이터를 mmWave 레이더가 보는 것처럼 **변환 (Translate)**해줍니다.
핵심 비유: LiDAR 는 모든 것을 다 잘 봅니다. 하지만 mmWave 레이더는 "움직이는 것"만 잘 봅니다. (예: 가만히 앉아 있는 사람은 레이더에 잘 안 잡히지만, 손 흔들면 잘 잡힙니다.)
이 논문은 LiDAR 데이터를 mmWave 로 바꿀 때, "움직이는 부분 (손, 발) 은 남기고, 가만히 있는 부분 (등, 허벅지) 은 지워버리는" 필터링 기술을 적용했습니다. 마치 LiDAR 데이터를 mmWave 레이더의 "눈"으로 다시 보게 만드는 변환기 역할을 합니다.
🚀 결과: "다양한 상황에서도 완벽하게 비행하는 조종사"
이 두 가지 방법을 섞어서 기존 데이터를 2 배, 3 배로 불려서 AI 를 다시 훈련시켰습니다.
기존 방식: 같은 환경 (훈련 데이터) 에서는 잘하지만, 새로운 환경 (실전) 에 가면 성능이 뚝 떨어집니다.
EMDUL 방식:
훈련 데이터 안에서도: 오차가 **15.1%**나 줄었습니다.
완전 새로운 환경에서도: 오차가 **18.9%**나 줄었습니다.
📝 한 줄 요약
"레이더 데이터가 부족하고 단조롭다면, '스스로 정답을 만들어내는 AI'와 '다른 센서 데이터를 레이더 눈으로 바꿔주는 변환기'를 합쳐서, AI 가 어떤 상황에서도 사람을 잘 알아볼 수 있게 훈련시켰다."
이 기술은 앞으로 보안, 로봇, 인간 - 컴퓨터 상호작용 등 레이더를 사용하는 모든 분야에서 AI 가 더 똑똑하고 안전하게 작동하도록 도와줄 것입니다.
1. 문제 정의 (Problem Statement)
데이터 부족 및 다양성 결여: 현재 mmWave 기반 HPE 를 위한 레이블이 지정된 데이터셋은 매우 부족합니다. 또한, 기존 데이터셋은 두 가지 측면에서 다양성이 제한적입니다.
점 구름 (Point Cloud, PC) 속성: 수집 장비의 이질성과 환경적 다양성 부족으로 인해 탐지 노이즈, 점 밀도, 인간 운동 감도 등의 속성이 제한적입니다.
자세 다양성: 피험자들이 레이더를 향해 단순한 자세로만 움직이는 경우가 많아, 실제 세계나 보지 못한 환경에서의 모델 일반화 능력을 저해합니다.
기존 방법의 한계:
비디오 데이터에서 스키레톤을 추출하여 mmWave PC 로 변환하는 기존 방법들은 자세 다양성은 높일 수 있으나, PC 의 물리적 속성 (분포) 을 다양화하지는 못합니다.
mmWave-LiDAR 쌍 (co-labeled) 데이터를 활용한 증강 방법은 데이터 수집과 라벨링 비용이 매우 높아 실용성이 떨어집니다.
2. 제안 방법: EMDUL (Methodology)
EMDUL 은 라벨이 없는 mmWave 데이터와 주석 처리된 LiDAR 데이터셋을 활용하여 기존 mmWave 데이터셋을 확장하는 두 가지 독립적인 모듈로 구성됩니다.
A. 라벨이 없는 mmWave 데이터의 의사 레이블링 (Pseudo-labeling)
목표: 라벨이 없는 mmWave 데이터에 자동으로 레이블을 부여하여 학습 데이터로 활용합니다.
기법:
의사 레이블 추정기 (Pseudo-label Estimator): 레이블이 있는 데이터로 학습된 감독 손실 (MSE) 과 라벨이 없는 데이터에 적용된 **비지도 시간적 일관성 손실 (Unsupervised Temporal Consistency Loss, UTCL)**을 함께 사용하여 추정기를 훈련합니다.
UTCL 의 핵심 아이디어: mmWave 레이더는 도플러 효과를 기반으로 하므로, 움직이는 신체 부위는 탐지되기 쉽고 (고 유동성), 정지한 부위는 탐지되기 어렵습니다 (저 유동성).
구성 요소:
동적 일관성 손실 (DCL): 탐지된 점 (PC) 에 가까운 관절은 움직임을 가져야 함 (유동성 > 임계값) 을 강제합니다.
정적 일관성 손실 (SCL): 탐지된 점으로부터 먼 관절은 정지해 있어야 함 (유동성 ≈ 0) 을 강제합니다.
이를 통해 시간적으로 일관성 있고 물리적으로 타당한 의사 레이블을 생성합니다.
B. LiDAR 데이터셋을 mmWave 점 구름으로 변환 (Closed-form PC Conversion)
목표: LiDAR 데이터셋을 mmWave 데이터의 특성을 모사하여 변환합니다.
변환 파이프라인 (순차적 증강):
Noisy Point Addition (NPA): 환경적 노이즈 점을 추가합니다.
Flow-based Point Filtering (FPF):핵심 알고리즘으로, LiDAR 의 스키레톤 흐름 (flow) 을 기반으로 점의 흐름을 보간한 후, mmWave 의 운동 탐지 메커니즘을 모사하여 저 유동성 (정지) 점들을 높은 확률로 제거합니다.
Random Sampling (RS): 점 밀도를 낮춰 mmWave 의 희소성을 모사합니다.
Noise Injection (NI): 좌표에 무작위 노이즈를 추가하여 공간 해상도 저하를 모사합니다.
이 과정을 통해 LiDAR 의 풍부한 자세 데이터를 mmWave 특성을 가진 데이터로 변환합니다.
C. 전체 파이프라인
LiDAR 데이터를 변환하여 D_conv 생성.
기존 mmWave 데이터 (D_mm) 와 D_conv 를 합쳐 레이블된 데이터 (D_lab) 구성.
D_lab 을 기반으로 의사 레이블 추정기 훈련.
훈련된 추정기로 라벨 없는 mmWave 데이터 (D_unlab) 에 레이블 부여 (D_pl 생성).
최종 확장 데이터셋 D_exp = D_lab ∪ D_pl 로 HPE 모델 학습.
3. 주요 기여 (Key Contributions)
비지도 시간적 일관성 손실 (UTCL) 기반 의사 레이블링: mmWave 의 물리적 특성 (운동 탐지 메커니즘) 을 반영한 새로운 손실 함수를 도입하여, 라벨 없는 데이터의 신뢰성 있는 레이블링을 가능하게 했습니다.
폐쇄형 (Closed-form) PC 변환기: mmWave-LiDAR 쌍 데이터 없이도, LiDAR 데이터를 mmWave 특성을 가진 데이터로 변환하는 알고리즘 (특히 FPF) 을 제안했습니다.
EMDUL 파이프라인: 위 두 모듈을 통합하여 mmWave 데이터셋의 양과 다양성을 동시에 확장하는 새로운 프레임워크를 제시했습니다.
4. 실험 결과 (Results)
데이터셋: mmWave 데이터셋 (MM-Fi, mmBody) 과 LiDAR 데이터셋 (LiDARHuman26M, HmPEAR) 을 사용했습니다.
성능 향상:
동일 도메인 (In-domain, MM-Fi → MM-Fi): 기존 SOTA 모델 대비 **15.1%**의 오차 감소.
이질 도메인 (Out-of-domain, mmBody → MM-Fi): **18.9%**의 오차 감소.
특히 일반화 능력 (Out-of-domain) 에서 큰 향상을 보였으며, 이는 데이터 다양성 확장의 효과임을 입증했습니다.
비교 분석:
기존 Mean Teacher (MT) 기반의 반지도 학습 방법보다 EMDUL 이 모든 설정에서 우수한 성능을 보였습니다.
FPF(Flow-based Point Filtering) 가 변환된 데이터의 현실성을 높이는 데 가장 중요한 요소임을 증실했습니다 (FPF 적용 시 변환된 데이터가 mmWave 로 분류될 확률이 60.46% 로 증가).
5. 의의 및 결론 (Significance)
데이터 희소성 해결: mmWave HPE 분야에서 레이블이 있는 데이터 부족이라는 근본적인 문제를 해결할 수 있는 실용적인 솔루션을 제공합니다.
다양한 센서 활용: 고비용의 mmWave-LiDAR 쌍 데이터 수집 없이, 널리 존재하는 LiDAR 데이터와 쉽게 수집 가능한 라벨 없는 mmWave 데이터를 활용할 수 있게 하여 모델의 일반화 능력을 극대화했습니다.
물리적 인사이트 통합: 단순히 데이터 증강을 넘어, mmWave 레이더의 물리적 작동 원리 (도플러 효과 기반 운동 탐지) 를 모델 학습과 데이터 변환 과정에 직접 반영함으로써 더 견고한 모델을 구축했습니다.
이 연구는 mmWave 기반 인간 자세 추정 기술이 실제 환경 (다양한 조명, 복잡한 자세, 다양한 환경) 에서 더 효과적으로 적용될 수 있는 기반을 마련했다는 점에서 의의가 큽니다.