💻 computer science

Teaching Foundation Models to Read mmWave: Pose-Guided Kinematic Representation for Human Behavior Understanding

이 논문은 개인정보 보호에 유리한 인간 행동 이해를 위해 포즈 유도 사전 학습을 활용하여 mmWave 레이더 데이터와 대규모 언어 모델을 정렬하는 레이더-언어 모델인 mmMind를 소개하며, 이는 새로운 실세계 벤치마크와 캡셔닝 및 질의응답 작업에서의 우수한 성능을 통해 검증되었습니다.

원저자: Duo Zhang, Zhehui Yin, Zhiyun Yao, Haotong Qin, Xusheng Zhang, Hongliu Yang, Jianyu Sun, Junzhe Wang, Zizhou Fan, Michele Magno, Daqing Zhang

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Duo Zhang, Zhehui Yin, Zhiyun Yao, Haotong Qin, Xusheng Zhang, Hongliu Yang, Jianyu Sun, Junzhe Wang, Zizhou Fan, Michele Magno, Daqing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 조수에게 방 안에서 사람들이 무엇을 하고 있는지 이해하는 법을 가르치려 한다고 상상해 보세요. 하지만 한 가지 제약이 있습니다. 로봇이 눈을 사용해서는 안 된다는 것입니다. 카메라는 훌륭하지만, 침실이나 화장실 같은 곳에서는 사생활 침해처럼 느껴질 수 있고, 특수한 센서를 착용하는 것은 번거로운 일입니다. 그래서 과학자들은 밀리미터파(mmWave) 레이더라는 다른 종류의 '시각'에 주목합니다. 이 레이더는 박쥐가 사용하는 초음파 탐지(echolocation)와 비슷합니다. 보이지 않는 전파를 보내 사람에게 부딪혀 돌아오게 함으로써, 신체의 위치와 움직임의 속도를 보여주는 점들의 구름을 만들어냅니다. 이는 사생활을 보호하며, 비접촉 방식이고, 식별 가능한 이미지를 포착하지 않습니다.

하지만 큰 문제가 하나 있습니다. 이 레이더 점들은 지저�하고 희소하며, 로봇의 두뇌(대규모 언어 모델, 즉 LLM)가 이해하기에는 매우 어렵습니다. LLM은 책을 읽고 이야기를 쓸 줄 아는 명석한 학생과 같지만, 만약 그에게 흩어져 있고 노이즈가 섞인 점 몇 개를 건네준다면 그는 그것이 무엇을 의미하는지 전혀 알 수 없습니다. 이는 마치 춤의 리듬이나 흐름 없이 무작위 좌표 목록만을 가지고 누군가에게 춤 동작을 설명하려는 것과 같습니다. 질문은 이것입니다. 어떻게 하면 이 혼란스럽고 보이지 않는 레이더 점들을, 언어에 능숙한 로봇이 읽고 이해할 수 있는 명확한 이야기로 바꿀 수 있을까요? 그래로 우리를 직접 보지 않고도 우리가 정확히 무엇을 하고 있는지 알아낼 수 있도록 말입니다.

여기서 mmMind라는 새로운 프로젝트가 등장합니다. 베이징 대학교와 ETH 취리히의 연구진은 비밀스러운 훈련 기법을 사용하여 레이더 감지 로봇이 인간의 움직임을 '읽도록' 가르치는 영리한 시스템을 구축했습니다. 당신이 학생에게 춤을 묘사하는 법을 가르친다고 상상해 보세요. 보통은 그냥 어지러운 영상을 보여주고 추측하게 하겠죠. 하지만 mmMind를 통해서는, 선생님이 먼저 학생에게 춤과 함께 무용수의 관절을 완벽하게 동기화한 스켈레톤(골격) 그림을 보여줍니다. 학생은 이 지저분한 레이더 점들을 명확한 스켈레톤 구조와 연결하는 법을 배웁니다. 학생이 이 '스켈레톤' 수업을 통해 리듬과 신체의 형태를 학습하고 나면, 선생님은 스켈레톤 그림을 치워버립니다. 이제 학생은 오직 지저러운 레이더 점들만 보더라도, 머릿속에서 스켈레톤을 그려내어 춤을 완벽하게 묘사할 수 있게 됩니다.

이 논문은 '포즈 유도형(pose-guided)' 훈련 방법을 사용하는 모델인 mmMind를 소개합니다. 훈련 단계에서 이 시스템은 레이더 데이터와 그에 대응하는 사람의 3D 포즈(스켈레톤)를 함께 살펴봅니다. 이를 통해 시스템은 희소하고 노이즈가 섞인 레이더 점들을 신체 구조를 유지하면서 시간의 흐름에 따라 변화하는 매끄럽고 연속적인 움직임의 언어로 변환하는 법을 배웁니다. 일단 이 학습이 완료되면, 시스템은 스켈레톤 데이터를 폐기합니다. 그 이후부터는 가공되지 않은 순수한 레이더 신호만으로도 인간의 행동을 이해할 수 있습니다. 연구진은 이 레이더에 능숙해진 모델을 대규모 언어 모델과 연결하여, 모델이 자신이 '보는' 것에 대해 질문에 답하고, 묘사를 작성하며, 심지어 대화를 나눌 수 있도록 만들었습니다.

이 방식이 실제 세계에서 작동함을 증명하기 위해, 팀은 단순히 컴퓨터 시뮬레이션을 사용한 것이 아니라 mmMind-Bench라는 거대한 새로운 데이터셋을 구축했습니다. 그들은 거실이나 사무실 등 7가지 서로 다른 실내 환경에서 실제 사람들이 움직이는 17.9시간 분량의 데이터를 기록했습니다. 23명의 참가자가 걷기, 앉기부터 팔벌려뛰기, 넘어지기까지 다양한 동작을 수행했습니다. 결정적으로, 그들은 단순히 '점프'와 같은 단어로 동작을 라벨링한 것이 아니라, 신체가 어떻게 움직였는지, 움직임의 방향은 어떠했는지, 그리고 사건의 순서는 어떠했는지를 상세하게 설명하는 이중 언어(영어 및 중국어) 설명, 질문, 다회차 대화(multi-turn dialogues)를 생성했습니다.

결과는 이 접근 방식이 상당한 진전임을 시사합니다. 동작을 묘사하고, 움직임에 관한 질문에 답하며, 모델이 본 적 없는 새로운 동작을 인식하는 작업에서 테스트했을 때, mmMind는 기존의 방법들을 일관되게 능가했습니다. 예를 들어, 동작 묘사에서 86.8점을 기록하며 차기 최고 방법론을 큰 격차로 따돌렸습니다. 보지 못한 새로운 동작을 인식하는 데 있어서는 91.2%의 정확도를 보였습니다. 연구진은 '스켈레톤' 훈련 단계를 제거했을 때 모델의 성능이 급격히 떨어지는 것을 발견했는데, 이는 신체의 구조를 배우는 것이 움직임을 이해하는 데 필수적임을 시사합니다. 또한, 레이더 데이터를 단순한 이산 코드(예: 움직임을 숫자 목록으로 변กัน)로 압축하려고 시도하면 모델의 정확도가 떨어진다는 것을 발견했으며, 이는 움직임을 매끄럽고 연속적인 흐름으로 유지하는 것이 더 낫다는 점을 확인시켜 줍니다.

이 시스템은 인상적이지만, 저자들은 그 한계에 대해서도 주의 깊게 언급했습니다. 이 시스템은 레이더 신호가 약하거나 사람이 부분적으로만 보일 경우, 몇 번을 점프했는지와 같은 정확한 숫자를 세는 데는 완벽하지 않습니다. 또한 현재 시스템은 방 안에 있는 여러 사람을 분리하는 데 도움이 필요하다는 점을 지적했습니다. 즉, mmMind가 분석하기 전에 섞여 있는 레이더 점들을 개별 사람으로 분류해 주는 외부 도구에 의존해야 합니다. 그러나 이 연구는 인간의 신체 역학(kinematics, 운동학)을 레이더를 통해 AI에게 가르침으로써, 우리의 사진을 찍지 않고도 우리가 무엇을 하고 있는지 알 수 있는 프라이버시 친화적인 조수를 구축할 수 있음을 시사합니다.

기술 요약: mmMind – 인간 행동 이해를 위한 포즈 유도형 운동학적 표현 (Pose-Guided Kinematic Representation)

문제 정의

대규모 언어 모델(LLM) 에이전트는 물리적 환경 내에서 인간의 행동을 인지하여 적시에 행동 인식형 보조를 제공할 수 있는 능력이 필요합니다. 밀리미터파(mmWave) 레이더는 프라이버시 친화적이고, 비접촉식이며, 저비용의 센싱 모달리티를 제공하지만, 그 관측 데이터는 언어와 정렬하기 어렵다는 단점이 있습니다. 기존의 레이더-언어 방법론은 다음과 같은 두 가지 주요 과제에 직면해 있습니다:

운동학적 표현 (Kinematic Representation): 기존 방식은 레이더 시퀀스를 폐쇄형 집합(closed-set) 라벨로 매핑하거나 이산적 토큰화(예: VQ-VAE)를 사용하는데, 이는 미세한 3D 신체 구조와 운동 역학을 손실할 수 있습니다. 일반적인 포인트 클라우드용 LLM은 레이더 데이터의 희소하고 노이즈가 많으며 시간적으로 불규칙한 특성에 적합하지 않습니다.
실세계 정렬 (Real-World Alignment): 레이더를 언어와 정렬하는 작업은 일반적으로 합성 데이터에 의존하거나 인간의 신체 구조에 대한 명시적인 감독(supervision)이 부족합니다. 미세한 행동 주석과 동기화된 포즈를 갖춘 실세계 데이터셋은 매우 드물며, 이는 미학습 동작 및 복잡한 추론 작업에 대한 모델의 일반화 능력을 제한합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 어떻게 하면 희소한 레이더 시퀀스를 운동학적으로 근거가 있는 표현으로 변환하고, 행동 이해를 위해 LLM과 정렬할 수 있는가?

방법론: mmMind

저자들은 학습 단계에서만 3D 포즈 감독을 사용하여 희소한 mmWave 관측으로부터 연속적인 운동학적 토큰을 학습하는 레이더-언어 모델인 mmMind를 제안합니다. 이 시스템은 추론 시에는 3D 포즈나 시각 데이터 없이 작동합니다.

1. 포즈 유도형 운동학적 토큰화 (Pose-Guided Kinematic Tokenization)

핵심 혁신은 동기화된 3D 포즈를 복구하도록 사전 학습되어, 잠재 공간(latent space)이 운동학적 구조를 보존하도록 설계된 시공간 레이더 인코더입니다.

입력: 각 포인트가 $(x, y, z, v)$ 를 포함하는 레이더 포인트 클라우드 시퀀스 $X = \{X_1, \dots, X_T\}$ .
아키텍처:
- 공간 인코더 (Spatial Encoder): 가변 크기의 포인트 클라우드를 프레임 수준의 표현으로 집계하여 동시 반사 간의 관계를 모델링하는 Spatial Transformer.
- 시간 인코더 (Temporal Encoder): 회전 위치 임베딩(rotary position embeddings)을 갖춘 Temporal Transformer를 통해 프레임 간 정보를 통합하여 운동의 연속성을 포착.
- 포즈 헤드 (학습 전용): 레이더 토큰을 3D 관절 좌표로 매핑하는 경량 헤드. 인코더는 관절 위치, 글로벌 루트 모션, 로컬 관절 분절, 골격 일관성 항을 포함하는 운동학적 손실( $L_{kin}$ )을 통해 최적화됩니다.
추론: 학습 후 포즈 헤드는 제거됩니다. 인코더는 레이더 데이터로부터 직접 연속적인 운동학적 토큰을 생성하며, 명시적인 포즈 입력 없이도 신체 구성과 운동 진화를 보존합니다.

2. 레이더-언어 정렬 (Radar-Language Alignment)

연속적인 토큰은 두 단계의 과정을 통해 LLM과 정렬됩니다.

1단계 (정렬): 경량 프로젝터가 레이더 토큰을 LLM 임베딩 공간으로 매핑합니다. 모델은 레이더 운동학(kinematics)과 행동 언어 사이의 대응 관계를 구축하기 위해 캡셔닝 데이터(영어/중국어)로 학습됩니다.
2단계 (지시어 튜닝): 레이더 인코더는 고정(frozen)됩니다. 프로젝터와 LLM(LoRA 어댑터를 통해)은 행동 캡셔닝, 시공간 질의응답(단일 턴 및 다중 턴), 대화에 대해 지시어 튜닝을 거칩니다. 이 단계에서는 추론을 지원하기 위해 운동학적 근거(kinematic rationales)를 포함합니다.

주요 기여

포즈 유도형 연속 표현: 본 논문은 학습 중에만 3D 포즈 감독을 사용하여 운동학적 근거가 있는 연속 표현을 학습함으로써 레이더 토큰화를 재정의합니다. 이를 통해 레이더 토큰이 초기 이산 양자화의 정보 병목 현상을 피하고 신체 구조와 운동 진화를 보존할 수 있게 합니다.
mmMind-Bench: 저자들은 최초의 대규모 실세계 mmWave-언어 데이터셋 및 벤치마크를 도입했습니다. 이는 7개의 실내 환경에서 23명의 참가자를 통해 기록된 17.9시간의 녹화 데이터를 포함하며, 27가지 행동을 다룹니다. 결정적으로, 엄격한 일반화 평가를 보장하기 위해 참가자, 환경, 세션이 서로 배제된(disjoint) 세트로 분할된 동기화된 3D 포즈와 미세한 언어 주석(캡션, QA, 대화)을 제공합니다.
레이더를 위한 파운데이션 모델: mmMind는 인간 행동 이해를 위한 다중 턴 추론 및 상호작용을 지원하는 최초의 mmWave 기반 파운데이션 모델로 제시되며, 캡셔닝, QA 및 미학습 동작 일반화에서 최첨단(SOTA) 성능을 달ы합니다.

실험 결과

mmMind-Bench에서 평가했을 때, mmMind는 모든 작업에서 기존 베이스라인(mmExpert, RadarLLM, mmCLIP 및 Qwen3-VL과 같은 범용 VLM 포함)을 일관되게 능가했습니다.

레이더 캡셔닝: BERTScore 86.8 및 METEOR 46.5를 달성하여 가장 강력한 베이스라인(예: RadarLLM 대비 BERTScore +11.6)을 크게 앞질렀습니다.
시공간 QA: 단일 턴 QA에서 89.2%, 다중 턴 대화에서 **84.7%**의 정확도를 달성하여, 다중 턴 시나리오에서 Qwen3-VL-32B 베이스라인보다 23.3포인트 높은 성능을 보였습니다.
미학습 동작 일반화: 모든 학습 단계에서 제외된 동작에 대해 **91.2%**의 정확도를 달성하여, 대조 학습 기반인 mmCLIP보다 11.5포인트 높은 성능을 기록했습니다.

**절제 연구(Ablation Studies)**를 통해 각 구성 요소의 필요성을 확인했습니다:

포즈 유도형 사전 학습을 제거했을 때 가장 큰 성능 저하(예: 미학습 동작 정확도에서 -21.8포인트)가 발생했으며, 이는 언어 감독만으로는 희소한 레이더 데이터를 조직하는 데 불충분함을 입증합니다.
보조 운동학적 손실(속도, 뼈 길이)을 제거하면 성능이 감소하여, 동적 및 구조적 제약의 필요성을 강조했습니다.
연속 토큰을 이산 VQ 토큰으로 교체했을 때 성능이 저하되어, 연속적 운동학 표현의 이점을 검증했습니다.

의의 및 주장

본 논문은 mmMind가 인간 중심 에이전트를 위한 프라이버시 친화적인 지각 인터페이스로서 mmWave 센싱의 잠재력을 입증한다고 주장합니다. 시각적 이미지나 웨어러블 장치의 필요성을 제거함으로써, 이 시스템은 침실이나 욕실과 같은 민감한 환경에서 에이전트가 "사람들이 무엇을 하고 있으며 그 활동이 어떻게 전개되는지" 이해할 수 있게 합니다.

저자들은 본 접근 방식이 학습 단계에서 인간의 운동학을 명시적으로 모델링함으로써 희소한 레이더 관측과 언어 이해 사이의 근본적인 간극을 해결한다고 강조합니다. 현재 시스템은 다인(multi-person) 시나리오를 위한 외부 트래킹에 의존하며 정밀한 정량적 지표(예: 정확한 속도 또는 반복 횟수) 추정에는 한계가 있지만, 이 연구는 이산 분류보다 구조적 및 동적 충실도를 우선시하는 레이더-언어 파운데이션 모델의 새로운 패러다임을 구축했습니다.