🤖 machine learning

VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation

이 논문은 데이터 부족 문제를 극복하고 저자원, 불균형 및 피험자 일반화 시나리오 전반에서 웨어러블 인간 활동 인식 성능을 크게 향상시키기 위해 구조화된 시맨틱 모션 프로그램(Semantic Motion Programs)을 사용하여 제어 가능한 합성 IMU 데이터를 생성하는 비디오 기반 프레임워크인 VSMP-IMU를 소개한다.

원저자: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 춤을 추거나, 달리거나, 요가를 하고 있다는 것을 로봇이 인식하도록 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 당신의 움직임을 '느껴야' 하며, 보통 스마트워치나 몸에 부착된 센서를 통해 당신이 어떻게 흔들리고 회전하는지를 기록합니다. 이 분야를 '인간 활동 인식(Human Activity Recognition)'이라고 부릅니다. 문제는 로봇을 가르치려면 실제 사람들이 움직이는 수천 가지의 사례가 필요하며, 그 사례들을 확보하는 것은 매우 고된 일이라는 점입니다. 실제 사람에게 센서를 부착하고, 똑같은 동작을 반복하도록 요청해야 하며, 그들이 지치거나 동작을 바꾸지 않기를 바라야 합니다. 이는 비용이 많이 들고 시간이 오래 걸리며, 로봇이 약간 다르게 움직이는 새로운 사람을 만났을 때 혼란을 느끼게 만들기도 합니다.

이를 해결하기 위해 과학자들은 센서 데이터를 '가짜로' 만드는 방법을 시도해 왔습니다. 어떤 이들은 사람의 영상을 보고 센서가 무엇을 느낄지 추측하려고 합니다(예를 들어, 댄스 영상을 보고 리듬을 추측하는 것과 같습니다). 또 다른 이들은 "위아래로 점프하기"와 같은 텍스트 설명을 작성하여 컴퓨터가 움직임을 상상하게 하기도 합니다. 하지만 이러한 방법들에는 결함이 있습니다. 영상 방식은 카메라 각도가 이상하면 혼란을 겪고, 텍스트 방식은 너무 모호하여 센서가 느끼기에는 적절하지 않은 움직임을 만들어내곤 합니다. 큰 질문은 이것입니다. 우리가 만든 가짜 센서 데이터가 로봇을 가르칠 수 있을 만큼 충분히 현실적이면서도, 인간의 다양한 움직임을 모두 포괄할 수 있을 만큼 유연할 수 있을까?

여기 VSMP-IMU라는, 움직임에 관한 영화를 찍는 아주 똑똑한 감독 역할을 하는 새로운 시스템이 등장했습니다. 이 시스템은 단순히 영상이나 텍ền 프롬프트로부터 추측하는 대신, '의미론적 동작 프로그램(Semantic Motion Program, SMP)'을 사용합니다. SMP를 움직임에 대한 상세한 '레시피 카드'라고 생각해보세요. 그것은 단순히 "점핑잭"이라고 말하는 데 그치지 않고, "서기, 점프하며 팔 벌리기, 오므리기, 반복하기"와 같이 동작을 구체적인 단계로 나누며, 어떤 신체 부위가 관여하는지, 속도는 얼마나 빠른지, 팔을 얼마나 넓게 휘두르는지까지 정확하게 기록합니다.

마법은 이렇게 일어납니다: 시스템은 실제 사람이 활동하는 영상을 보고 이 '레시피 카드'를 추출합니다. 그런 다음, 창의력을 발휘합니다. 레시피를 수정할 수 있는데, 예를 들어 점핑잭을 매우 빠르게 하거나 팔을 크게 휘두르며 하도록 요청할 수 있지만, 여전히 핵심적인 정체성(그것은 여전히 점핑잭임)은 유지합니다. 레시피가 수정되면, 컴퓨터는 정확히 그 동작을 수행하는 사람의 3D 애니메이션을 생성합니다. 마지막으로, 시스템은 그 애니메이션 속 인물의 몸에 센서가 부착되었을 때 무엇을 느낄지 시뮬레이션하여, 3D 움직임을 가짜 센서 데이터로 변환합니다.

연구진은 이 새로운 가짜 데이터를 로봇의 두뇌에 입력하여, 로봇이 실제 인간의 움직임을 더 잘 인식하게 되는지 테스트했습니다. 결과는 인상적이었습니다. 로봇이 실제 데이터만으로 학습했을 때 점수는 100점 만점에 약 68.6점이었습니다. 여기에 VSMP-IMU의 가짜 데이터를 추가했을 때, 점수는 78.3점으로 뛰어올랐습니다. 이는 특히 실제 데이터가 많지 않을 때 엄청난 향상입니다. 로봇이 배울 수 있는 실제 데이터가 매우 적은 상황(통상적인 양의 1% 수준)에서도, 이 시스템은 로봇의 점수를 실제 데이터만으로 학습했을 때보다 거의 19점이나 높여주었습니다.

또한 이 시스템은 지시를 따르는 능력도 증명했습니다. 연구진이 특정 속도로 움직임을 생성하도록 요청했을 때, 생성된 동작이 요청과 일치하는 비율은 **92%**였습니다. 특정 반복 횟수를 요청했을 때, 시스템은 한 횟수 차이 내에서 **90.6%**의 정확도를 보였습니다. 그러나 논문은 시스템이 점프나 스쿼트와 같은 큰 전신 움직임에는 뛰어나지만, 기반이 되는 3D 애니메이션이 모든 손가락의 미세한 떨림까지 보여주지는 않기 때문에 공을 잡는 것과 같은 작고 정밀한 손 동작에는 때때로 어려움을 겪는다고 언급했습니다.

요약하자면, VSMP-IMU는 구조화된 '레시피'를 사용하여 가짜 센서 데이터를 생성함으로써, 로봇이 인간의 움직임을 이전보다 훨씬 더 잘 이해하도록 가이드할 수 있음을 시사합니다. 이는 영상을 보는 것과 진동을 느끼는 것 사이의 간극을 메우며, 다양하고 제어 가능하며 놀라울 정도로 현실적인 합성 움직임 라이브러리를 만들어냅니다. 비록 인간 움직임의 모든 미세한 부분까지 완벽하지는 않지만, 이는 수천 명의 실제 사람에게 센서를 부착할 필요 없이 차세대 웨어러블 기술을 훈련할 수 있는 강력한 새로운 방법을 제공합니다.

기술 요약: VSMP-IMU

1. 문제 정의

웨어러블 인간 활동 인식(Human Activity Recognition, HAR)은 레이블이 지정된 관성 측정 장치(IMU) 데이터의 부족, 특히 저자원, 클래스 불균형 및 피험자 일반화 시나리오에서 상당한 어려움을 겪고 있습니다. 합성 데이터 생성은 실제 데이터 의존성을 줄이기 위한 잠재적인 해결책을 제공하지만, 기존 방법들은 근본적인 트레이드오프에 직면해 있습니다:

비디오 기반 방법(예: IMUTube)은 시각적으로 근거를 두고 있으나, 포즈 추정 오류, 폐쇄(occlusion), 시점 모호성에 취약합니다. 또한 레이블을 보존하는 실행 변이(예: 템포, 진폭)에 대한 제어 능력이 부족한 경우가 많습니다.
텍스트 기반 방법(예: IMUGPT 2.0)은 높은 제어 가능성을 제공하지만, 실제 활동이 수행되는 방식의 구체적인 시공간 패턴에 대한 근거가 약한 경우가 많습니다. 즉, 레이블에는 부합하지만 웨어러블 관련 세부 사항이 결여된 동작을 생성할 가능성이 있습니다.
고전적 신호 증강(예: jittering, scaling)은 강건성을 개선하지만, 새로운 의미론적 동작 패턴이나 물리적으로 타당한 활동의 변이를 도입하지는 못합니다.

핵심 과제는 취약한 프레임 단위 포즈 추정이나 근거가 불분명한 텍스트 프롬프트에 의존하지 않고, **활동을 정의하는 불변량(activity-defining invariants)**을 보존하면서 제어 가능하고 레이블을 보존하는 실행 변이를 생성할 수 있는 합성 IMU 데이터를 생성하는 것입니다.

2. 방법론: VSMP-IMU

저자들은 비디오 이해와 관성 합성을 연결하는 **의미론적 동작 프로그램(Semantic Motion Program, SMP)**이라는 구조화된 중간 표현을 도입하는 VSMP-IMU 프레임워크를 제안합니다.

2.1 의미론적 동작 프로그램 (SMP)

SMP는 활동을 정의하는 의미론과 실행 속성을 분리하는 구조화된 스키마입니다. 이는 다음과 같은 필드 집합으로 정의됩니다:
$S = \{y, P, D, B, T, A, O, C, U\}$
여기서:

불변량 (Fixed): 활동 레이블( $y$ ), 프리미티브 시퀀스( $P$ ), 신체 부위 관여도( $B$ ), 물체/접촉 정보( $O$ ). 이들은 활동의 정체성을 정의합니다.
변이 (Augmentable): 프리미티브 지속 시간( $D$ ), 시간적 조직( $T$ ), 템포, 진폭, 우세 측, 대칭성과 같은 실행 속성( $A$ ). 이들은 클래스 레이블을 변경하지 않으면서 제어된 변이를 허용합니다.
제약 및 불확실성: 증강 제약( $C$ )과 필드 수준의 불확실성( $U$ )은 안전한 섭동(perturbation)을 가이드합니다.

2.2 VSMP-IMU 파이프라인

프레임워크는 다음 단계들을 통해 작동합니다:

비디오 근거 SMP 추출: 사전 학습된 시각-언어 모델(VLM, 구현에서는 GPT-5.3)이 입력 활동 비디오로부터 초기 SMP를 추출합니다. VLM은 자유 형식의 텍스트가 아닌 구조화된 필드(레이블, 프리미티브, 신체 부위, 속성, 불확실성)를 출력하도록 프롬프트됩니다.
의미론적 정제: 추출된 SMP는 일관성 검사(레이블-프리미티브 호환성, 신체 부위 일관성, 시간적 일관성, 물체/접촉 일관성)를 거칩니다. 검사를 통과하지 못한 필드는 수정되거나 높은 불확실성으로 표시됩니다.
제약된 증강: 정제된 SMP는 $K$ 개의 변이를 생성하기 위해 증강됩니다. 증강은 **불확실성 조건부(uncertainty-conditioned)**로 이루어집령다: 불확실성이 낮은(신뢰도가 높은) 필드는 더 공격적으로 섭동을 가하는 반면, 불확실성이 높은 필드는 최소한으로 변경하거나 고정합니다. 결정적으로, 불변량 필드는 변경되지 않습니다.
언어화 및 동작 합성: 각 증당된 SMP는 동결된 텍스트-투-모션 생성기인 HY-Motion과 호환되는 자연어 프롬프트로 변환됩니다. HY-Motion은 프롬프트를 기반으로 3D 인간 동작 시퀀스( $M$ )를 합성합니다.
IMU 합성: 3D 동작은 IMUSim을 사용하여 가상 IMU 신호로 변환됩니다. 가상 센서는 명목 구성(편향, 노이즈, 장착 방식)과 함께 특정 신체 분절에 부착됩니다.
센서 인지 근거화 (Sensor-Aware Grounding): 합성 데이터와 실제 웨어러블 데이터 사이의 간극을 메우기 위해 두 가지 적응 단계가 적용됩니다:
- 루프 내 시뮬레이션 최적화 (Simulation-in-the-loop Optimization): 실제 훈련 데이터의 시간적 및 다변량 통계( $D_{stat}$ )와 일치하도록 유계된 물리적 잔차(예: 장착 방향, 편향, 노이즈 스케일)를 최적화합니다.
- 순위 기반 근거화 (Rank-Based Grounding): 신호를 대상 데이터셋의 관례(축 순서, 부호, 중력, 단위)에 맞추고, 그 후 순위 기반 분위수 매칭( $D_{rank}$ )을 통해 대상 도메인의 주변 분포에 매핑합니다.
품질 필터링: 생성된 샘플은 동작의 타당성, 클래스 충실도(경량 HAR 검증기 사용), 그리고 중복성(임베딩 기반 최근접 이웃 확인)을 기준으로 필터링됩니다.

3. 주요 기여

의미론적 동작 프로그램 (SMP): 제어된 변이를 가능하게 하기 위해 활동을 정의하는 불변량과 실행 속성을 명시적으로 분리하는 구조화된 중간 표현을 도입했습니다.
VSMP-IMU 프레임워크: SMP 추출, 제약된 증강, 텍스트-투-모션 합성, 센서 인지 근거화를 통합하는 비디오 근거 합성 IMU 생성의 완전한 파이프라인을 제공합니다.
포괄적 평가: 세 가지 설정(표준 LOPO, 저자원, 롱테일) 하에서 5개의 공개 데이터셋(MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW)에 걸쳐 광범 l한 평가를 수행했습니다.
제어 가능성 분석: 요청된 SMP 속성(템포, 진폭, 반복 횟수, 프리미티브 지속 시간, 대칭성)이 생성된 동작에서 실현되고 근거화된 IMU 신호에서 관찰되는지를 평가하는 엄격한 엔드 투 엔드 연구를 수행했습니다.

4. 결과

4.1 성능 향상

표준 LOPO: VSMP-IMU는 평균 Macro-F1 **78.33%**를 달성하여, Real-only 훈련(68.56%)보다 9.77%, 가장 강력한 이전 합성 베이스라인(IMUTube, 74.30%)보다 4.04% 높은 성능을 보였습니다.
저자원 (Low-Resource): 훈련 데이터가 줄어든 설정(예: 1% 레이블 예산)에서, VSMP-IMU는 Real-only 훈련보다 18.54%, 가장 강력한 이전 베이스라인보다 6.76% 개선되었습니다.
롱테일 (Long-Tail): 과소 대표된(tail) 클래스의 경우, VSMP-IMU는 Real-only 훈련 대비 Macro-F1을 19.86%, SOTA 대비 4.76% 향상시켜 희소한 활동에 대한 우수한 커버리지를 입증했습니다.

4.2 제어 가능성 발견 사항

파이프라인 전체( $S \to M \to \text{Raw IMU} \to \text{Grounded IMU}$ )에 걸친 요청된 제어의 실현 여부를 평가했습니다:

템포 및 반복 횟수: 동작 수준에서는 강한 일치성( $\rho=0.92$ 및 $\rho=0.93$ )을 보였으나, IMU 합성 및 근거화 이후에는 상당한 감쇠를 경험했습니다( $\rho=0.61$ ).
진폭: 중간 정도의 동작 수준 제어( $\rho=0.86$ )를 보였으나, 다른 속성에 비해 근거화된 IMU에서의 보존율( $\rho=0.75$ )이 더 높았습니다.
프리미티브 지속 시간: 파이프라인을 거치며 증가하는 오차를 나타냈습니다 (MAPE: 동작 단계 9.8% $\to$ 근거화된 IMU 단계 14.1%).
대칭성: 데이터셋의 양측 센서 부재로 인해 동작 수준에서만 평가되었으며, 86%의 정확도를 달성했습니다.
레이블 유지: 높은 유지율(93.5%–97.1%)이 관찰되었으며, 이는 변이가 핵심 활동의 정체성을 거의 바꾸지 않았음을 나타냅니다.

4.3 절제 연구 (Ablation Studies)

구조적 vs. 비구조적: 구조화된 SMP 표현은 단순히 일반적인 캡션에 속성 지침을 추가하는 것보다 더 큰 성능 향상(+2.90 Macro-F1)을 제공했습니다.
구성 요소 기여도: 센서 도메인 적응(루프 내 시뮬레이션 + 순위 기반 근거화)이 가장 결정적인 구성 요소였으며, 이를 제거했을 때 가장 큰 성능 저하가 발생했습니다.

5. 의의 및 주장

본 논문은 구조화된 비디오 근거 의미론이 제어 가능하고 웨어러블에 적합한 합성 센서 데이터를 생성하기 위한 실질적인 토대를 제공한다고 주장합니다. 활동의 정체성과 실행 변이를 분리함으로써, VSMP-IMU는 순수 시각적 접근 방식과 순수 텍스트 접근 방식의 한계를 해결합니다.

저자들은 다음을 강조합니다:

이 프레임워크는 단순한 신호 섭동보다 의미론적으로 유의미한 다양성이 더 가치 있는 저자원 및 롱테일 설정에서 가장 유용합니다.
본 방식은 주기적인 운동을 넘어 손목 중심의 제스처 및 비주기적 동작으로 성공적으로 확장되지만, 전신 동작 백엔드의 한계로 인해 미세한 손 관절 움직임이나 물체 접촉에 의존하는 활동(예: 잡기, 노크하기)에서는 이득이 작습니다.
이 방법은 완벽한 관절 손가락 움직임이나 물체 상태 변화를 생성한다고 주장하는 것이 아니라, 신체 및 손목 수준의 웨어러블 데이터를 위한 구조화된 보완 도구로서 기능합니다.

이 연구는 구조화된 중간 표현을 정밀하게 교정된 시뮬레이션 파이프라인과 결합하는 것이 웨어러블 컴퓨팅의 데이터 부족 문제를 극복하기 위한 유망한 방향임을 시사합니다.