🤖 AI

EquiFusion: Kinematics-Agnostic Human Motion Prediction via Equivariant Latent Diffusion

EquiFusion은 스켈레톤 연결성을 명시적 입력으로 처리하는 순열 불변 잠재 확산 아키텍처를 사용하여, 이전 방식보다 현저히 높은 효율성과 함께 우수한 교차 데이터셋 일반화, 제로샷 능력 및 최첨단 성능을 가능하게 하는 최초의 운동학 불가지론적(kinematics-agnostic) 인간 동작 예측 모델을 선보입니다.

원저자: Cecilia Curreli, Florian Hofherr, Dominik Muhle, Abhishek Saroha, Riccardo Marin, Daniel Cremers

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cecilia Curreli, Florian Hofherr, Dominik Muhle, Abhishek Saroha, Riccardo Marin, Daniel Cremers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 춤을 가르치는 상황을 상상해 보세요. 과거에는 로봇에게 "힙합" 스타일을 가르치고 싶다면 그만을 위한 전용 뇌를 만들어야 했습니다. 만약 "발레"를 가르치고 싶다면, 완전히 새로운 뇌를 만들거나 기존의 힙합 뇌를 발레 뇌처럼 보이도록 억지로 늘리고 비틀어야 했습니다. 이처럼 늘리고 비트는 과정을 **리타겟팅(retargeting)**이라고 부르는데, 이 논문은 이 과정이 로봇의 균형 감각을 무너뜨리는 지저도하고 오류가 많은 악몽이라고 주장합니다.

EquiFusion의 연구진은 이렇게 말합니다. "댄스 스타일마다 하나의 뇌를 만드는 일을 멈추십시오." 그들은 어떤 골격(skeleton)을 마주하더라도 상관하지 않는 최초의 로봇 뇌를 구축했습니다. 골격이 17개의 관절을 가졌든, 22개의 관절을 가졌든, 혹은 숨겨진 팔처럼 몇 개의 관절이 빠져 있더라도, 이 새로운 모델은 단 하나의 유연한 마음으로 이 모든 것을 처리합니다.

핵심 요소: 치환 불변성 (Permutation Equivariance)

이들이 어떻게 이를 해냈는지 이해하기 위해, 친구들이 서로 손을 잡고 원형으로 서 있는 모습을 상상해 보세요. 기존 모델에서 컴퓨터는 각 친구가 정확히 어디에 서 있는지 외워야 했습니다. 만약 친구 A가 친구 B의 자리로 이동하면, 컴퓨터는 특정 자리에 친구 A가 있을 것이라고 프로그래밍되어 있었기 때문에 혼란에 빠졌습니다.

EquiFusion은 **치환 불변성(permutation equivariance)**이라는 수학적 기법을 사용합니다. 이것은 마치 친구들의 구체적인 '자리'가 아니라 친구들 사이의 '관계'를 이해하는 보편적인 번역기와 같습니다. 누가 어디에 서 있든 상관없이, 모델은 "손 A가 손 B를 잡고 있다"는 사실을 이해합니다. 덕분에 모델은 움직임의 '규칙'을 한 번 학습하면, 매번 새로운 신체 구조에 맞춰 다시 학습할 필요 없이 어떤 골격에도 적용할 수 있습니다.

이들이 배제한 것들

이 논문은 무엇이 작동하지 않는지, 그리고 무엇을 피하고 있는지 매우 명확하게 밝히고 있습니다.

더 이상의 "리타겟팅"은 없다: 연구진은 하나의 골격 타입을 다른 타입으로 변환(예: 17개 관절 골격을 22개 관절 골격으로 변환)하여 모델에 입력하는 기존 방식에 명시적으로 반대합니다. 그들은 이 방식이 오류(예: 흔들거리는 가짜 발을 추가하는 문제)를 유발하며, 데이터를 모델이 본 적 없는 이상한 분포로 이동시킨다는 것을 발견했습니다.
"관절 특정적"인 뇌는 거부한다: 모든 데이터셋(Human3.6M, AMASS, Nymeria 등)마다 별도의 네트워크를 훈련시키는 아이디어를 거부합니다. 논문은 특정 관절의 수나 유형에 종속된 가중치를 가진 모델은 새로운 골격에 일반화될 수 없음을 증명합니다.
SMPL로부터의 "마법 같은 사전 지식"은 없다: 특정 메쉬 데이터나 스키닝(skinning)이 필요한 기존 3D 바디 모델(SMPL 등)에 의존하지 않습니다. 이러한 모델들은 실제 모션 캡처 데이터에서는 흔히 구할 수 없는 경우가 많습니다.

결과: 더 작고, 빠르고, 똑똑하게

저자들은 단순히 추측한 것이 아니라 모든 것을 측정했습니다. 실험 결과는 다음과 같습니다.

제로샷(Zero-Shot)의 마법: 모델이 한 번도 본 적 없는 골격(예: 22개 관절의 AMASS로 학습한 후 17개 관절의 H36M 데이터셋을 테스트)에 대해 테스트를 진행했습니다. 모델은 추가 학습 없이도 "즉시(out-of-the-box)" 작동했습니다.
엄청난 효율성: 모든 신체에 하나의 뇌를 사용하기 때문에, 이 모델은 가장 가까운 경쟁 모델인 SkelDiff보다 파라미터 측면에서 75% 더 작습니다. 또한 훈련 및 실행 속도가 2배 더 빠릅니다.
더 높은 정확도: 표준 테스트에서 최첨단(state-of-the-art) 결과를 달ей했습니다. 예를 들어, H36M 데이터셋에서 예측 오차(uADE)를 7.86cm로 줄였습니다(리타겟팅을 사용한 다음 순위 모델의 10.81cm와 비교).
누락된 부위 처리: 모델에 입력되는 도중 팔과 같은 전체 사지를 숨기는 "제로샷" 테스트를 수행했을 때, 다른 모델들은 실패하거나 복잡한 수동 수정이 필요했던 반면, 이 모델은 나머지 신체의 미래 움직임을 여전히 합리적으로 예측해 냈습니다.

얼마나 확신하는가?

논문의 저자들은 엄격한 수학적 근거와 광범위한 실험을 통해 이 결과에 상당한 자신감을 보입니다.

증명된 수학: 그들은 모델이 어떤 크기의 골격도 다루기 위해서는 가중치가 관절 수와 독립적이어야 한다는 수학적 증명(Lemma 1 및 Theorem 2)을 제시했습니다. 기존 모델들은 이 규칙을 위반하지만, EquiFusion은 설계 단계부터 이를 만족한다는 것을 증명했습니다.
측정된 성능: 단순히 시뮬레이션에 그치지 않고, 방대한 실제 데이터셋(AMASS, Nymeria, Human3.6M)으로 모델을 훈련시키고 기존 최고의 방법들과 비교했습니다. 결과는 제로샷 시나리오의 모든 지표에서 최소 **25%**의 성능 향상을 보였으며, 현실성 측면에서는 최대 **70%**까지 향상되었습니다.
한계점: 저자들은 작은 제한 사항을 언급했습니다. 모델이 "리프(leaf)" 관절(팔 끝에 있는 손 등)이 누락된 경우는 처리할 수 있지만, 중간 관절이 사라지고 끝부분만 남아 있는 경우(예: 팔꿈치는 없지만 손은 있는 경우)에는 어려움을 겪습니다. 그들은 이것이 향후 연구 과제임을 시사했습니다.

요약하자면, EquiFusion은 더 이상 세상을 우리의 모델에 맞추기 위해 강요할 필요가 없음을 보여줍니다. 대신, 우리는 전신 무용수든, 부분적인 모습이든, 혹은 한 번도 본 적 없는 완전히 새로운 골격 구조든, 세상을 담아낼 수 있을 만큼 유연한 모델을 만들 수 있습니다.

기술 요약: EquiFusion

문제 정의

확률적 3D 인간 동작 예측(Stochastic 3D Human Motion Prediction, SHMP)은 과거의 관측으로부터 다양하고 물리적으로 타당한 미래 동작의 분포를 모델링하는 것을 목표로 합니다. 기존 SHMP 방식의 근본적인 병목 현상은 **운동학적 경직성(kinematics rigidity)**입니다. 현재의 모델들은 골격 운동학(특정 그래프 구조, 관절 수, 연결성)을 구조적 사전 지식(prior)으로 하드코딩합니다. 이는 다음과 같은 몇 가지 결정적인 한계를 초래합니다:

일반화 능력 부족: 특정 데이터셋(예: 17개 관절을 가진 Human3.6M)으로 학습된 모델은 재학습 없이는 다른 운동학(예: 22개 관절을 가진 AMASS)에 대한 동작을 추론할 수 없습니다.
비효율적인 학습: 모든 서로 다른 운동학마다 별도의 모델 인스턴스를 학습시키는 것은 계산적으로 낭비이며 비실용적입니다.
리타겟팅 오류: 보이지 않는 운동학을 처리하기 위해 기존 방식은 동작 리타겟팅(스켈레톤 간의 동작 변환)에 의존합니다. 이 과정은 상당한 오류, 드리프트(drift), 분포 변화를 유발하여 예측 품질을 저하시킵니다.
폐쇄(Occlusion) 처리: 기존 방법들은 명시적으로 그러한 손상된 데이터로 학습되지 않는 한, 부분적인 관측(가려진 사지)을 처리하는 데 어려움을 겪습니다.

본 논문은 이전 아키텍처들이 관절의 수(cardinality)와 특정 순서에 의존하는 가중치를 학습함으로써, 임의의 운동학적 체인(kinematic chains)을 처리해야 하는 요구 사항을 위반한다는 점이 핵심 문제임을 식별했습니다.

방법론: EquiFusion

저자들은 최초의 운동학 불가지론적(kinematics-agnostic) SHMP 모델인 EquiFusion을 제안합니다. 이는 **순열 동변 잠재 확산 모델(Permutation Equivariant Latent Diffusion Model)**로 구현되었습니다.

핵심 원칙

순열 동변성 (Permutation Equivariance, PEQ): 저자들은 모델이 운동학 불가지론적이 되기 위해서는 학습된 파라미터가 관절의 수( $J$ )와 독립적이어야 함을 공식화합니다. 그들은 입력 관절의 순서를 바꾸더라도 결과의 순서도 그에 맞게 바뀌는 순열 동변성이 이를 만족시키기 위한 충분 조건임을 증명합니다.
- 수학적으로, $P$ 가 순열 행렬일 때, 모델 $f$ 는 $f(PX, PAP^T) = P f(X, A)$ 를 만족해야 합니다.
- 이를 통해 가중치가 특정 관절 인덱스에 국한되지 않고 모든 관절에 공유되도록 보장합니다.
명시적 운동학 입력: 운동학을 암묵적인 사전 지식으로 취급하는 기존 방식과 달리, EquiFusion은 **인접 행렬( $A$ )**을 명시적인 입력 파라미터로 받습니다. 이를 통해 모델이 어떤 그래프 구조에도 동적으로 적응할 수 있게 합니다.
아키텍처:
- 잠재 확산 (Latent Diffusion): 효율성을 높이기 위해 모델은 원시 입력 공간이 아닌 저차원의 잠재 공간에서 작동합니다.
- 동변 오토인코더 (Equivariant Autoencoder): 트랜스포머 기반의 오토인코더는 동작 시퀀스를 잠재 공간 $z$ $z$ 로 매핑합니다. 결정적으로, 트랜스포머의 토큰은 (시간이 아닌) 관절을 나타내며, 아키텍처는 순열 동변성을 갖도록 설계된 그래프 컨볼루션(Graph Convolution) 및 그래프 어텐션(Graph Attention) 레이어를 사용합니다.
  - 그래프 컨볼루션: 학습된 관절별 가중치 없이 인접한 특징을 집계하기 위해 인접 행렬을 사용합니다.
  - 셀프 어텐션 (Self-Attention): 그래프 구조를 존중하도록 설계된 그래프 컨볼루션을 통해 Query, Key, Value 벡터를 계산합니다.
- 동변 디노이저 (Equivariant Denoiser): 관측된 과거 데이터와 인접 행렬을 조건으로 하여 잠재 영역에서 미래의 동작을 예측합니다.
동작 파라미터화 (뼈 방향): 데이터로부터 직접 학습하지 않고도 물리적 일관성(예: 고정된 뼈 길이)을 보장하기 위해, 저자들은 동작을 절대적 3D 좌표가 아닌 **상대적 뼈 방향 벡터(relative bone direction vectors)**로 표현합니다.
- 이 표현 방식은 설계 단계부터 일관된 사지 길이를 보장합니다.
- 좌표 기반 예측에서 흔히 발생하는 사지 늘어남이나 떨림 현상을 제거합니다.
- 위치 및 회전 기반 표현 모두로부터 쉽게 유도될 수 있어 교차 데이터셋 학습을 용이하게 합니다.

주요 기여

제로샷 운동학의 공식화: 본 논문은 SHMP를 위한 두 가지 새로운 제로샷 태스크를 도입하고 공식화합니다:
- 학습 시 보지 못한 전체 신체 운동학에 대한 동작 예측.
- 명시적인 손상 데이터 학습 없이 부분적 운동학(가려지거나 누락된 사지)에 대한 동작 예측.
운동학 불가지론적 아키텍처: 관절 순서 독립성을 만족하는 수학적 제약을 충족하며, 단일 모델이 여러 데이터셋과 운동학을 처리할 수 있도록 하는 원칙적이고 엔드투엔드(end-to-end) 방식의 순열 동변 아키텍처를 제안했습니다.
효율적인 SOTA 성능: EquiFusion은 표준 벤치마크(AMASS, Human3.6M)에서 최고 수준(SOTA)의 결과를 달면서도, 가장 가까운 경쟁 모델(SkelDiff)보다 75% 더 컴팩트하며(파라미터 수 기준) 훨씬 적은 학습 및 추론 시간을 요구합니다.
통합 학습: 최초로 이질적인 데이터셋(예: AMASS와 Nymeria)을 동시에 학습할 수 있는 능력을 보여줌으로써, 인간 동작을 위한 파운데이션 모델의 가능성을 열었습니다.

실험 결과

저자들은 세 가지 주요 데이터셋인 AMASS (22개 관절), Human3.6M (17개 관절), Nymeria (23개 관절)에 대해 EquiFusion을 평가했습니다.

제로샷 운동학: AMASS로 학습하고 Human3.6M으로 테스트했을 때(또는 그 반대의 경우), EquiFusion은 리타겟팅 파이프라인을 사용하는 모든 베이스라인보다 정밀도(precision)에서 최대 27%, 사실성(realism)에서 72% 더 높은 성능을 보였습니다. 이는 아무런 운동학 변환 없이 달성한 결과입니다.
부분 관측: 사지가 무작위로 제거된 폐쇄 상황의 제로샷 시나리오에서, EquiFusion은 휴리스틱한 보완이나 재학습 없이도 타당한 동작을 생성하며, 대칭적 완성이나 휴지 자세 채우기에 의존하는 베이스라인들을 능가했습니다.
확장성 및 효율성:
- 파라미터 수: EquiFusion은 약 7.9M 개의 파라미터를 사용하며, 이는 SkelDiff의 약 26.5M 개와 비교됩니다. 단일 데이터셋 기준으로는 75% 더 컴팩트하며, 세 개의 데이터셋을 고려할 경우(베이스라인은 세 개의 별도 인스턴스가 필요하므로) 90% 더 컴팩트합니다.
- 학습/추론: 경쟁 모델 대비 시간을 절반으로 줄여 더 빠른 학습 및 추론 시간을 달성했습니다.
어블레이션 연구 (Ablation Studies): 순열 동변성을 제거하면(예: 위치 인코딩 추가) 제로샷 능력이 파괴됨을 실험을 통해 확인했습니다. 또한 뼈 방향 파라미터화가 신체 일관성 지표와 사실성을 크게 향상시킨다는 것을 입증했습니다.

의의 및 주장

본 논문은 EquiFusion이 견고한 인간 동작 예측을 위한 새롭고 유연한 표준을 확립한다고 주장합니다. 하드코딩된 그래프 구조에 대한 의존성을 끊음으로써, SHMP를 단일 데이터셋 및 단일 운동학 애플리케이션에 국한시켰던 일반화의 병목 현상을 해결했습니다.

저자들은 이 연구가 **운동학 특정 모델(kinematics-specific models)**에서 **진정한 운동학 불가지론적 프레임워크(kinematics-agnostic framework)**로의 전환을 의미한다고 강조합니다. 이는 다음을 가능하게 합니다:

파운데이션 모델: 캡처 기술이나 골격 토폴로지에 관계없이 가용한 모든 인간 동작 데이터에 대해 단일 "파운데이션 모델"을 학습할 수 있는 가능성.
실제 적용 가능성: 애드혹(ad-hoc) 엔지니어링이나 데이터 리타겟팅 없이 폐쇄, 누락된 사지 또는 다양한 체형이 존재하는 시나리오에 직접 적용 가능.
효율성: 다양한 환경에 SHMP 시스템을 배포할 때 계산 자원 및 저장 요구 사항을 획기적으로 감소.

결론적으로, 본 논문은 리타겟팅 접근 방식이 존재하기는 하지만 오류가 발생하기 쉽고 계산 비용이 많이 드는 반면, EquiFusion은 수학적으로 엄밀하면서도 경험적으로 우수한 엔드투엔드 솔루션을 제공한다고 밝히고 있습니다.