Generative Motion In-betweening by Diffusion over Continuous Implicit Representations

기술 요약: 연속적 암시적 표현을 통한 확산 모델 기반 생성형 모션 인터비닝

문제 제기
모션 인터비닝은 캐릭터 애니메이션의 기본 과제로, 희소한 키프레임 간의 매끄럽고 자연스러운 전환을 생성해야 합니다. 최근 생성 모델, 특히 확산 모델의 발전으로 모션 합성이 개선되었으나, 기존 방법들은 상당한 한계에 직면해 있습니다. 전통적인 회귀 기반 접근법은 다양성 확보에 어려움을 겪는 반면, 현재 확산 기반 방법들은 뚜렷한 키프레임 오차, 모션 불연속성 (떨림 및 발 미끄러짐 등), 그리고 느린 학습/생성 속도를 보입니다. 또한, 많은 최첨단 모델은 품질을 보장하기 위해 텍스트 조건화에 의존하는데, 이는 텍스트 설명이 없는 시나리오에서 실용성을 제한합니다. 극도로 희소하고 모호한 시공간 정보로부터 비자연스러운 아티팩트를 도입하지 않고 고품질의 다양한 모션을 생성하는 것은 여전히 중요한 과제로 남아 있습니다.

방법론
저자들은 잠재 확산 모델 (LDM) 과 모션 암시적 신경 표현 (INR) 을 통합한 새로운 파이프라인을 제안합니다. 핵심 혁신은 이산 시간 단계에서 작동하는 대신 희소한 키프레임에 조건부인 연속적 잠재 매니폴드에서 INR 매개변수를 샘플링하는 데 있습니다.

1. 모션 표현 (INR): 시스템은 모션 시퀀스를 시간에 따른 포즈를 매핑하는 연속 함수로 표현하며, 이를 압축된 잠재 벡터 $z$로 인코딩합니다. 이는 NeMF 기반의 변분 오토인코더 (VAE) 를 사용하여 달성되며, 모션을 전역 (루트 방향 및 이동) 과 지역 (관절 위치, 회전, 속도) 구성 요소로 분해합니다. 이러한 연속적 표현은 전역 모션 패턴을 포착하고 전환을 매끄럽게 하여 이산 시간 모델링에서 흔히 발견되는 노이즈와 불연속성을 완화합니다.
2. 잠재 확산 샘플러: 저자들은 확산 트랜스포머 (DiT) 기반의 확산 샘플러를 설계합니다. 표준 자기 주의 메커니즘과 달리, 이 네트워크는 랜덤하게 선택된 희소한 키프레임 정보를 제거 노이즈 과정에 통합하기 위해 교차 주의를 활용합니다. 이를 통해 모델은 큰 시간 간격이 있더라도 희소한 제약을 압축된 잠재 공간으로 효과적으로 매핑할 수 있습니다.
3. 학습 목적: 모델은 노이즈가 있는 입력으로부터 깨끗한 잠재 $z_0$를 예측하도록 학습됩니다. 손실 함수는 키프레임 위치에서 계산된 기하학적 일관성 항 (루트 이동, 루트 방향, 관절 위치, 관절 회전 오차) 과 표준 제거 노이즈 목적을 결합합니다. 유연한 조건화를 위해 클래스프리 가이드 (CFG) 가 사용됩니다.
4. 암시적 매니폴드 가이드 (IMG): 생성 모델의 다양성을 유지하면서 키프레임 오차를 더욱 줄이기 위해, 저자들은 IMG 라는 샘플링 최적화 전략을 도입합니다. 추론 과정 (특히 1000 단계 DDIM 일정에 대한 최종 300 단계) 동안 샘플링 방향은 두 가지 기반 제약 조건을 사용하여 정제됩니다.
   • 기하학적 손실: 생성된 모션과 실제 키프레임 간의 오차를 최소화합니다.
   • 매니폴드 보존 손실: 최적화가 학습된 데이터 매니폴드에서 잠재 표현을 밀어내는 것을 방지합니다. 이는 키프레임의 구면 선형 보간 (Slerp) 으로 생성된 모션을 보간하여 이 "인페인트된" 모션을 인코딩하고, 원래 예측과 이 인페인트된 잠재 간의 거리를 최소화함으로써 달성됩니다. 이는 생성된 모션이 사실적이고 매끄럽게 유지되도록 보장합니다.

주요 기여

• 생성형 인터비닝을 위한 모션 INR 의 첫 번째 적용: 본 논문은 잠재 확산 모델을 사용하여 생성형 모션 인터비닝 작업에 모션 INR 을 적용한 최초의 프레임워크를 제시합니다. 이 접근법은 압축된 연속 시간 표현을 활용하여 텍스트 조건화 없이 극도로 희소한 키프레임으로부터 고품질 모션을 생성합니다.
• 매니폴드 보존 전략: 저자들은 샘플링 최적화를 위한 매니폴드 보존 개념을 도입합니다. 모션 암시적 매니폴드를 위해 맞춤 설계된 새로운 손실 함수를 후방 샘플링 알고리즘 내에 설계하여, 모션 품질과 다양성을 유지하면서 키프레임 오차를 효과적으로 줄입니다.
• 희소 시나리오에서의 우수한 성능: 제안된 방법은 텍스트 설명이 필요 없이 극도로 희소한 키프레임 (예: 1, 5 또는 20 개의 랜덤 프레임) 에 조건부인 모션 인터비닝 작업에서 최첨단 성능을 달성하며, 기존 확산 기반 및 VAE 기반 베이스라인을 능가합니다.

결과
HumanML3D 데이터셋 (SMPL 표현 사용) 에서 CondMDI, NeMF, MMM, TST 등의 베이스라인과 비교하여 광범위한 실험이 수행되었습니다.

• 정량적 지표: 제안된 모델은 다양한 키프레임 밀도 (K=1, 5, 20) 에서 프레체트 인셉션 거리 (FID), 다양성, 멀티 모달리티 측면에서 베이스라인을 일관되게 능가했습니다. 특히 희소 시나리오 (K=1 및 K=5) 에서 CondMDI 및 NeMF 에 비해 키프레임 오차가 현저히 낮았습니다.
• 정성적 개선: 시각적 비교는 모델이 발 미끄러짐이나 떨림과 같은 아티팩트가 적은 더 매끄러운 전환을 생성함을 보여주었습니다. 목표 위치에 도달하지 못하거나 비자연스러운 팔다리 움직임을 보이는 경우가 많은 베이스라인과 달리, 제안된 방법은 전역 궤적 정확도와 자연스러운 보폭을 유지했습니다.
• 애블레이션 연구: 실험은 다른 VAE 유형 (MLD, MMM) 보다 INR 표현의 유효성을 확인했으며, 완전한 IMG 전략 (기하학적 및 매니폴드 손실 결합) 이 낮은 키프레임 오차와 높은 모션 다양성 간의 최상의 균형을 제공함을 검증했습니다.
• 일반화 및 효율성: 모델은 HumanML3D 만으로 학습되었음에도 AIST++ 데이터셋에서 테스트 시 강력한 일반화 능력을 보여주었습니다. 또한, 전체 시퀀스 자기 주의 대신 1D INR 매개변수에 교차 주의를 사용함으로써 계산 복잡성이 감소했으며, 유연한 IMG 샘플링은 속도와 품질 간의 효율적인 절충을 가능하게 했습니다.

의의
본 논문은 잠재 확산 프레임워크 내에서 INR 과 희소한 시공간 정보 간의 매핑을 확립함으로써, 제안된 방법이 극도로 희소한 데이터로부터 타당하고 매끄러운 모션을 성공적으로 재구성한다고 주장합니다. 이 연구의 의의는 고품질 모션 생성을 밀집된 키프레임이나 텍스트 조건화의 필요성에서 분리해 낼 수 있다는 점에 있습니다. 샘플링 과정에서 매니폴드 보존을 도입함으로써 저자들은 엄격한 제약을 준수하는 것과 생성적 다양성을 유지하는 것 사이의 일반적인 트레이드오프를 해결합니다. 이 접근법은 제한된 입력 데이터만 이용 가능한 캐릭터 애니메이션 시나리오에 실용적인 해결책을 제공하며, 키프레임 정확도와 인터비닝 모션의 다양성을 모두 보장하면서 도전적인 희소 키프레임 설정에서 최첨단 결과를 달성합니다.