1. 문제 정의 (Problem)

텍스트 기반 인간 모션 생성 (Text-to-Motion) 분야에서 기존 방법론은 다음과 같은 상충되는 두 가지 패러다임으로 나뉘어 왔으며, 각각의 한계가 존재합니다.

• 오프라인 생성 (Offline Generation): 전체 시퀀스를 한 번에 생성하는 방식 (양방향 어텐션 사용). 높은 품질과 복잡한 텍스트의 의미적 정확도를 보장하지만, 미래 맥락을 미리 알 수 있어야 하므로 실시간 스트리밍 (실시간 상호작용) 이 불가능합니다.
• 스트리밍 생성 (Streaming Generation): 과거 맥락만 기반으로 순차적으로 생성하는 방식 (인과적 모델). 낮은 지연 시간을 제공하지만, 미래의 동작을 예측하지 못해 복잡한 텍스트 프롬프트의 의미 (예: "걷다가 돌아서서 앉기"와 같은 순차적 행동) 를 놓치거나 일관성이 떨어지는 모션이 생성되는 시간적 근시 (Temporal Myopia) 문제가 발생합니다. 또한, 편집이나 인-비트윈 (in-betweening) 과 같은 양방향 작업에는 적합하지 않습니다.

핵심 문제: 실시간 스트리밍의 저지연 이점을 유지하면서도, 오프라인 생성 수준의 높은 의미적 정확도와 미래 동작 인식 능력을 동시에 갖춘 단일 모델을 만드는 것.

2. 방법론 (Methodology)

저자들은 ActionPlan이라는 새로운 계층적 확산 (Hierarchical Diffusion) 프레임워크를 제안합니다. 이 모델은 고수준의 '행동 계획 (Action Plan)' 생성과 저수준의 '모션 합성'을 분리하면서도 단일 모델 내에서 통합합니다.

A. 프레임 레벨 행동 계획 (Frame-Level Action Plan)

• 개념: 전체 텍스트 프롬프트뿐만 아니라, **프레임 단위 (Frame-level)**로 세분화된 텍스트 행동 설명 (예: "걷기", "돌기", "앉기") 을 먼저 예측합니다.
• 역할: 이 행동 계획은 모션 생성 과정에서 밀도 높은 의미적 앵커 (Semantic Anchors) 역할을 하여, 모션이 전체적인 텍스트 의도와 프레임 단위의 세부 동작을 모두 따르도록 유도합니다.

B. 잠재 공간별 노이즈 스케줄링 (Latent-Specific Noise Scheduling)

• 이질적 노이즈 (Heterogeneous Noise): 각 모션 잠재 변수 (Motion Latent) 에 대해 **독립적인 시간 단계 (Timestep)**를 할당합니다.
  • 행동 계획 잠재 (Text Latents): 전체 시퀀스에 대해 단일 전역 시간 단계를 공유합니다.
  • 모션 잠재 (Motion Latents): 각 프레임마다 다른 시간 단계를 가질 수 있습니다.
• 효과: 이 구조는 추론 시 유연한 샘플링 전략을 가능하게 합니다. 일부 프레임은 이미 깨끗한 상태 (Clean) 일 수 있고, 다른 프레임은 노이즈가 많을 수 있어, 부분적으로 정제된 잠재 변수에 기반한 조건부 생성이 가능해집니다.

C. 유연한 샘플링 전략 (Flexible Sampling)

ActionPlan 은 하나의 모델로 두 가지 모드를 지원합니다:

1. 오프라인 모드 (Offline): 행동 계획을 먼저 생성한 후, 무작위 순서 (Random Order) 로 모든 모션 잠재 변수를 역확산 (Denoising) 합니다. 이는 최고 품질을 제공합니다.
2. 스트리밍 모드 (Streaming): 행동 계획과 첫 번째 모션 프레임을 함께 역확산한 후, 나머지 프레임을 **래스터 순서 (Raster Order, 시간 순차)**로 점진적으로 역확산합니다. 이때 행동 계획이 미래 동작에 대한 정보를 제공하므로, 순차적 생성임에도 불구하고 의미적 일관성이 유지됩니다.

D. 학습 전략

• 혼합 데이터셋 학습: HumanML3D(시퀀스 레벨 텍스트) 와 BABEL(프레임 레벨 텍스트) 데이터를 결합하여 학습합니다. 프레임 레벨 텍스트가 없는 데이터의 경우, 텍스트 손실 (Text Loss) 을 마스킹하여 학습합니다.
• 공동 생성: 행동 계획과 모션 잠재 변수를 동시에 학습하되, 행동 계획 생성이 모션 생성의 품질을 높이는지 확인합니다.

3. 주요 기여 (Key Contributions)

1. ActionPlan 프레임워크: 고수준 행동 계획과 저수준 모션 생성을 분리하면서도 단일 확산 모델로 통합하여, 실시간 스트리밍과 오프라인 고품질 생성을 모두 지원하는 최초의 방법론 제안.
2. 프레임 레벨 행동 계획: 모션 생성 전에 프레임 단위의 텍스트 행동 설명을 예측하여, 복잡한 텍스트 프롬프트의 의미적 정확도를 획기적으로 향상시킴.
3. 유연한 샘플링 및 다중 태스크 지원: 하나의 모델로 오프라인 생성, 실시간 스트리밍, 제로샷 모션 편집 (Zero-shot Editing), **인-비트윈 (In-betweening)**을 수행할 수 있음. 추가적인 미세 조정 (Fine-tuning) 이 필요하지 않음.
4. 잠재 공간별 노이즈 스케줄링: 각 프레임에 독립적인 시간 단계를 할당하여 유연한 역확산 일정을 가능하게 함.

4. 실험 결과 (Results)

HumanML3D-272 데이터셋에서 SOTA 방법론 (MDM, MotionGPT, MotionStreamer, MARDM 등) 과 비교 평가되었습니다.

• 품질 (FID 및 R-Precision):
  • 오프라인 모드: 기존 최상위 오프라인 방법 (MARDM) 대비 FID 22% 향상, R-Precision@3 0.892 달성.
  • 스트리밍 모드: 기존 최상위 스트리밍 방법 (MotionStreamer) 대비 FID 51% 향상, 오프라인 베이스라인 (MARDM) 보다도 FID 18% 더 우수한 성능을 보임.
• 속도 (Latency):
  • 스트리밍 모드에서 토큰 생성 속도가 기존 방법 대비 5.25 배 빠름.
  • 첫 번째 토큰 생성 후, 연속적인 스트리밍 시 5.25 배 ~ 9 배의 속도 향상을 기록 (40ms 지연).
• 사용자 연구:
  • 텍스트 - 모션 생성 및 긴 시퀀스 생성 평가에서 참가자들의 **67.5%~67.7%**가 ActionPlan 을 선호함 (기존 방법 대비 압도적).
  • 의미적 일관성과 현실감 (Realism) 모두에서 높은 점수 획득.
• 응용 사례:
  • 모션 편집: 생성된 모션의 특정 구간을 새로운 텍스트로 재생성하면서도 자연스러운 연결 유지.
  • 인-비트윈: 시작과 끝 포즈가 고정된 상태에서 중간 동작을 텍스트에 맞춰 채워 넣음.
  • 긴 시퀀스 스트리밍: 여러 프롬프트를 연속적으로 입력받아 일관된 긴 모션 생성.

5. 의의 및 결론 (Significance)

ActionPlan 은 텍스트 기반 모션 생성 분야에서 실시간성과 품질의 트레이드오프를 해결한 획기적인 연구입니다.

• 미래 인식 (Future-Awareness): 순차적 생성의 한계를 극복하기 위해, '행동 계획'이라는 중간 표현을 도입하여 모델이 미래 동작을 사전에 인지하고 생성하도록 함으로써, 복잡한 텍스트 지시를 정확하게 따르는 실시간 모션을 가능하게 했습니다.
• 범용성: 별도의 모델 변경 없이 하나의 모델로 오프라인/온라인 생성, 편집, 인-비트윈 등 다양한 하위 태스크를 수행할 수 있어, 디지털 휴먼, VR/AR, 로봇 제어 등 다양한 응용 분야에 즉시 적용 가능한 플러그 앤 플레이 (Plug-and-play) 솔루션을 제공합니다.
• 효율성: 고품질의 모션을 생성하면서도 실시간 상호작용에 필요한 낮은 지연 시간을 달성하여, 실제 인터랙티브 애플리케이션 구현의 가능성을 크게 높였습니다.

이 연구는 확산 모델 (Diffusion Models) 을 활용한 시퀀스 생성 분야에서 **구조화된 생성 (Structured Generation)**과 **계층적 계획 (Hierarchical Planning)**의 중요성을 입증했습니다.