RDM: Recurrent Diffusion Model for Human Motion Generation

이 논문은 이전 노이즈 프레임을 명시적으로 조건으로 삼아 긴 인간 동작 시퀀스를 생성하면서도 계산 비용을 줄이기 위해 정규화 흐름을 활용한 새로운 순환 확산 모델 (RDM) 을 제안합니다.

핵심

🎬 1. 기존 방식의 문제점: "한 번에 다 찍는 영화" vs "조각조각 찍는 영화"

사람의 움직임을 만드는 AI 는 크게 두 가지 방식으로 나뉩니다.

• 기존 방식 (Volume Diffusion):
  • 비유: 10 분짜리 영화를 찍을 때, 한 번에 모든 장면을 다 찍으려고 시도하는 감독을 상상해 보세요.
  • 문제: 컴퓨터가 한 번에 너무 많은 정보를 처리해야 하므로, 영화 길이에 제한이 생깁니다. (예: 5 초만 찍을 수 있음). 그리고 5 초를 넘어가면 장면이 끊기거나 엉망이 됩니다.
• 기존의 다른 방식 (Autoregressive Diffusion):
  • 비유: 10 분짜리 영화를 찍을 때, 1 장 1 장 찍어서 이어붙이는 방식입니다. 1 장을 완벽하게 다 찍고 (노이즈를 완전히 제거하고), 그다음 장면을 찍습니다.
  • 문제: 정확도는 좋지만, 시간이 너무 오래 걸립니다. 10 분 영상을 만들려면 1 장을 다 완성할 때까지 기다려야 하니까요.

🚀 2. RDM 의 등장: "재미있는 '연속극' 촬영 방식"

저자들은 이 두 가지의 단점을 모두 해결한 새로운 방식을 제안했습니다. 이를 **RDM(재귀적 확산 모델)**이라고 부릅니다.

• 핵심 아이디어:
  • 비유: RDM 은 연속극을 찍는 감독과 같습니다.
  • 어떻게 작동하나요?
    1. 이전 장면의 '흐릿한 초상화'를 기억합니다: 완전히 다 찍힌 장면 (깨끗한 이미지) 을 기억할 필요 없이, 아직 흐릿하고 노이즈가 섞인 이전 장면을 기억합니다.
    2. 그걸 바탕으로 다음 장면을 찍습니다: "아까 그 흐릿한 장면이 이렇게 움직였으니, 다음 장면은 이렇게 흐릿하게 찍어보자"라고 이어갑니다.
    3. 결과: 이전 장면을 완벽하게 다 다듬을 필요 없이, 흐릿한 상태에서도 다음 장면을 자연스럽게 이어갈 수 있어 속도가 매우 빨라집니다.

🧩 3. 왜 '수학'이 필요할까? (정규화 흐름)

여기서 중요한 문제가 생깁니다. 흐릿한 상태에서 다음 장면을 이어붙이다 보면, 확률적으로 엉뚱한 일이 생길 수 있습니다. (예: 갑자기 사람이 공중에 뜨거나 다리가 뒤로 꺾이는 등).

• 해결책: 저자들은 **'정규화 흐름 (Normalizing Flows)'**이라는 수학적 도구를 사용했습니다.
• 비유: 이는 변형 가능한 고무줄과 같습니다.
  • 흐릿한 이미지를 다음 장면으로 옮길 때, 고무줄이 늘어나거나 줄어들더라도 무엇이든 '사람'이라는 형태를 유지하도록 수학적 규칙을 적용합니다.
  • 덕분에 AI 는 자유롭게 움직임을 만들면서도, 논리적으로 틀어지지 않고 자연스러운 움직임을 유지할 수 있습니다.

⚡ 4. RDM 의 놀라운 장점

1. 긴 영상도 가능 (Horizon Agnostic):
   • 기존 방식은 5 초만 찍을 수 있었지만, RDM 은 5 초, 50 초, 5 분이든 상관없이 계속 이어질 수 있습니다. 마치 무한히 이어지는 드라마처럼요.
2. 엄청나게 빠름 (Efficiency):
   • 이전 장면을 완벽하게 다듬을 필요가 없기 때문에, 기존 방식보다 훨씬 빠르게 영상을 만들어냅니다. (실험 결과, 기존 방식보다 최대 18 배까지 빠르다고 합니다!)
3. 자연스러움:
   • 발이 바닥에 닿는 모습이나 공을 드리블하는 동작처럼, 세부적인 움직임까지 매우 자연스럽게 이어집니다.

📝 요약

이 논문은 **"컴퓨터가 움직임을 만들 때, 한 번에 다 찍거나 (느림), 하나씩 완벽하게 찍는 (시간 걸림) 대신, 흐릿한 이전 장면을 기억하며 다음 장면을 빠르게 이어붙이는 새로운 방법 (RDM)"**을 제안했습니다.

이는 마치 마법 같은 고무줄을 이용해, AI 가 오래되고 긴 애니메이션을 순식간에 그리고 매우 자연스럽게 만들어낼 수 있게 해주는 기술입니다. 앞으로 게임 캐릭터나 로봇 제어, 영화 제작 등에서 큰 변화를 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

인간 동작 생성 (Human Motion Generation) 은 컴퓨터 애니메이션, 게임, 로봇 공학 등 다양한 분야에서 중요하지만, 고차원 데이터와 미세한 동작 표현의 어려움으로 인해 여전히 도전적인 과제입니다. 기존 확산 모델 (Diffusion Models) 기반 접근법은 다음과 같은 한계를 가지고 있습니다.

• Volume Diffusion (전체 시퀀스 확산): MotionDiffuse, MDM 등 초기 방법론은 전체 시퀀스를 하나의 단위로 처리합니다. 이는 계산 비용이 매우 높고, 생성 가능한 시퀀스 길이를 고정된 짧은 범위 (Horizon) 로 제한합니다.
• Autoregressive Diffusion (자기회귀 확산): TEDi, AMD 등 긴 시퀀스를 생성하기 위해 이전 프레임을 기반으로 다음 프레임을 생성하는 방식이 제안되었습니다. 그러나 이 방식은 이전 프레임을 완전히 잡음 제거 (Denoising) 한 후 다음 프레임을 생성해야 하므로, 학습 및 추론 비용이 매우 높고 오류가 누적되기 쉽습니다.
• 확산 과정의 비일관성: 자기회귀 방식은 순방향 (Forward) 과정과 역방향 (Reverse) 과정 간의 일관성을 유지하지 못해 긴 시퀀스 생성 시 동작의 불일치 (Misalignment) 가 발생합니다.

2. 제안 방법: RDM (Recurrent Diffusion Model)

저자들은 RNN(순환 신경망) 의 구조를 확산 모델에 적용한 **순환 확산 모델 (Recurrent Diffusion Model, RDM)**을 제안합니다. 이는 시공간적 의존성을 잡음 상태 (Noisy Hidden States) 를 통해 명시적으로 조건부 (Conditioning) 로 설정하는 새로운 프레임워크입니다.

핵심 메커니즘

1. 2D 그리드 확산 구조:

   • 기존 확산 모델이 시간 축 (Time) 만 따라가는 것과 달리, RDM 은 **시간 (Time)**과 시퀀스 세그먼트 (Segment) 두 축을 가진 2D 그리드 구조를 가집니다.
   • 각 확산 단계는 동일한 시간 단계 내의 이전 세그먼트와 이전 시간 단계의 해당 세그먼트에 명시적으로 의존합니다.
   • 이를 통해 순방향 (잡음 추가) 과 역방향 (잡음 제거) 과정 모두에 시간적 제약을 부과하여 긴 시퀀스 생성 시 일관성을 유지합니다.

2. 정규화 흐름 (Normalizing Flows) 의 활용:

   • 순환 구조를 도입할 때 가장 큰 문제는 확률 분포의 유효성입니다. 단순한 순환 변환은 확률 밀도 함수를 보존하지 않아 확산 모델의 손실 함수 (KL 발산) 가 무의미해질 수 있습니다.
   • RDM 은 **정규화 흐름 (Normalizing Flows)**을 사용하여 시간적 의존성을 모델링합니다. 이는 변환이 가역적 (Invertible) 이고 부피를 보존하도록 보장하여, 순환 구조 하에서도 유효한 확률 분포와 손실 함수를 유지합니다.
   • Diffusion-flow: 초기 세그먼트는 일반적인 확산 ('Diffusion-only') 을 수행하지만, 이후 세그먼트는 이전 세그먼트의 잡음 상태에 조건부인 'Diffusion-flow'를 통해 잡음을 추가/제거합니다.

3. 효율적인 추론 전략 (Staircase Sampling):

   • 기존 자기회귀 방식은 모든 이전 프레임을 완전히 잡음 제거해야 하지만, RDM 은 정규화 흐름의 가역성을 이용하여 **불필요한 확산 단계를 건너뛰는 '계단식 샘플링 (Staircase Sampling)'**을 수행합니다.
   • 이는 이전 세그먼트를 완전히 복원하지 않고도 다음 세그먼트를 생성할 수 있게 하여 추론 속도를 획기적으로 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 순환 확산 공식화: 정규화 흐름을 활용하여 잡음 은닉 상태를 통해 시공간적 의존성을 모델링하는 비마르코프 (Non-Markovian) 프레임워크를 제시했습니다.
2. 지평선 무관한 (Horizon-agnostic) 추론: 학습 제약과 무관하게 긴 시퀀스를 안정적으로 생성할 수 있는 메커니즘을 제공합니다.
3. 효율성 최적화: 불필요한 확산 단계를 건너뛰는 전략을 통해 자기회귀 기반 베이스라인 대비 추론 지연 시간을 크게 단축하면서도 동작의 충실도 (Fidelity) 를 유지합니다.

4. 실험 결과 (Results)

저자는 KIT-ML 과 HumanML3D 데이터셋에서 텍스트 기반 동작 생성 작업을 수행하여 RDM 의 성능을 검증했습니다.

• 정량적 평가:
  • HumanML3D: RDM-7 은 자기회귀 베이스라인 (MD-7, AMD 등) 보다 우수한 R-Precision 을 보였으며, CLoSD 와 유사한 성능을 달성했습니다.
  • KIT-ML: 짧은 시퀀스 데이터셋에서도 RDM 이 베이스라인보다 월등히 좋은 성능을 보였습니다.
  • Volume Diffusion 대비: RDM-1 은 MotionDiffuse 및 SOTA 인 Light-T2M 과 유사한 성능을 내면서도, 학습 지평선을 넘어선 긴 시퀀스 생성이 가능합니다.
• 정성적 평가:
  • "농구 드리블"과 같은 긴 시퀀스 생성 시, 기존 방법론 (MD-4) 은 학습 지평선을 넘으면 동작이 붕괴되거나 발 접촉 오류가 발생했으나, RDM 은 긴 시퀀스 내에서도 텍스트와 잘 정렬되고 일관된 동작을 생성했습니다.
  • 사용자 연구 (User Study) 에서 자연스러움, 부드러움, 텍스트 정렬도 측면에서 베이스라인 대비 가장 높은 선호도를 보였습니다.
• 계산 효율성:
  • CLoSD 와 같은 기존 자기회귀 모델에 비해 최대 18 배 이상의 속도 향상을 달성했습니다.
  • FLOPs(연산량) 와 실제 추론 시간이 기존 Volume Diffusion 및 Autoregressive 방법론보다 현저히 낮습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델을 시간 영역으로 확장하여 **순환 구조 (Recurrent Formulation)**를 성공적으로 통합했다는 점에서 의의가 큽니다.

• 이론적 기여: 확산 모델의 확률적 성질을 유지하면서 순환 의존성을 도입하기 위해 정규화 흐름을 결합한 새로운 접근법을 제시했습니다.
• 실용적 기여: 긴 시퀀스 생성 시 발생하는 계산 비용과 오류 누적 문제를 해결하여, 실시간 또는 장시간 동작 생성에 적용 가능한 효율적인 모델을 제시했습니다.
• 미래 전망: 잠재 공간 (Latent Space) 으로 확장하거나 더 긴 시퀀스를 위한 안정성 개선 등 향후 연구의 기초를 마련했습니다.

요약하자면, RDM은 기존 확산 모델의 길이 제한과 자기회귀 모델의 비효율성이라는 두 가지 주요 문제를 동시에 해결하여, 고품질의 긴 인간 동작 시퀀스를 빠르고 정확하게 생성할 수 있는 새로운 표준을 제시한 연구입니다.