Diffusion Forcing for Multi-Agent Interaction Sequence Modeling

논문 개요: MAGNet (Multi-Agent Generative Network)

이 논문은 다중 인간 (Multi-Agent) 간의 상호작용을 이해하고 생성하는 것을 목표로 하는 MAGNet이라는 통합 프레임워크를 제안합니다. 기존 방법론들이 주로 이원적 (Dyadic, 2 인) 상호작용에 국한되거나 특정 작업에 맞춰 설계되어 유연성이 부족했던 한계를 극복하기 위해, 단일 모델로 다양한 상호작용 작업 (파트너 인페인팅, 미래 예측, 초장기 생성 등) 을 처리할 수 있는 자회귀 확산 강제 (Autoregressive Diffusion Forcing) 기반의 트랜스포머 모델을 개발했습니다.

---

1. 문제 정의 (Problem Statement)

• 다중 상호작용의 복잡성: 인간은 그룹으로 자연스럽게 조율되지만, 이를 모델링하는 것은 긴 시간적 범위 (Long temporal horizons), 강한 에이전트 간 의존성, 그리고 가변적인 그룹 크기로 인해 매우 어렵습니다.
• 기존 방법의 한계:
  • 작업 특화 (Task-specific): 대부분의 기존 방법은 파트너 인페인팅 (한 사람의 동작을 보고 다른 사람 생성) 이나 공동 미래 예측 등 특정 작업에만 특화되어 있어, 하나의 모델로 모든 시나리오를 처리하지 못합니다.
  • 확장성 부족: 교차 주의 (Cross-attention) 를 고정된 에이전트 쌍에 적용하는 방식은 2 인 이상의 다인 (Polyadic) 상호작용으로 확장하기 어렵습니다.
  • 유연성 부재: 일부 모델은 에이전트별 독립 생성 (Agentic sampling) 만 지원하거나, 반대로 모든 에이전트의 동작을 동시에 생성하는 데만 제한되어 있어 조건부 생성 (Conditioning) 의 유연성이 떨어집니다.

---

2. 방법론 (Methodology)

MAGNet 은 관계 기반 (Relational) 동작 토큰화와 **확산 강제 (Diffusion Forcing)**를 결합한 트랜스포머 아키텍처를 사용합니다.

2.1. 관계 기반 동작 표현 (Relational Motion Representation)

• 토큰 설계: 각 토큰은 특정 시간 단계의 특정 에이전트를 나타냅니다.
• 상대 좌표계: 절대적인 세계 좌표계 대신, 에이전트 간의 **상대적 변환 (Pairwise Relative Transforms)**을 명시적으로 인코딩합니다.
  • 각 에이전트는 자신의 잠재 동작 (VQ-VAE latent pose) 과 모든 다른 에이전트와의 상대적 변환 ($T_{self \to partner}$) 을 포함합니다.
  • 이 방식은 절대 위치가 아닌 "누가 누구와 어떻게 상호작용하는지"를 학습하므로, 아키텍처 변경 없이 2 인 이상 (Polyadic) 의 그룹 크기에 자연스럽게 확장됩니다.
• VQ-VAE: 장기적인 일관성을 위해 동작을 잠재 공간 (Latent space) 으로 압축합니다. VQ-VAE 는 자세 (Pose) 와 루트 위치를 재구성하고, 시간적 동역학 및 에이전트 간 상호작용은 확산 모델이 학습하도록 역할을 분담합니다.

2.2. 확산 강제 (Diffusion Forcing) 및 아키텍처

• 독립 노이즈 레벨: 기존 확산 모델이 전체 시퀀스에 동일한 노이즈를 적용하는 것과 달리, MAGNet 은 각 토큰마다 독립적인 노이즈 레벨을 할당합니다.
• 트랜스포머 디노이저: 각 토큰은 관찰된 (Clean) 토큰과 노이즈가 추가된 (Noisy) 토큰이 혼합된 상태에서 학습됩니다. 이를 통해 모델은 임의의 에이전트 하위 집합과 시간 단계에 대한 조건부 확률 분포를 학습합니다.
• 손실 함수: 자세 재구성, 시간적 연속성, 에이전트 간 공간 관계, 그리고 운동학적 일관성 (Kinematic consistency) 을 보장하는 일관성 손실 (Consistency loss) 을 포함합니다.

2.3. 샘플링 전략 (Sampling Strategies)

단일 모델로 다양한 작업을 수행할 수 있도록 마스킹 (Masking) 기반의 샘플링을 지원합니다:

1. 파트너 인페인팅 (Partner Inpainting): 한 에이전트의 전체 궤적을 조건으로 주어 다른 에이전트의 동작을 생성.
2. 공동 미래 예측 (Joint Future Prediction): 과거의 모든 에이전트 동작을 기반으로 미래의 모든 에이전트 동작을 동시에 생성.
3. 에이전트 생성 (Agentic Generation): 에이전트들이 순차적 (Turn-taking) 또는 병렬적으로 동작을 생성하며 반응하는 방식 지원.
4. 초장기 생성 (Ultra-Long Generation): 오버랩 윈도우 (Overlapping window) 를 사용한 자회귀 방식으로 수백 프레임 이상의 긴 시퀀스를 생성.

---

3. 주요 기여 (Key Contributions)

1. 세계 무관한 (World-Agnostic) 다중 에이전트 표현: 절대 좌표가 아닌 에이전트 간 상대 변환을 인코딩하여, 아키텍처 수정 없이 2 인 이상 (Polyadic) 의 그룹 크기를 자연스럽게 처리할 수 있게 함.
2. 독립 노이즈 레벨을 통한 유연한 조건부 생성: 확산 강제 기법을 적용하여, 관찰된 에이전트와 생성 대상 에이전트를 독립적으로 제어함으로써 인페인팅, 예측, 에이전트 생성 등 다양한 작업을 단일 모델로 통합.
3. 성능 및 확장성: 텍스트 조건 없이도 전문화된 베이스라인 (Ready-to-React, Duolando 등) 과 경쟁력 있는 성능을 내며, 특히 장기 생성과 3 인 이상의 다중 상호작용에서 기존 방법론을 압도하는 성능을 보임.

---

4. 실험 결과 (Results)

저자들은 ReMoCap, DD100, DuoBox, Embody3D 등 다양한 데이터셋에서 실험을 수행했습니다.

• 파트너 인페인팅 (Partner Inpainting):
  • ReMoCap 데이터셋에서 ReMoS 와 유사한 정확도 (FD, MPJPE) 를 보이면서도 더 높은 다양성 (Diversity) 을 확보했습니다.
  • DD100 데이터셋에서는 음악 조건 없이도 Duolando 대비 FD(프레이치 거리) 를 18.18 에서 0.048 로 획기적으로 개선했습니다.
• 파트너 및 이원적 예측 (Partner & Dyadic Prediction):
  • Ready-to-React (R2R) 대비 모든 메트릭에서 우월한 성능을 보였습니다. 특히 FD 가 89% 개선되었고, 상호 침투 (Interpenetration) 와 발 미끄러짐 (Foot Skating) 오류가 현저히 줄었습니다.
• 다중 에이전트 (Polyadic) 생성:
  • 2 인에서 4 인까지의 그룹 크기에 대해 단일 모델로 성공적으로 확장되었습니다.
  • 기존 방법 (NN, RS) 은 그룹이 커질수록 성능이 급격히 저하되었으나, MAGNet 은 4 인 그룹에서도 일관된 성능을 유지했습니다.
• 초장기 생성 (Ultra-Long Generation):
  • 1,800 프레임 이상의 긴 시퀀스 생성에서 R2R 은 시간이 지남에 따라 에이전트들이 서로 멀어지며 상호작용이 붕괴되는 반면, MAGNet 은 일관된 상호작용 (예: 권투) 을 유지했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 통합 프레임워크의 가치: 이전에는 별도의 모델이 필요했던 인페인팅, 예측, 에이전트 생성, 초장기 생성 등의 작업을 단일 모델로 통합하여 해결했습니다.
• 실용적 적용 가능성: 로봇 공학 (실시간 인간 반응), 가상 현실 (자연스러운 사회적 상호작용), 콘텐츠 제작 (키프레임 기반 동작 생성) 등 다양한 분야에 적용 가능한 유연한 아키텍처를 제시합니다.
• 미래 전망: 이 연구는 수백 명의 에이전트가 상호작용하는 스웜 (Swarm) 규모의 시나리오로 확장 가능한 기반을 마련했습니다.

요약하자면, MAGNet 은 관계 기반 토큰화와 확산 강제를 결합하여 다중 인간 상호작용 모델링의 유연성, 확장성, 그리고 장기적 일관성 문제를 동시에 해결한 획기적인 연구입니다.