기술 요약: DiMo – 동작 생성 및 이해를 위한 이산 확산 모델링 (Discrete Diffusion Modeling for Motion Generation and Understanding)

1. 문제 정의

양방향 텍스트-동작 이해 및 생성에 대한 현재의 접근 방식은 주로 동작을 토큰화하고 시퀀스를 하나씩 디코딩하는 GPT 스타일의 자기회귀(Autoregressive, AR) 패러다임에 의존합니다. 이러한 방법들은 텍스트-동작 생성(T2M)과 동작-텍스트 이해(M2T)를 위한 통합된 인터페이스를 제공하지만, 다음과 같은 내재적 한계를 가집니다:

• 지연 시간 스케일링 (Latency Scaling): 순차적 디코딩으로 인해 엔드 투 엔드 지연 시간이 시퀀스 길이에 따라 선형적으로 증가합니다.
• 제한된 편집 가능성 (Limited Editability): 단방향적인 AR 디코딩의 특성은 전역적이고 다단계적인 수정을 방해하여, 편집 및 완성 작업을 어렵게 만듭니다.
• 구조적 파편화 (Architectural Fragmentation): 텍스트 조건부 변형과 텍스트 비조건부 변형(예: 동작 완성)을 통합하려면 별도의 엔지니어링 분기 및 특화된 학습 기법이 필요합니다.

본 논문은 고품질 생성, 저지연 디코딩, 편집 가능성 및 다중 작업 통합이 가능한 통합 프레임워크가 여전히 해결해야 할 과제로 남아 있다고 주장합니다.

2. 방법론: DiMo 프레임워크

DiMo(이산 확산 모델링)는 텍스트와 동작을 모두 노이즈가 섞인 시퀀스로 취급하는 이산 확산 스타일의 프레임워크를 제안합니다. 순차적인 자기회귀 대신, DiMo는 전역적 문맥(global context) 하에서 반복적인 마스크 토큰 정제(iterative masked token refinement)를 채택하여 병렬적인 디노이징을 가능하게 합니다.

핵심 구성 요소

1. 동작 토큰화 (RVQ):
   동작 표현의 충실도를 높이기 위해, DiMo는 **잔차 벡터 양자화(Residual Vector Quantization, RVQ)**를 활용합니다. 연속적인 3D 동작 시퀀스는 다단계 토큰으로 이산화됩니다. 이 방식은 단일 단계 양자화에 비해 유사한 비트레이트에서 더 낮은 양자화 오차를 달از하며, 거친 신체 구조와 고주파 세부 사항을 모두 보존합니다.

2. 통합 아키텍처:
   모델은 양방향 디노이징 목적 함수와 자연스럽게 일치하는 BERT 기반 마스크 언어 모델 백본을 기반으로 구축되었습니다. 이는 다음을 통합합니다:

   • 동작 인코더 (Motion Encoder): 각 잔차 레이어에 대해 경량 트랜스포머 인코더를 사용하여 RVQ 토큰 스트림을 처리합니다.
   • 동작 디코더 (Motion Decoder): 병렬 예측 헤드를 사용하여 백본 특징을 정제하고, 모든 RVQ 레벨에 걸쳐 동작 어휘에 대한 로짓(logits)을 동시에 출력합니다.
   • 공유 임베딩 공간 (Shared Embedding Space): 텍est와 동작 특징은 공유 디노이징 프레임워크 내에서 융합됩니다.

3. 다중 작업 스케줄링 (Multi-Task Scheduling):
   DiMo는 무작위 샘플링을 통해 하나의 학습 루프 내에서 세 가지 작업을 통합합니다:

   • 텍스트-동작 생성 (T2M): 마스킹되지 않은 텍스트 프롬프트로부터 손상된 동작 토큰을 복구합니다.
   • 동작-텍스트 이해 (M2T): 예약된 동작 토큰을 자연어 설명으로 번역합니다(캡셔닝).
   • 동작-동작 변형 (M2M): 텍스트 입력 없이 마스킹된 동작 토큰을 자기 지도 학습 방식으로 복구하여, 동작 예측 및 완성 능력을 향상시킵니다.

4. 학습 및 최적화:

   • 손실 함수: 모델은 선형 마스킹 스케줄에 따른 마스크 교차 엔트로피 손실(masked cross-entropy loss)로 학습되며, 이를 통해 다양한 정도의 오염(corruption)에 모델을 노출시킵니다.
   • 추론 전략: 신뢰도 가이드 점진적 추론(confidence-guided progressive inference) 전략이 사용됩니다. 모델은 높은 신뢰도를 가진 토큰을 먼저 확정하고, $K$번의 디노이징 단계에 걸쳐 불확실한 영역을 정제합니다.
   • 강화 학습 (GRPO): 정렬(alignment)과 제어 가능성을 높이기 위해, 프레임워크는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 포함합니다. 이 비판자(critic)가 없는 변형 모델은 작업별 보상을 사용하여 모델을 미세 조정합니다:
     • T2M 보상: 생성된 동작 캡션을 (동결된 M2T 브랜치를 통해) 실제 정답과 CLIP 임베딩 공간에서 비교하여 의미적 정확도를 측정합니다.
     • M2T 보상: 동사 일관성, 의미적 유사성(CLIP), 그리고 퇴보적 출력을 방지하기 위한 길이 페널티를 결합합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 패러다임 전환 및 조절 가능한 디코딩: DiMo는 양방향 텍스트-동작 모델링에 확산-LLM 학습 메커니즘을 도입합니다. 엄격한 좌측-우측 디코딩과 달리, 반복적인 마스크 정제는 단계별 자기 수정을 가능하게 하여 초기 토큰 오류에 대한 민감도를 줄여줍니다. 결정적으로, 정제 단계 수($K$)는 **조절 가능한 품질-지연 시간 트레이드오프(tunable quality–latency trade-off)**를 제공하여, 사용자가 파레토 최적의 운영 지점을 선택할 수 있게 합니다.
2. 통합된 능력 및 확장성: 이 프레임워크는 표준 T2M/M2T뿐만 아니라, 텍스트 비조건부 및 텍스트 조건부 동작 완성 및 예측을 본질적으로 지원합니다. 또한 아키텍처 변경 없이 동작 유도 텍스트 수정 및 플레이스홀더 모호성 해소에서도 견고함을 입증했습니다.
3. 실질적 효과성: RVQ를 통한 토큰화와 GRPO를 통한 정렬을 활용함으로써, DiMo는 HumanML3D 및 KIT-ML 데이터셋에서 경쟁력 있는 결과를 달성하며 강력한 동작 품질과 양방향 이해를 보여줍니다.

4. 실험 결과

실험은 HumanML3D 및 KIT-ML 데이터셋을 대상으로 수행되었습니다.

• 텍스트-동작 생성 (T2M): DiMo는 경쟁력 있는 FID 점수(GRPO 적용 시 0.047)를 달성하여 높은 기하학적 및 지각적 충실도를 나타냈습니다. 검색 기반 지표(R@1)는 경쟁력이 있으나, 저자들은 이러한 지표가 평가자의 학습 분포에 크게 의존한다는 점을 언급했습니다.
• 동작-텍스트 이해 (M2T): DiMo는 텍스트 지표(BLEU, ROUGE-L, CIDEr, BERTScore) 전반에서 강력한 성능을 보여주며, 학습된 동작 표현이 풍부하고 구조화된 의미 정보를 보존하고 있음을 시사합니다.
• 품질-지연 시간 트레이드오프: 디노이징 단계($K$)에 대한 절제 연구(ablation study) 결과, 단계를 30에서 5로 줄이면 품질 저하를 최소화하면서도 추론 시간을 대폭 단로할 수 있음을 확인했습니다. 특히, 적은 단계에서도 DiMo는 최소한의 지연 시간으로 기존 방법들보다 T2M FID에서 우수한 성능을 보였습니다.
• 토큰화 깊이: 6단계 RVQ가 재구성 충실도(MSE)와 다운스트림 작업 성능 사이의 균형을 맞추는 데 최적임이 밝혀졌습니다.

5. 의의 및 주장

본 논문은 마스크 정제와 병렬 디노이징의 효율성을 활용하여 자기회귀 동작 생성의 근본적인 병목 현상을 해결한다고 주장합니다. DiMo의 의의는 다음과 같습니다:

• 통합: 별도의 모델이나 특화된 분기 없이 T2M, M2T, M2M 작업을 성공적으로 통합했습니다.
• 유연성: 디노이징 단계를 조정함으로써 추론 속도와 생성 품질 사이의 균형을 자연스럽게 조절할 수 있는 메커니즘을 제공합니다.
• 견고성: 단일 모델이 텍스트 비조건부 동작 완성 및 동작 유도 텍스트 수정과 같은 다양한 작업을 처리할 수 있음을 입증함으로써, 교차 모달 모델링을 위한 통합된 의미 공간의 효용성을 검증했습니다.

저자들은 DiMo가 동작의 사실성과 의미적 일관성 사이에서 강력한 균형을 제공하며, 미래의 동작 시스템을 위한 확장 가능한 패러다임을 제시한다고 결론지었습니다.