기술 요약: 궤적 제어 인간 동작 생성을 위한 다중 조건 조정 (CMC)

1. 문제 제기

궤적 제어 인간 동작 생성은 텍스트 설명과 공간적 궤적 모두에 조건부인 사실적인 인간 동작을 합성하는 것을 목표로 합니다. 최근 확산 기반 방법들이 이러한 조건들을 통합하려 시도했으나, 본 논문은 기존 접근법 (예: GMD, Omnicontrol) 에 두 가지 치명적인 한계가 있음을 지적합니다.

1. 조건 간의 충돌: 기존 방법들은 종종 소음 제거 (denoising) 과정에서 텍스트와 궤적 조건을 동시에 적용합니다. 논문은 확산 과정에 궤적 가이드를 주입하면 훈련 중에 학습된 원래의 텍스트 - 동작 매핑이 방해받음을 주장합니다. 이러한 간섭으로 인해 네트워크는 의미론적 일관성에 어려움을 겪게 되어, 텍스트와 의미적으로 일치하지 않거나 궤적을 정확하게 따르지 못하는 동작이 생성됩니다.
2. 중복 표현의 불일치: 많은 방법들이 중복된 동작 표현 (국소 관절 위치, 회전, 속도 포함) 을 사용합니다. 그러나 궤적 가이드는 일반적으로 국소 위치에만 적용됩니다. 이로 인해 가이드된 위치는 변경되는 반면 회전과 속도는 변경되지 않거나 (네트워크에 의해 암묵적으로 조정됨) 불일치가 발생합니다. 이는 특히 과정이 완료에 가까워질 때 소음 제거 과정 중 불안정성을 초래하여 제어 정확도를 저하시킵니다.

2. 방법론: CMC 프레임워크

저자들은 궤적 제어와 동작 생성을 분리하는 "분할 정복" 전략을 채택한 CMC (Coordinate Multiple Conditions) 라는 분리된 프레임워크를 제안합니다. 이 프레임워크는 두 단계의 연쇄적 단계로 구성됩니다.

1 단계: 궤적 제어

• 목표: 텍스트 프롬프트를 고려하면서 입력 궤적을 엄격히 준수하는 골반과 제어된 관절의 단순화된 표현을 생성합니다.
• 단순화된 표현: 이전 연구들이 중복된 표현을 사용한 것과 달리, 이 단계는 루트 각속도/선속도 및 국소 관절 위치 ($ra, rx, rz, ry, jp$) 만 포함하는 단순화된 표현을 사용합니다. 이는 가이드 중 충돌하는 회전/속도 성분으로 인한 불안정성을 제거합니다.
• 과정: 확산 모델이 초기 단순화된 표현을 생성합니다. 이후 분류기 가이드 (classifier-guidance) (L-BFGS 최적화기 사용) 를 적용하여 공간 궤적에 대해 이 표현을 정제합니다.
• 결과: 골반과 제어된 관절의 위치가 고정되어 다음 단계로 전달됩니다.

2 단계: 동작 완성

• 목표: 1 단계 출력을 고정된 부분 관측치로 사용하여 텍스트 프롬프트에 기반한 전체 신체 동작을 합성합니다.
• 과정: 확산 인페인팅 (inpainting) 모델이 전체 신체 동작을 생성합니다 (최종 출력에는 표준 중복 표현 사용). 1 단계에서 얻은 골반 및 제어된 관절의 국소 위치는 이진 공간 - 시간 마스크를 통해 입력 노이즈 텐서에 대체됩니다.
• 주요 특징: 이 단계는 생성을 위해 오직 텍스트 조건에만 의존합니다. 의미론적 동작 생성에 대한 간섭을 방지하기 위해 궤적 가이드는 제거되어 네트워크가 고충실도 동작 완성에 집중하도록 합니다.

선택적 인페인팅 메커니즘 (SIM)

제한된 동작 인페인팅 훈련 데이터로 인한 과적합 문제를 해결하기 위해 저자들은 SIM을 도입합니다.

• 메커니즘: 훈련 중 모델은 50% 확률로 두 가지 모드 간에 전환합니다.
  1. 동작 인페인팅: 부분 관측치 (제어된 관절) 가 마스킹된 데이터로 훈련.
  2. 텍스트 - 동작 생성: 표준 텍스트 - 동작 데이터 (인페인팅 없음) 로 훈련.
• 목적: 비인페인팅 작업은 정규화제 역할을 하여 모델이 부분 관측치에 과적합되는 것을 방지하고, 보지 못한 입력에 대해 다양하고 자연스러운 동작을 생성하는 능력을 유지합니다.

3. 주요 기여

1. 한계 식별: 논문은 텍스트와 궤적 조건 간의 충돌과 중복된 동작 표현으로 인한 불안정성을 현재 궤적 제어 생성의 근본적인 장벽으로 명시적으로 식별합니다.
2. 분리된 프레임워크 (CMC): 궤적 제어 (단순화된 표현 사용) 와 동작 완성 (텍스트 전용 가이드 사용) 을 분리하는 새로운 2 단계 프레임워크로, 조건 충돌을 효과적으로 완화합니다.
3. 선택적 인페인팅 메커니즘 (SIM): 확산 인페인팅 모델의 일반화를 향상시키기 위해 인페인팅과 생성 작업 간에 전환하는 훈련 전략입니다.
4. 최첨단 성능: 표준 벤치마크에서 제어 정확도와 동작 품질 모두에서 우수한 결과를 달성합니다.

4. 실험 결과

저자들은 Omnicontrol, TLControl, GMD 와 같은 최첨단 방법들과 비교하여 HumanML3D 및 KIT-ML 데이터셋에서 CMC 를 평가했습니다.

• 제어 정확도: CMC 는 궤적 오차 지표에서 기존 방법들을 크게 능가합니다. 예를 들어, 골반 제어가 적용된 HumanML3D 에서 CMC 는 평균 오차 0.51 cm를 달성한 반면, Omnicontrol 은 3.38 cm, TLControl 은 1.08 cm 였습니다. 다중 관절 제어 (예: 골반 + 5 개의 말단 효과기) 에도 유사한 개선이 관찰되었습니다.
• 동작 품질: CMC 는 더 낮은 프리chet Inception Distance (FID) 점수와 더 높은 R-정밀도를 달성하여 더 나은 동작 사실성과 텍스트 정합성을 나타냅니다. 다중 관절 제어 시나리오에서 CMC 는 FID 를 0.075로 낮췄습니다 (Omnicontrol 은 0.218).
• 안정성 분석: 소음 제거 단계 전반에 걸친 제어 오차 시각화는 단순화된 표현이 안정적이고 오차가 낮은 궤적을 산출하는 반면, 중복된 표현은 과정이 끝날수록 증가하는 진동 오차를 보임을 보여줍니다.
• Ablation 연구:
  • 2 단계 분리를 제거하고 (단일 단계 접근 사용) FID 와 제어 정확도 모두 크게 저하되었습니다.
  • 1 단계에서 모든 관절 (제어된 관절 대신) 을 2 단계로 전달하면 FID 가 증가하고 R-정밀도가 감소하여, 너무 많은 궤적 정보를 전달하면 텍스트 - 궤적 충돌이 발생함을 확인했습니다.
  • SIM 은 일반화를 향상시켜, 정답 부분 관측치로 훈련된 모델과 합성된 것으로 훈련된 모델 간의 성능 격차를 줄이는 것으로 나타났습니다.

5. 중요성과 주장

논문은 CMC 가 이전 방법들을 괴롭혀 온 동작 사실성과 제어 충실도 간의 내재적 트레이드오프를 효과적으로 해결한다고 주장합니다.

• 해결책으로서의 분리: 작업을 분리함으로써 CMC 는 네트워크가 2 단계에서 궤적 기울기의 방해 없이 텍스트 - 동작 매핑을 완전히 학습할 수 있게 하며, 1 단계에서는 단순화된 표현을 통해 정밀한 궤적 준수를 보장합니다.
• 일반화: SIM 의 사용으로 모델이 분포 밖 (out-of-distribution) 궤적과 텍스트 프롬프트에 잘 일반화될 수 있게 되어, 인페인팅 작업에만 훈련된 모델들의 일반적인 실패 지점을 해결합니다.
• 실용성: 이 프레임워크는 단일 관절, 다중 관절, 키프레임 제어를 포함한 다양한 제어 모드를 지원하여 애니메이션 및 게임과 같은 응용 분야에서 다재다능함을 입증합니다.

저자들은 CMC 가 다중 모드 동작 생성의 충돌을 크게 완화하지만, 훈련 분포 밖 (예: 지면 위 3 미터 이동하는 골반) 에 있는 극단적인 분포 밖 궤적에 대해서는 여전히 한계가 있으며, 모델이 이를 해석하는 데 어려움을 겪는다고 결론지었습니다. 향후 연구는 절대 좌표가 아닌 지면 상대적인 관절 높이를 표현하는 데 초점을 맞출 수 있다고 제안합니다.