기술 요약: DiscoForcing

문제 정의

본 논문은 "배포 충실성 (deployment-faithful)" 문제로서, 엄격한 인과성과 유계 지연 (bounded-latency) 스트리밍 생성을 요구하는 실시간 오디오 반응형 캐릭터 제어의 과제를 다룹니다. 전 세계적 컨텍스트 (미래 오디오) 에 접근하여 오프라인 생성에 최적화된 기존 음악 - 모션 시스템과 달리, DiscoForcing은 오디오 조건이 급격히 변화할 때 (예: 템포 변화, 드롭, 사용자 편집) 상호작용 프레임 레이트에서 일관된 전체 신체 모션을 생성해야 합니다.

기존 방법들은 스트리밍 환경에서 세 가지 구조적 한계에 직면해 있습니다:

1. 인과성 제약: 미래의 비트나 구절을 예측할 수 없으므로 즉각적인 동기화가 어렵습니다.
2. 비정상적 조건: 음악 스트림은 급격한 변화를 수반합니다. 모션 이력에 과도하게 의존하면 부드러움은 보장되나 반응이 느려지고, 공격적인 오버라이드는 떨림과 불연속성을 유발합니다.
3. 오류 누적: 장기적 롤아웃 (long-horizon rollouts) 에서 작은 예측 오류가 미래 조건을 오염시켜 훈련 - 테스트 분포 편차를 초래하고 아티팩트가 누적됩니다.

또한, 저자들은 지각, 스트리밍 생성, 온라인 실행을 결합한 엔드 - 투 - 엔드 시스템이 부족하여 현실적인 상호작용 제약 하에서 모델을 평가하기 어렵다고 지적합니다.

방법론: DiscoForcing

DiscoForcing은 세 가지 긴밀하게 결합된 구성 요소로 구성된 통합 프레임워크입니다:

1. 인과적 음악 처리

선_lookahead 없이 엄격한 스트리밍 제어를 가능하게 하기 위해, 시스템은 슬라이딩 오디오 윈도우에서 컴팩트한 인과적 음악 특징 $c_t$를 추출하기 위해 **벡터 양자화 주기적 오토인코더 (VQ-PAE)**를 사용합니다. 이 특징은 다음과 같이 분해됩니다:

• 이산 리듬 인코딩: 확장 1D 합성곱 잠재 공간에 적용된 잔차 벡터 양자화 (RVQ) 는 이산적인 리듬 패턴과 고수준 구조를 포착합니다.
• 주기적 정렬 인코딩: 고속 푸리에 변환 (FFT) 을 사용하는 경량 네트워크는 주파수 영역 매개변수를 추정하여 부드러운 위상 정렬 신호 ($\phi$), 진폭 ($A$), 오프셋 ($B$) 을 재구성합니다.

2. 스트리밍 오디오 구동 모션 확산

핵심 생성 모델은 잠재 확산 강제 (Latent Diffusion Forcing) 시퀀스 모델입니다.

• 모션 표현: 글로벌 좌표 드리프트를 방지하고 실시간 리타게팅을 가능하게 하기 위해, 모션은 루트 선형/각속도와 국소 관절 위치, 속도, 회전을 포함하는 272 차원 벡터로 인코딩됩니다. 이는 변분 오토인코더 (VAE) 를 통해 컴팩트한 잠재 공간으로 투영됩니다.
• 확산 강제: 모델은 토큰별 이질적 노이즈로 훈련되어, 독립적인 노이즈 수준 ($k_t$) 에서 토큰을 제거하는 법을 학습함으로써 불완전하거나 구식인 자기회귀 역사에 대해 강건해집니다.
• 하이브리드 시간 스케줄: 훈련 중 모델은 훈련과 추론 간의 격차를 메우기 위해 세 가지 노이즈 스케줄 변형에서 샘플링합니다:
  • 랜덤: 유연성을 위한 독립적 샘플링.
  • 단조: 과거 프레임은 깨끗하고 미래 프레임은 노이즈인 슬라이딩 윈도우.
  • 사다리꼴: 충돌하는 사전 지식을 필터링하기 위해 먼 역사에 더 높은 노이즈를 할당.
• 시간 안내를 통한 스트리밍 추론: 추론 시 고정 길이의 FIFO(선입선출) 제거 노이즈 창이 유지됩니다. 시스템은 **시간 안내 (Temporal Guidance, TG)**를 사용하여 역사 기반 예측 (단조 스케줄, 오디오 조건 없음) 과 오디오 조건부 예측 (사다리꼴 스케줄) 의 가중 합을 계산합니다. 이는 새로운 오디오에 대한 반응성과 드리프트에 대한 안정성 사이의 균형을 맞춥니다.

3. 실시간 상호작용 시스템

저자들은 엄격한 지연 예산 하에서 프레임워크를 검증하기 위해 엔드 - 투 - 엔드 시스템을 구축했습니다:

• 온라인 아바타 플랫폼: SMPL 매개변수를 사용하는 Unity 기반 시각화 시스템으로, ROS2 를 통해 모션 데이터를 수신합니다.
• 물리 기반 휴머노이드 플랫폼: Unitree G1 로봇에 배포됩니다. 생성된 모션은 GMR 을 통해 리타게팅되고 저수준 PD 추적을 통한 전체 신체 제어 (WBC) 정책으로 실행되며, 모두 실시간으로 작동합니다.

주요 기여

1. 최초의 엔드 - 투 - 엔드 실시간 프레임워크: DiscoForcing은 상호작용 캐릭터 제어를 위한 인과적 오디오 인코딩과 스트리밍 댄스 생성을 통합한 최초의 프레임워크로 제시됩니다.
2. 분해된 조건부 잠재 확산 강제: 분해된 리듬 및 주기적 특징에 조건을 부여하고, 빠른 반응과 장기적 안정성 사이의 균형을 맞추기 위해 시간 안내 전략을 활용하는 모델 제안.
3. 재현 가능한 상호작용 시스템: 온라인 아바타 재생과 물리 기반 휴머노이드 실행을 모두 지원하는 통신 기반 시스템 구축으로, 통합 런타임 내에서의 크로스 플랫폼 검증을 가능하게 함.

결과

일치된 인과성 및 지연 제약 하에서 FineDance 및 AIST++ 데이터셋에서 평가된 결과, DiscoForcing은 다음과 같은 성과를 보입니다:

• 우수한 모션 품질: 자기회귀 (FACT, Bailando) 및 확산 기반선 (EDGE, Lodge, MEGADance) 과 비교하여 가장 낮은 프리셰트 인셉션 거리 (FID) 점수 (동적 및 기하학적 모두) 를 달성합니다.
• 향상된 안정성: 강력한 기반선 대비 오류 누적이 감소된 더 나은 장기적 롤아웃 행동을 보입니다.
• 반응성: 연속성을 희생하지 않으면서 급격한 음악 변화에 반응할 때 높은 비트 정렬 점수 (BAS) 와 다양성을 유지합니다.
• 실시간 성능: 시스템은 10 단계의 제거 노이즈로 약 26ms/프레임의 지연과 품질을 균형 있게 유지하며 안정적인 30 FPS 처리량을 유지합니다.

애블레이션 연구는 직접 순방향 운동학을 가능하게 하는 272 차원 모션 표현과 시간 안내 전략이 성능에 결정적임을 확인시켜 주며, 표준 클래스프리 가이드 (CFG) 및 수동 제작 오디오 특징보다 우수한 성능을 보입니다.

중요성 및 주장

본 논문은 DiscoForcing이 상호작용 응용 분야에서 견고한 오디오 반응형 캐릭터 제어를 위한 실용적인 경로를 제공한다고 주장합니다. 오프라인 훈련 모델과 스트리밍 배포 간의 구조적 불일치를 해결함으로써, 배포 인식 조건부 관리와 결합된 확산 - 강제 모델이 안정적이고 반응적이며 물리적으로 타당한 모션을 제공할 수 있음을 보여줍니다.

저자들은 이 작업을 상호작용 체화 응용을 위한 **"배포 충실성 생성 시퀀스 모델링"**을 향한 한 걸음으로 위치시킵니다. 그들은 인과성과 지연을 존중하는 실시간 스트리밍 생성을 위한 기준선을 확립하는 것을 기여로 겸손하게 규정하면서, 분포 변화 하에서의 더 강력한 견고성, 풍부한 사용자 제어 신호, 그리고 안전한 현실 세계 배포를 위한 하위 컨트롤러와의 더 긴밀한 통합을 탐구하기 위한 향후 작업이 필요함을 인정합니다.