기술 요약: GPC: 전이 가능한 모터 제어를 위한 대규모 생성적 사전 학습

문제 정의

가상 캐릭터가 광범위한 작업을 자연스럽고 생동감 있게 수행할 수 있도록 하는 물리 기반 제어기를 개발하는 것은 컴퓨터 그래픽스 분야의 중요한 과제로 남아 있습니다. 기존 연구들은 모션 데이터셋으로부터 운동 기술(motor skills)의 잠재 표현을 학습하기 위해 생성 모델(예: VAE, GAN)을 활용해 왔으나, 이러한 접근 방식은 종종 연속적인 잠재 공간(continuous latent spaces)에 의존합니다. 연속적인 공간은 잠재 매니폴드의 드리프트(drift) 및 간극(gap)으로 인해 모드 붕괴(mode collapse)와 부자연스러운 동작이 발생하기 쉽습니다. 반면, 벡터 양자화 VAE(VQ-VAE)를 기반으로 한 이산적 잠재 모델은 유망한 가능성을 보여주었으나, 낮은 코드 사용률이나 코드북 붕괴(codebook collapse)와 같은 훈련 퇴화 문제를 겪으며, 이를 완화하기 위해 복잡한 휴리스틱(예: 데드 코드 재초기화)이 필요한 경우가 많습니다. 또한, 기존의 토큰화된 방법들은 주로 소규모 데이터셋(예: 약 20시간 분량의 AMASS 하위 집합)에 국한되어 있어, 학습된 기술의 다양성과 강건성을 제한해 왔습니다.

방법론

저자들은 토큰화와 다음 토큰 예측(next-token prediction)을 활용하여 대규모 모션 데이터셋으로부터 범용적이고 재사용 가능한 제어기를 생성하는 프레임워크인 **GPC(Generative Pretrained Controllers)**를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다.

1. 유한 스칼라 양자화(FSQ)를 통한 기술 양자화

GPC는 VQ-VAE 대신 **유한 스칼라 양자화(FSQ)**를 사용하여 운동 기술의 이산적 잠재 표현을 생성합니다.

• 메커니즘: 인코더는 타겟 상태의 시퀀스를 연속적인 잠재 벡터로 매핑합니다. 각 차원은 반올림 연산을 통해 $L$개의 고정된 스칼라 레벨로 독립적으로 양자화되며, 이를 통해 $L^d$ 크기의 암묵적인 이산 코드북을 생성합니다.
• 장점: 이 방식은 명시적인 학습 코드북을 필요로 하지 않으므로, VQ-VAE와 관련된 코드북 임베딩 업데이트, 보조 손실 함수, 또는 임의적인 휴리스틱을 제거할 수 있습니다.
• 훈련: 인코더-디코더 정책은 모션 트래킹 목적 함수(PPO)를 사용하는 강화 학습(RL)을 통해 **엔드 투 엔드(end-to-end)**로 훈련됩니다. 이는 학습된 이산 코드가 물리 시뮬레이션 제어기에 의해 충실히 실행될 수 있는 기술과 직접적으로 대응하도록 보장합니다.

2. 생성적 제어기 훈련

이산적 기술 표현이 확립되면, **GPT 스타일의 자기회귀 트랜스포머(autoregressive transformer)**를 훈련하여 기술 토큰의 분포를 모델링합니다.

• 토큰 그룹화: 시퀀스 길이와 계산 비용을 줄이기 위해, 연속적인 $L$-진법 토큰들을 $L^G$ 크기의 더 큰 토큰으로 그룹화합니다.
• 아키텍처: 트랜스포머 디코더는 캐릭터의 현재 상태와 이전에 생성된 토큰들에 조건화되어, 그룹화된 토큰들의 결합 조건 분포를 자기회귀적으로 모델링합니다.
• 추론: 제어기는 핵 샘플링(nucleus/top-$p$ sampling)을 통해 잠재 토큰 시퀀스를 생성하며, 생성된 토큰은 고정된 FSQ 디코더에 의해 PD 제어기를 위한 액션(타겟 관절 회전)으로 디코딩됩니다.

3. 매개변수 효율적 미세 조정을 통한 태스크 적응

사전 훈련된 제어기를 전체 재학습 없이 새로운 다운스트림 태스크에 적응시키기 위해, 저자들은 **조건부 저차 적응(Conditional Low-rank Adaptation, CoLA)**을 도입합니다.

• 메커니즘: CoLA는 고정된 생성 제어기에 경량화된 변조 레이어(추가 파라미터 1% 미만)를 삽입합니다. 이는 가중치 업데이트를 크기(magnitude)와 방향(directional) 성분으로 분해하고, FiLM을 통해 태스크별 관측값에 의해 변조하는 DoRA 전략을 확장한 것입니다.
• 미세 조정 전략: 적응은 다음을 통해 수행될 수 있습니다:
  • 지도 미세 조정(SFT): 예시 모션을 사용하여 크로스 엔트로피 손실을 최소화함으로써 제어기가 태스크 관련 기술 쪽으로 편향되도록 유도합니다.
  • 강화 학습 미세 조정(RLFT): PPO를 사용하여 태스크 특정 보상 함수를 최적화하며, 이때 무조건적 생성 모델(unconditional generative model)을 통해 탐색을 정규화하여 자연스러운 동작을 유지합니다.

주요 기여

1. FSQ 기반 이산 표현: 운동 기술 양자화를 위한 FSQ의 도입은 명시적 코드북과 관련 휴리스틱을 제거함으로써 훈련을 단순화하고, 대규모 데이터셋에서의 안정적인 훈련을 가능하게 합니다.
2. 엔드 투 엔드 RL 훈련: 양자화 인코더와 디코더가 RL과 함께 공동으로 최적화되는 프레임워크를 제공하여, 기존의 지도 증류(supervised distillation) 방식과 달리 학습된 잠재 공간이 물리 기반 제어에 직접적으로 적합하도록 보장합니다.
3. 대규모 사전 훈련: 600시간 이상의 다양한 인간 모션이 포함된 데이터셋("Bones" 데이터셋)에서 생성적 제어기를 성공적으로 훈련했습니다. 이는 기존의 토큰화된 접근 방식보다 훨씬 큰 규모입니다.
4. 매개변수 효율적 적응: CoLA 기반의 PEFT 방식은 베이스 모델의 자연스럽고 생동감 있는 동작을 보존하면서도, 다양한 다운스트림 태스크(예: 조향, 궤적 추적, 낙하 후 회복)에 제어기를 적응시킬 수 있게 합니다.

결과

• 트래킹 성능: FSQ 기반 트래킹 제어기는 대규모 Bones 데이터셋의 모션 클립을 재현하는 데 있어 99.98%의 성공률을 달이트며, 평균 관절 위치 오차(MPJPE) 25.56mm를 기록했습니다. 이는 성공률과 강건성 측면에서 모두 MLP 베이스라인 및 VQ-VAE 기반 제어기를 능가했습니다.
• 창발적 행동: 생성적 제어기는 명시적인 보상 없이도 자연스러운 창발적 행동을 보여주었습니다. 여기에는 섭동(perturbation)에 대한 반응적 행동(예: 균형을 잡기 위해 발걸음을 조절함)과 낙하 후 회복 전략(예: 일어나기 위해 구르기)이 포함됩니다.
• 태스크 적응: 프레임워크는 이동(목표 도달, 궤적 추적) 및 장면 상호작용을 포함한 다양한 다운스트림 태스크에 성공적으로 적응했습니다.
  • 다양성: 결정론적 베이스라인(예: CVAE)과 달리, GPC는 태스크 수행 중에도 행동의 다양성을 유지하며 동일한 태스크에 대해 다양한 궤적을 생성했습니다.
  • 스타일 제어: 지도 미세 조정을 통해 태스크 성능을 유지하면서도 스타일 제어(예: 웅크린 걷기 스타일 강제)가 가능했습니다.
• 효율성: 토큰 그룹화 전략은 어휘 사전 크기와 시퀀스 길이 사이의 균형을 효과적으로 맞추어, 모션 품질을 유지하면서도 계산 비용을 줄였습니다.

의의 및 주장

본 논문은 GPC가 방대한 운동 기술 레퍼토리를 모델링할 수 있는 매우 강건하고 범용적인 제어기를 제공한다고 주장합니다. FSQ를 엔드 투 엔드 RL 및 자기회귀 모델링과 결합함으로써, 이 프레임워크는 연속적 잠재 공간의 한계와 VQ-VAE의 훈련 불안정성을 극 overcome합니다. 대규모 데이터셋에서 사전 훈련하고 PEFT를 통해 새로운 태스크에 효율적으로 적응할 수 있는 능력은 기존의 토큰화된 방법들에 비해 훈련 과정을 단순화합니다. 저자들은 GPC를 물리 기반 캐릭터 애니메이션이 동적인 환경과 상호작용하고 수동으로 제작된 애니메이션을 넘어 일반화되어야 하는 영화, 게임, XR 분야의 실질적인 응용을 가능하게 하는 단계로 포지셔닝합니다. 본 연구는 대규모 생성적 사전 훈련이 높은 충실도로 데이터를 추적할 뿐만 아니라, 인간다운 회복력과 적응력을 갖춘 제어기를 생성할 수 있음을 입증합니다.