기술 요약: MuGen - 인간형 로봇을 위한 다중 기술 생성형 보행 제어기

문제 제기

인간형 로봇은 심층 강화 학습 (RL) 을 통해 양보행 보행에서 상당한 진전을 이루었습니다. 그러나 기존 접근 방식은 종종 작업별 보상 설계에 의존하는데, 이는 설계가 어렵고 다양한 작업에 대한 일반화 능력이 부족합니다. 모방 학습 (IL) 은 인간 운동 데이터 세트를 활용함으로써 유망한 대안을 제시하지만, 현재 방법론은 두 가지 주요 한계에 직면해 있습니다:

1. 구조적 한계: 단순한 추적 정책은 운동학적 및 동역학적 제약 하에서 행동 공간의 복잡한 구조를 포착하는 데 어려움을 겪어, 대규모 데이터 세트에서 고유한 운동 패턴을 추출하고 재사용하기 어렵습니다.
2. 동역학적 신뢰성: 운동 생성과 로봇 제어의 분리는 종종 생성된 궤적이 동역학적으로 실행 가능함을 보장하지 못합니다. 운동학적으로 타당한 궤적조차 로봇의 제어 정책에 의해 추적 불가능할 수 있어 불안정성이나 실패로 이어집니다.

MuGen 은 이러한 문제들을 해결하기 위해 물리 시뮬레이션에서 직접 생성형 제어 시스템을 학습하는 데이터 기반 프레임워크를 제안함으로써, 학습된 기술이 로봇의 동역학적 제약과 일관되도록 보장합니다.

방법론

MuGen 은 Teacher-Student 학습 프레임워크와 벡터 양자화 변분 오토인코더 (VQ-VAE) 및 모델 기반 강화 학습 (MBRL) 을 결합합니다. 시스템은 LaFAN1 운동 데이터 세트를 사용하여 시뮬레이션 (NVIDIA IsaacGym) 에서 훈련됩니다.

1. 생성 모델 및 기술 임베딩

MuGen 의 핵심은 VQ-VAE 를 통해 학습된 운동 기술을 위한 구조화된 잠재 공간입니다.

• 인코더 ($E$): 로봇 상태 ($s$) 와 참조 운동 ($m$) 을 연속 임베딩 ($z$) 에 매핑합니다.
• VQ 병목: 이러한 임베딩을 학습 가능한 코드북의 가장 가까운 항목으로 양자화하여 ($\hat{z} = B(z)$), 이산적인 기술 공간을 생성합니다.
• 디코더 ($D$): 양자화된 코드와 현재 상태를 조건으로 하여 관절 목표 (행동) 에 대한 분포를 출력합니다.
• 월드 모델 ($W$): 미분 가능한 동역학 모델이 현재 상태와 행동을 기반으로 다음 상태 ($s_{t+1}$) 를 예측합니다. 이는 운동학적 참조와 정책 행동 간의 간극을 메워 샘플 기반 RL 기울기에 의존하지 않고 기울기 기반 최적화를 가능하게 합니다.

2. 훈련 전략

강력한 정책 증류를 보장하기 위해 훈련 과정은 세 단계로 나뉩니다:

• 사전 훈련: Teacher Policy는 특권 정보 (전체 상태 지식) 와 월드 모델을 사용하여 훈련됩니다. 이 정책은 참조 운동을 재구성하면서 추적 오차를 최소화하도록 정책과 VQ 코드북을 공동으로 최적화합니다.
• 워밍업: Student Policy가 도입됩니다. 이는 제한된 정보 (실제 세계의 센서 제약을 시뮬레이션) 를 관찰하지만 Teacher 와 공유된 고정된 코드북을 사용합니다. Teacher 가 롤아웃을 계속 생성하는 동안 Student 를 워밍업합니다.
• 증류: Teacher 와 코드북이 고정됩니다. Student 정책은 Teacher 의 행동을 모방하도록 훈련됩니다. DAgger 에서 영감을 받은 새로운 점진적 스케줄링 전략이 도입됩니다: 단일 롤아웃 궤적 내에서 Teacher 와 Student 간에 제어가 무작위로 전환되며, Teacher 를 선택할 확률은 0 으로 선형적으로 감쇠됩니다. 이를 통해 Student 가 실수를 하더라도 Teacher 가 로봇을 안정화시켜 급격한 분포 이동을 방지합니다.

3. 정책 증류

Student 정책은 두 가지 목적 함수를 통해 학습합니다:

• 행동 복제 ($L_{BC}$): Student 와 Teacher 간의 직접적인 행동 오차를 최소화합니다.
• 잠재 정렬 ($L_{align}$): Student 의 인코더가 Teacher 의 고정된 코드북과 호환되는 임베딩을 생성하도록 장려하여, 특징 수준의 지식 전이를 용이하게 합니다.

주요 기여

1. 생성형 보행 프레임워크: MuGen 은 이질적인 인간 운동 데이터에서 직접 다중 기술 보행을 위한 이산적이고 동역학적으로 실행 가능한 잠재 공간을 학습하는 프레임워크를 도입하여, 수동으로 설계된 보상 함수의 필요성을 제거합니다.
2. VQ-VAE 를 통한 Teacher-Student 증류: 이 논문은 특권 Teacher 가 VQ 기반 기술 표현을 학습한 후 공유 코드북을 사용하여 배포 가능한 Student 정책으로 증류하는 특정 아키텍처를 제안합니다. 이를 통해 복잡한 동역학 기술을 제한된 관찰 능력을 가진 정책으로 전이할 수 있습니다.
3. 점진적 증류 전략: 저자들은 증류 과정에서 단일 궤적 내에서 Teacher 와 Student 정책을 혼합하는 새로운 스케줄링 메커니즘을 개발했습니다. 이 접근 방식은 특권 관찰에서 제한된 관찰 설정으로 전환할 때 종종 발생하는 성능 저하를 완화합니다.
4. 실제 세계 배포: 이 프레임워크는 Unitree G1 인간형 로봇에서 검증되어, 보행, 달리기, 쪼그려 앉기, 춤추기 등 보이지 않는 운동을 추적하고 온보드 고유 수용성 센서만을 사용하여 새로운 운동을 자율적으로 생성하는 능력을 입증했습니다.

실험 결과

저자들은 LaFAN1 데이터 세트의 부분 집합 (약 1 시간의 보행 데이터) 을 사용하여 시뮬레이션과 Unitree G1 로봇에서 MuGen 을 평가했습니다.

• 추적 성능: 시뮬레이션에서 MuGen 은 보이지 않는 운동에 대해 **95.35% 의 생존율 (SR)**을 달성하여 베이스라인 (Vanilla MLP: 60.70%, VAE 기반: 51.51%) 을 크게 능가했습니다. 또한 베이스라인에 비해 평균 관절 회전 오차 (MJRE) 와 평균 선형 속도 오차 (MVE) 가 낮았습니다.
• 강건성: 시스템은 도메인 무작위화 (마찰, 하중, 센서 노이즈 변화) 하에서 안정성을 유지했습니다. 제거 실험은 이산적 기술 임베딩 (VQ) 과 적절한 시간적 역사가 강건성에 중요함을 확인했습니다.
• 생성 능력: 고유 수용성 상태만을 기반으로 코드북에서 잠재 기술을 샘플링하도록 "prior encoder"를 훈련시킴으로써, 시스템은 참조 궤적 없이도 다양한 부드러운 운동 (보행, 달리기, 회전) 을 성공적으로 생성했습니다.
• 실제 세계 실행: 정책은 30Hz 로 Unitree G1 에 배포되어 직진 보행과 쪼그려 앉기 보행을 성공적으로 수행했으며, 시뮬레이션에서 실제 세계로의 간극을 연결하는 프레임워크의 능력을 입증했습니다.

중요성 및 주장

이 논문은 MuGen 이 인간형 로봇을 위한 생성형 제어기를 향한 중요한 걸음이라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 일반화: 비구조화된 데이터에서 컴팩트한 기술 세트를 학습하고 재훈련 없이 보이지 않는 운동 및 생성 작업에 적용할 수 있는 능력.
• 배포 가능성: 도메인 무작위화와 강력한 증류 전략을 통해 "시뮬레이션에서 실제 세계" 간극을 극복하고, 제한된 센싱을 가진 실제 세계 인간형 로봇으로 복잡한 물리 기반 생성 정책을 성공적으로 전이한 점.
• 효율성: 인간과 로봇 간의 형태적 유사성을 활용하여 민첩하고 표현력 있는 행동을 생성함으로써 광범위한 보상 엔지니어링에 대한 의존도를 줄이는 방법.

저자들은 훈련 데이터에서 정적 자세의 과소 표현으로 인한 안정적인 서 있는 자세 유지의 어려움과 단순화된 월드 모델에 대한 의존성 등 한계를 인정합니다. 그러나 이 프레임워크가 프롬프트 기반 운동 생성 및 더 복잡한 지형 적응에 대한 향후 작업을 위한 확장 가능한 기반을 제공한다고 주장합니다.