Commanding Humanoid by Free-form Language: A Large Language Action Model with Unified Motion Vocabulary

1. 문제 정의 (Problem)

인간형 로봇 (Humanoid Robot) 이 자유 형식의 자연어 명령을 따라 전신 제어 (Whole-body control) 를 수행하는 것은 인간 - 로봇 상호작용 및 범용 embodied intelligence 에 필수적입니다. 그러나 기존 연구는 다음과 같은 한계를 겪고 있습니다:

• 물리적 실현 가능성과 언어 충실도의 트레이드오프: 기존 방법들은 주로 인간 모션 데이터를 로봇에 매핑 (Retargeting) 하거나, 단순한 지시어에 국한되어 있습니다. 이로 인해 언어의 다양성을 희생하거나, 실제 물리 환경에서 실행 불가능한 (불안정하거나 부자연스러운) 동작이 생성됩니다.
• 데이터 부족: 인간형 로봇의 물리적으로 실행 가능한 대규모 모션 데이터는 수집 비용이 매우 비싸고 어렵습니다.
• 모달리티 불일치: 인간과 로봇의 신체 구조 (Kinematics) 가 다르기 때문에, 인간 모션 공간에서 학습된 모델을 로봇에 직접 적용하면 정밀도가 떨어지고 오차가 발생합니다.

2. 방법론 (Methodology)

저자들은 Humanoid-LLA라는 새로운 프레임워크를 제안하며, 이는 자연어 명령을 물리적으로 실행 가능한 인간형 로봇 동작으로 직접 매핑하는 엔드 - 투 - 엔드 (End-to-End) 모델입니다. 핵심 구성 요소는 다음과 같습니다.

A. 통합 모션 어휘 (Unified Motion Vocabulary)

• 목적: 인간과 인간형 로봇의 모션 원시 (Primitives) 를 공유된 이산 (Discrete) 공간에 정렬합니다.
• 구현: 쌍을 이룬 인간 모션과 이를 로봇으로 리타겟팅한 모션을 사용하여 VQ-VAE (Vector Quantized Variational Autoencoder) 기반의 토크나이저를 학습합니다.
• 특징: 단순한 재구성을 넘어, 양방향 교차 재구성 (Cross-embodiment Reconstruction) 을 강제합니다. 즉, 동일한 토큰이 인간과 로봇 모두에서 동일한 모션 원시에 대응되도록 하여, 언어 모델이 로봇 제어에 사용할 수 있는 공유된 잠재 공간 (Latent Space) 을 구축합니다.

B. 어휘 지향 행동 증류 (Vocabulary-directed Action Distillation)

• 목적: 이산적인 모션 토큰을 물리적으로 실행 가능한 제어 정책으로 연결합니다.
• 구현:
  1. Teacher Policy: 밀집된 (Dense) 리타겟팅된 로봇 모션을 정밀하게 추적하는 강화학습 기반의 '특권 (Privileged)' 추적 컨트롤러를 학습합니다.
  2. Student Policy: 위 Teacher 의 행동을 모션 토큰을 조건으로 하는 학생 컨트롤러 (CVAE 기반) 로 증류합니다.
• 효과: 로봇이 언어 모델이 생성한 토큰 시퀀스를 입력받아 물리적으로 안정적이고 접촉이 유지되는 전신 동작을 수행할 수 있게 합니다.

C. 대규모 언어 - 행동 모델 (Large Language Action Model, LLA)

• 구조: 자연어 명령을 직접 모션 토큰 시퀀스로 변환하는 Transformer 기반 모델입니다.
• 학습 단계:
  1. 지도 미세 조정 (SFT): 대규모 인간 모션 - 텍스트 데이터셋을 활용합니다. 여기서 모션 체인 - 오브 - 생각 (Motion Chain-of-Thought, CoT) 전략을 도입하여, 모델이 동작을 생성하기 전에 논리적 추론 (예: "팔을 들어 올리고, 흔들고, 내린다") 을 수행하도록 유도합니다.
  2. 강화학습 미세 조정 (RLFT): 시뮬레이션 환경에서 인간형 로봇 피드백을 기반으로 GRPO (Group Relative Policy Optimization) 를 적용합니다.
     • 보상 설계: 형식 준수 (구조화된 출력), 분산적 정합성 (물리적으로 타당한 모션 분포), 추적 정합성 (증류된 컨트롤러가 실행 가능한지) 을 종합적으로 보상합니다.

3. 주요 기여 (Key Contributions)

1. Humanoid-LLA 프레임워크: 자유 형식의 텍스트를 인간형 로봇의 실행 가능한 전신 동작으로 직접 매핑하는 최초의 엔드 - 투 - 엔드 모델 제안.
2. 통합 인간 - 로봇 모션 어휘: 교차 신체 (Cross-embodied) VQ-VAE 를 통해 인간과 로봇의 모션을 공유된 잠재 공간으로 정렬하여, 데이터 부족과 신체 불일치 문제를 해결.
3. 이중 단계 미세 조정 전략: CoT 를 통한 의미적 이해와 RL 을 통한 물리적 추론을 결합하여, 개방형 어휘 (Open-vocabulary) 지시에도 강인하면서도 물리적으로 정확한 동작 생성 가능.

4. 실험 결과 (Results)

• 평가 환경: 시뮬레이션 및 실제 로봇 (Unitree G1, Booster T1) 에서 평가.
• 성능: 기존 방법 (MDM+Retarget, OmniH2O, UH-1, LangWBC, RLPF 등) 과 비교하여 모든 지표에서 우수한 성능을 보임.
  • 생성 품질: FID(분포 유사성), R-Precision(언어 - 모션 정합성), 다양성 (Diversity) 지표에서 최상위 성능 달성.
  • 물리적 실행성: 성공률 (Success Rate) 이 **87.6%**로 가장 높았으며, MPJPE(관절 위치 오차), 속도/가속도 오차 등 물리 추적 지표에서도 압도적으로 낮음.
• 실제 로봇 적용: "군인 행진", "손 흔들기", "스쿼트" 등 추상적이고 새로운 용어가 포함된 명령어도 실제 로봇에서 자연스럽게 수행됨.

5. 의의 및 의의 (Significance)

이 논문은 인간형 로봇의 언어 기반 제어 분야에서 다음과 같은 중요한 진전을 이루었습니다:

• 언어 일반화와 물리적 정합성의 동시 달성: 기존에는 언어의 다양성과 물리적 안정성 중 하나를 희생해야 했지만, Humanoid-LLA 는 두 가지 모두를 만족시킴.
• 데이터 효율성: 실제 로봇 데이터의 부족 문제를 해결하기 위해 인간 모션 데이터와 시뮬레이션 기반 RL 을 효과적으로 결합한 새로운 패러다임 제시.
• 실용성: 추상적인 자연어 명령을 실제 복잡한 환경에서 실행 가능한 로봇 동작으로 변환하여, 범용 인간형 로봇의 실용화를 위한 핵심 기술로 평가됨.

결론적으로, Humanoid-LLA 는 자연어와 물리 제어 사이의 간극을 메우는 통합된 아키텍처를 제시하며, 인간형 로봇이 복잡한 지시를 이해하고 물리적으로 안정적으로 수행할 수 있는 새로운 기준을 마련했습니다.