사람은 발바닥이 넓고 근육이 유연해서 구르거나 회전할 수 있지만, 로봇은 관절이 딱딱하고 무게중심이 다릅니다.
사람의 동작을 로봇에게 그대로 옮기면, 겉보기엔 그럴듯해 보이지만 (자세는 맞는데), 실제로는 로봇이 넘어지거나, 바닥을 뚫고 들어가거나, 공중에 뜰 수 있습니다.
마치 "사람이 뛰는 영상"을 보고 "무거운 철제 로봇"에게 똑같이 뛰게 시키면, 로봇은 다리가 꺾이거나 넘어지는 거죠.
2. PhyGile 의 해결책: "로봇 전용 운동선수를 키우기"
PhyGile 은 사람의 동작을 복사하는 대신, 로봇이 물리 법칙을 지키면서 움직일 수 있는 '새로운 동작'을 처음부터 만들어냅니다. 이를 위해 세 가지 핵심 장치를 사용합니다.
① "로봇 전용 운동선수" (General Motion Tracking, GMT)
비유: 로봇에게 다양한 운동을 가르치는 코치입니다.
특징: 이 코치는 단순히 쉬운 걷기만 가르치지 않습니다. "쉬운 동작", "중간 난이도", "어려운 공중제비"까지 단계별 커리큘럼으로 가르칩니다.
전문가 시스템 (MoE): 마치 운동 선수 팀처럼, 걷는 전문가, 뛰는 전문가, 구르는 전문가가 따로 있습니다. 어떤 명령이 들어오면, 그 상황에 가장 적합한 '전문가'가 나서서 로봇을 움직입니다. 그래서 복잡한 동작도 흔들리지 않고 안정적입니다.
② "로봇 전용 춤 안무사" (Motion Generation)
비유: 로봇의 몸 구조를 완벽하게 이해하는 안무가입니다.
특징: 사람의 춤을 복사하지 않고, 로봇의 관절 29 개와 무게중심을 고려해서 처음부터 로봇이 할 수 있는 동작을 만들어냅니다.
TP-MoE: 안무가가 "왼손 들어올리기"라고 하면, 로봇의 왼쪽 손목 관절만 정확히 움직이도록 미세하게 조절합니다.
③ "안전 검사관" (Physics-Prefix Guided Fine-tuning)
비유: 안무가가 만든 안무를 실제 무대에서 시연해 보는 리허설입니다.
핵심 아이디어: 안무가가 "구르기" 안무를 만들면, 로봇이 실제로 그걸 따라 할 수 있는지 시뮬레이션에서 미리 테스트합니다.
만약 로봇이 넘어질 것 같으면? -> "아, 이 부분은 물리적으로 불가능하네."라고 판단하고 안무를 수정합니다.
물리 프리픽스 (Physics-prefix): 로봇이 이미 잘하고 있는 '안전한 동작'을 시작점으로 삼고, 그 뒤에 새로운 동작을 이어붙입니다. 마치 안전한 다리를 건너서 새로운 땅으로 넘어가는 것처럼, 넘어지지 않는 구간에서부터 시작해서 복잡한 동작을 완성합니다.
3. PhyGile 이 만든 놀라운 결과
이 기술을 적용하면 로봇은 다음과 같은 일을 할 수 있게 됩니다.
"한쪽 무릎을 꿇고 손으로 불을 쬐세요" → 로봇이 자연스럽게 무릎을 꿇고 손을 모읍니다.
"브레이크 댄스 회전" → 로봇이 바닥에 손을 대고 빙글빙글 돌지만, 절대 넘어지지 않습니다.
"손수레 (Cartwheel)" → 로봇이 옆으로 구르며 손을 땅에 짚고 돌아갑니다.
이전에는 이런 복잡한 동작을 시키면 로봇이 넘어지거나 뒤틀렸지만, PhyGile 은 **"말 (언어)"**과 "물리 (현실)" 사이의 간극을 메워주어, 로봇이 실제 세상에서도 안전하게 이런 고난도 동작을 수행하게 해줍니다.
📝 한 줄 요약
"PhyGile 은 로봇에게 사람의 춤을 억지로 복사하게 하는 게 아니라, 로봇이 물리 법칙을 지키면서 스스로 춤출 수 있도록 '안전한 안무'와 '전문 코치'를 함께 만들어주는 기술입니다."
이 기술 덕분에 앞으로 우리가 "로봇, 저기서 춤춰봐!"라고 말하면, 로봇이 넘어지지 않고 멋진 춤을 추는 날이 머지않았습니다! 🤖💃🕺
1. 문제 정의 (Problem)
기존의 텍스트 - 모션 생성 (Text-to-Motion) 모델들은 주로 인간의 생체역학, 질량 분포, 접촉 전략을 기반으로 학습된 인간 모션 데이터셋 (예: HumanML3D) 에 훈련됩니다. 이러한 모델이 생성한 모션을 인간형 로봇에 적용할 때 발생하는 주요 문제점은 다음과 같습니다.
물리적 실행 불가능성: 기하학적 제약 (관절 범위 등) 은 만족하더라도, 토크 한계, 접촉 일관성, 동적 균형과 같은 물리적 제약이 위반되어 실제 로봇이 실행 시 넘어지거나 불안정해지는 경우가 많습니다.
재매핑 (Retargeting) 아티팩트: 인간 모션을 로봇 형태에 맞게 재매핑하는 과정에서 물리적으로 일관되지 않은 구간이 발생하며, 이는 제어 정책의 학습을 저해합니다.
데이터 불균형 (Long-tail Distribution): 기존 데이터셋은 걷기나 달리기와 같은 단순한 동작은 풍부하지만, 회전, 공중제비, 브레이크댄스 등 고난이도이고 민첩한 (Agile) 동작은 매우 부족합니다. 이로 인해 제어 정책이 이러한 고난이도 동작에 취약해집니다.
생성과 실행의 분리: 생성 모델과 추적 (Tracking) 제어기가 느슨하게 결합되어 있어, 생성된 모션이 제어기의 실행 가능 영역을 벗어날 경우 실패가 빈번합니다.
2. 방법론 (Methodology)
PhyGile 은 로봇 네이티브 (Robot-native) 모션 생성과 **민첩한 일반 모션 추적 (GMT)**을 물리 기반 접두어 (Physics-prefix) 를 통해 연결하는 통합 프레임워크입니다. 주요 구성 요소는 다음과 같습니다.
A. 일반 모션 추적 (General Motion Tracking, GMT)
고난이도 동작의 학습을 위한 커리큘럼 기반의 전문가 혼합 (Mixture-of-Experts, MoE) 전략을 사용합니다.
난이도 기반 커리큘럼 학습: 모션을 신경 제어 관점 (계획, 예측, 균형 부하) 에서 12 단계로 분류합니다. 1~10 단계 (실행 가능) 를 Easy, Medium, Hard 로 구분하여 단계별로 학습합니다.
Hard-biased Routing: 새로운 난이도 레벨이 해제될 때, 해당 레벨의 동작에 특화된 전문가 (Expert) 가 강한 그라디언트를 받도록 강제 라우팅을 적용하여 전문성을 유도합니다.
Freeze-and-drop: 학습 중 추적 실패율이 높거나 오류가 큰 데이터는 일시적으로 동결 (Freeze) 하거나 제거 (Drop) 하여 정책 학습의 품질을 유지합니다.
글로벌 소프트 MoE 파인튜닝: 라벨이 없는 대규모 모션 데이터에 대해 전 전문가 (All Experts) 를 활용한 소프트 라우팅으로 일반화 능력을 향상시킵니다.
B. 모션 생성 (Motion Generation)
로봇 네이티브 확산 모델 (Diffusion Model): 인간의 모션이 아닌, 262 차원 로봇 골격 공간에서 직접 모션을 생성합니다.
TP-MoE (Token-level Parameter-mixing MoE): 텍스트의 각 토큰과 모션 타임라인을 정밀하게 정렬하기 위해, 각 디코더 레이어의 FFN 뒤에 전문가 혼합 구조를 도입합니다. 이를 통해 텍스트의 세부적인 의미 (예: "손을 따뜻하게 하기") 가 모션의 특정 구간과 정확히 매칭되도록 합니다.
ASFO (Action-Semantic Frequency-aware Oversampling): 희귀한 동작 (Long-tail) 에 대한 학습을 강화하기 위해 LLM 을 이용해 행동 시맨틱 태그를 추출하고, 빈도가 낮은 태그에 대해 오버샘플링 및 좌우 반전 (Mirroring) 증강을 수행합니다.
C. 물리 기반 접두어 가이드 (Physics-Prefix Guided Fine-tuning)
생성과 실행 간의 격차를 해소하는 핵심 기술입니다.
물리 검증 접두어 (Physics-validated Prefix): 학습된 GMT 제어기를 사용하여 생성된 모션의 일부 구간 (접두어) 을 시뮬레이션에서 검증합니다. 실행 가능한 구간만 선택하여 확산 모델의 조건부 입력 (Conditioning) 으로 사용합니다.
폐루프 정제 (Closed-Loop Refinement): 생성된 모션이 물리적으로 실행 가능한지 시뮬레이션으로 검증하고, MPJPE(평균 관절 위치 오차) 가 허용 범위 내에 있는 경우만 선택합니다.
생성 - 추적 정렬: 검증된 접두어를 기반으로 확산 모델을 고정 (Frozen) 하고, GMT 제어기만 파인튜닝하여 생성된 모션 분포에 대한 추적 성능을 극대화합니다.
3. 주요 기여 (Key Contributions)
PhyGile 프레임워크: 텍스트 기반 모션 생성과 로봇 제어 간의 불일치를 해결하기 위해, 물리적으로 검증된 접두어를 공유 인터페이스로 활용하는 통합 파이프라인을 제안했습니다.
세 가지 핵심 구성 요소 개발:
난이도 계층화 커리큘럼 기반 MoE 추적 전략.
262 차원 로봇 표현과 TP-MoE 를 활용한 정밀한 텍스트 조건부 모션 생성.
생성된 모션과 실행 가능한 추적 정책을 정렬하는 물리 접두어 가이드 파인튜닝.
실제 로봇 실험: Unitree G1 인간형 로봇을 대상으로 한 실험을 통해, 기존 방법론이 실패했던 고난이도 민첩한 동작 (브레이크댄스, 공중제비, 카트휠 등) 을 안정적으로 실행함을 입증했습니다.
4. 실험 결과 (Results)
모션 생성 품질: 재매핑 (Retargeting) 방식의 기존 모델들과 비교하여, 물리적 오류 (관절 침투, 공중 부양, 미끄러짐) 를 크게 줄이면서도 텍스트 - 모션 정합성 (R@3, FID) 을 유지하거나 향상시켰습니다. 특히 파인튜닝된 버전은 물리적 안전성 (Penetration/Skating) 에서 가장 우수한 성능을 보였습니다.
모션 추적 성능: GMT 벤치마크에서 PhyGile 은 기존 GMT 및 TextOp 모델 대비 **가장 높은 성공률 (94.01%)**과 가장 낮은 관절 오차 (위치, 각도, 속도) 를 기록했습니다.
실제 로봇 배포: Unitree G1 로봇에서 50Hz 로 실시간 추적이 가능하며, 별도의 재학습 없이 다양한 고난이도 동작을 안정적으로 수행했습니다.
5. 의의 및 결론 (Significance)
PhyGile 은 의미론적 (Semantic) 의도와 물리적 실행 가능성 (Physical Feasibility) 사이의 트레이드오프를 효과적으로 해결했습니다. 단순히 인간 모션을 로봇에 매핑하는 것을 넘어, 로봇의 물리적 제약 내에서 직접 모션을 생성하고 이를 물리적으로 검증된 접두어를 통해 제어기와 밀접하게 결합함으로써, 인간형 로봇이 걷기나 단순 동작을 넘어 **복잡하고 역동적인 전신 기술 (Whole-body skills)**을 안정적으로 습득하고 실행할 수 있는 새로운 기준을 제시했습니다. 이는 인간형 로봇의 일반 목적 제어 (General-purpose Control) 와 실제 세계 적용 (Real-world Deployment) 의 중요한 진전입니다.