기술 요약: 크로스 휴머노이드 로코모션(Locomotion)을 위한 확장 가능하고 일반적인 전신 제어(Whole-Body Control)

문제 정의

학습 기반의 전신 제어(WBC)는 휴머노이드 로봇이 민첩하고 견고한 동작을 수행할 수 있도록 하는 지배적인 패러다임이 되었습니다. 그러나 기존 방식은 대부분 **형태 특화적(embodiment-specific)**이며, 형태학적 구조, 운동학(kinematics), 역학(dynamics), 그리고 관절 구성의 상당한 차이로 인해 새로운 로봇 플랫폼마다 광범위한 재학습을 요구합니다. 이러한 확장성의 결여는 다양한 휴머노이드 플릿(fleet)에 컨트롤러를 배포하는 비용을 높이고 비효적으로 만듭니다. 애니메이션 및 사족 보행 로코모션 분야에서 이루어진 기존의 크로스 임보디먼트(cross-embodiment) 노력들이 일부 전이 가능성을 달성하기도 했으나, 이들은 종종 공유된 형태적 사전 지식(morphological priors)이나 단순화된 역학에 의존하며, 이는 복잡하고 이질적인 구조를 가진 휴머노이드에서는 한계가 있습니다. 본 연구가 다루는 핵심 과제는 다음과 같습니다: 단일 학습된 컨트롤러가 개별 로봇별 학습 없이도 다양한 휴머노이드 형상에 대해 견고하게 일반화될 수 있는가?

방법론: XHugWBC

저자들은 제로샷 전이(zero-shot transfer)가 가능한 "제너럴리스트(generalist)" 정책을 학습하도록 설계된 새로운 크로스 임보디먼트 학습 프레임워크인 XHugWBC를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 물리적 일관성을 갖춘 형태학적 무작위화(Physics-Consistent Morphological Randomization)

정책이 일반화되려면, 학습 과정에서 다양하면서도 물리적으로 유효한 로봇 형상을 경험해야 합니다. 저자들은 관성 파라미터를 단순히 무작위화할 경우 물리적으로 불가능한 모델(예: 음수 질량 또는 양의 정부호가 아닌 관성 행렬)이 생성되어 시뮬레이션 불안정성이나 정책 퇴화를 초래할 수 있다고 주장합니다.

• 재매개변수화(Reparameterization): 저자들은 링크의 관성 파라미터를 무작위화하는 수학적으로 엄격한 방법을 도입합니다. 의사 관성 행렬(pseudo-inertia matrix)의 숄레스키 분해($J = LL^\top$)와 아핀 변환(affine transformations)을 활용하여, 제약이 있는 물리적 파라미터 공간을 제약이 없는 10차원 실수 벡터 공간($\mathbb{R}^{10}$)으로 매핑합니다.
• 관절 무작위화(Joint Randomization): 프레임워크는 회전축, 부모 링크에 대한 상대적 위치, 구동 유형(회전형 vs 고정형)을 포함한 관절 구성을 무작위화합니다. 이를 통해 물리적 일관성을 유지하면서도 다양한 자유도(12개에서 32개의 활성 관절 범위)와 다양한 운동학적 토폴로지를 가진 로봇을 생성할 수 있습니다.

2. 보편적 크로스 임보디먼트 표현(Universal Cross-Embodiment Representation)

서로 다른 관절 수와 운동학적 구조를 가진 로봇을 처리하기 위해, 저자들은 통합된 상태-행동 표현을 제안합니다.

• 의미론적 정렬(Semantic Alignment): 로봇별 관절 상태는 고정된 차원($N_{max} = 32$)을 가진 글로벌 관절 공간으로 매핑됩니다. 관절은 그들의 의미론적 역할(예: "왼쪽 힙 피치")에 따라 임베딩되며, 사용되지 않는 차원은 제로 패딩(zero-padding) 처리됩니다. 이를 통해 특정 로봇의 형태와 관계없이 정책이 고정된 차원의 입력을 받을 수 있도록 합니다.
• 그래프 기반 형태학적 기술(Graph-Based Morphology Description): 관절 간의 구조적 관계를 인코딩하기 위해, 저자들은 각 로봇에 대한 **방향성 운동학 그래프(directed kinematic graph)**를 구축합니다. 이 그래프에서 유도된 인접 행렬(adjacency matrix)을 사용하여 로봇의 토폴로지를 명시적으로 표현하며, 발목을 무릎의 자식으로 취급하는 병렬 링크 메커니즘과 같은 복잡성을 처리합니다.

3. 정책 아키텍처 및 학습

제어 정책은 형태학적으로 다양한 로봇 군(family)을 대상으로 강화 학습(RL)을 통해 학습됩니다.

• 인코더(Encoders): 저자들은 그래프 구조 데이터를 처리하기 위해 두 가지 아키텍처, 즉 **그래프 합성곱 신경망(GCN)**과 **트랜스포머(Transformer)**를 탐구합니다. 트랜스포머 변형은 하이브리드 마스크 전략을 채택하여, 첫 번째 레이어에서는 국소적 운동학적 제약을 준수하기 위해 마스크드 어텐션(masked attention)을 사용하고, 후속 레이어에서는 전역적 조율을 위해 언마스크드 셀프 어텐션(unmasked self-attention)을 사용합니다.
• 상태 추정(State Estimation): 실제 환경 배포 시 발생하는 부분 관측성(partial observability) 문제를 해결하기 위해, 고유 수용성 관찰(proprioceptive observations)로부터 특권 정보(예: 베이스 선속도, 높이)를 재구성하는 지도 학습 기반의 상태 추정기를 동시에 학습시킵니다.
• 명령 공간(Command Space): 정책은 속도, 자세, 보행 파라미터를 포함하는 통합 명령 공간 내에서 작동하며, 상체 개입(텔레오퍼레이션)을 위한 추가 메커니즘을 통해 로코-매니퓰레이션(loco-manipulation) 작업을 수행할 수 있습니다.

주요 기여

1. 물리적 일관성을 갖춘 무작위화: 관성 및 관절 공간을 재매개변수화함으로써, 단순한 무작위화의 한계를 극복하고 다양하면서도 물리적으로 타당한 휴머노이드 형상을 생성하는 새로운 방법을 제시했습니다.
2. 보편적 표현: 의미론적 관절 정렬과 그래프 기반 형태학적 기술을 사용하여 이질적인 로봇 구조를 통합하는 크로스-휴머노이드 제어 프레임워크를 구축했습니다.
3. 강건한 제로샷 일반화: 운동학, 역학 및 형태학적 다양성이 큰 7대의 실제 세계 휴머노이드 로봇에 대해 제너럴리스트 컨트롤러가 강건한 제로샷 전신 제어를 달로 달성했음을 최초로 입증했습니다.

실험 결과

저자들은 12대의 시뮬레이션 휴머노이드와 7대의 실제 로봇(Unitree G1, H1-2, Agibot X2 등 포함)을 대상으로 XHugWBC를 평가했습니다.

• 제로샷 일반화: 제너럴리스트 정책은 12대의 시뮬레이션 및 7대의 실제 로봇 모두에서 **100% 생존율(survival rate)**을 달성했습니다. 각 로봇에 특화된 스페셜리스트 정책만큼의 성능에는 미치지 못했지만, 시뮬레이션에서 스페셜리스트의 리턴(return) 대비 약 85% 수준에 도달했습니다.
• 미세 조정 효율성(Fine-Tuning Efficiency): 특정 로봇에 대해 미세 조정을 위한 초기값으로 사용되었을 때, 제너럴리스트 정책은 처음부터 학습하는 것보다 훨씬 빠르게 수렴했으며, 궁극적으로 스페셜리스트 정책을 최대 **10%**까지 능가하는 리턴을 보여주었습니다.
• 심투리얼(Sim-to-Real) 전이: 정책은 7개의 실제 플랫폼 모두로 안정적으로 전이되었습니다. 시뮬레이션과 실제 사이의 성능 격차(상대 오차 약 27% ~ 108%)는 존재했으나, 시스템은 강건한 로코모션과 작업 성공률을 유지했습니다.
• 로코-매니퓰레이션(Loco-Manipulation): 프레임워크는 텔레오퍼레이션 신호를 사용하여 서로 다른 로봇 플랫폼에서 물건 집기, 문 열기, 물건 놓기와 같은 장기(long-horizon) 전신 작업을 성공적으로 수행했습니다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 그래프 기반 아키텍처(GCN 및 Transformer)가 표준 MLP 베이스라인보다 성능이 월등히 높음을 확인하였으며, 이는 운동학적 토폴로지를 모델링하는 것의 중요성을 강조합니다. 또한, 제안된 물리적 일관성을 갖춘 무작위화 방식이 단순 무작위화나 기존의 크로스 임보디먼트 방식(MetaMorph, MorAL)보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 XHugWBC가 확장 가능하고 범용적인 휴머노이드 제어를 향한 중요한 진전임을 주장합니다. 단일 학습 단계 동안 광범위한 형태학적 및 역학적 특성을 내재화함으로써, 이 프레임워크는 강력하고 임보디먼트에 구애받지 않는 동작 사전 지식을 학습합니다. 이는 비용이 많이 드는 로봇별 재학습 필요성을 제거하고, 새로운 휴머노이드 플랫폼에 대한 신속한 배포를 가능하게 합니다.

저자들은 본 연구가 구조적 이질성 때문에 일반화가 매우 어려울 것으로 여겨졌던 영역인 휴머노이드 분야에서 "하나의 정책이 모든 것에 적합한(one-policy-fits-all)" 접근 방식의 실현 가능성을 입증했다고 강조합니다. 현재 프레임워크는 통합된 명령 인터페이스에 의존하고 있으나, 이를 더 표현력이 풍부하고 형태 인식적인 제어(예: 모션 트래킹)를 지원하도록 확장하는 것이 향후 연구 방향임을 밝히고 있습니다. 결과적으로, 적절한 무작위화 및 표현 전략을 사용한다면 학습 기반 컨트롤러가 다양한 휴머노이드 로보틱스 환경에서 강건한 일반화를 달성할 수 있음을 시사합니다.