기술 요약: 비정형 지형에서의 강건한 휴머노이드 보행을 위한 수축 매핑 임베딩 (CMR)

문제 정의

강건한 외란 제거(disturbance rejection)는 특히 지형의 불규칙성, 구동부의 섭동, 신뢰할 수 없는 센싱이 특징인 비정형 환경 내 휴머노이드 보행에서 여전히 중요한 과제로 남아 있습니다. 인지 데이터(예: 높이 맵)는 지형 인지 능력을 향상시키지만, 센서 노이즈와 심투리얼(sim-to-real) 격차는 제어 정책을 불안정하게 만들 수 있습니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 모델 기반 제어기(예: ZMP, LIP)는 제한적인 가정(고정된 CoM 높이, 단순화된 역학)에 의존하며 측정 불확실성에 취약합니다.
• 학습 기반 방법은 외부 수용적(exteroceptive) 센서가 노이즈를 유발할 때, 특히 계단이나 균형 잡기용 빔과 같은 복잡한 지형에서 강건성을 유지하는 데 실패하는 경우가 많습니다.
• 기존의 강건성 기술(예: 저역 통과 필터 또는 평활도 보상)은 광범한 튜닝을 요구하고, 탐색 능력을 감소시키며, 다양한 로봇 시스템 전반에 걸쳐 일반화하는 데 실패하는 경우가 많습니다.
• 기존의 민감도 제어 방법(예: 그래디언트 페널티를 통한 리프시츠 제약)은 저복잡도 지형에서의 기본적인 보행 동작에 국한되는 경우가 많습니다.

본 연구가 다루는 핵심 문제는, 작업 성능을 저하시키거나 과도한 엔지니어링 오버헤드를 요구하지 않으면서, 고차 자유도(DOF) 휴머노이드 보행 작업에서 관측 노이즈에 대한 강건성을 보장할 수 있는 체계적인 방법을 마련하는 것입니다.

방법론

저자들은 고차원의, 외란에 취약한 관측치를 시간 경과에 따라 국소적 섭동이 감쇄되는 잠재 공간(latent space)으로 매핑하는 수축 매핑을 통한 강건성(Contractive Mapping for Robustness, CMR) 프레임워크를 제안합니다.

이론적 토대

이 접근 방식은 **수축 매핑 정리(Contraction Mapping Theorem)**에 근거합니다. 저자들은 관측 노이즈 하에서의 "리턴 갭(return gap, 성능 저하)"에 대한 이론적 경계치를 도출합니다:

1. 표준 시스템: 리프시츠 상수 $L_f \geq 1$인 시스템에서 관측 노이즈는 시간 지평 $H$ 동안 지수적인 오차 성장을 초래하여 심각한 성능 저하를 일으킬 수 있습니다.
2. 수축 시스템: 프레임워크가 상태를 수축 계수 $0 < \kappa < 1$를 가진 잠재 공간으로 매핑함으로써, 궤적 간의 차이가 시간이 지남에 따라 줄어들도록 보장합니다. 이론적 분석(정리 2)은 리턴 갭이 기대 액션 불일치 $\eta$에 대해 $O(\frac{\eta}{1-\kappa})$로 제한됨을 입증합니다. 결정적으로, 이 경계치는 시간 지평 $H$의 길이에 독립적이므로, 비수축적 접근 방식보다 우수한 장기(long-horizon) 강건성을 제공합니다.

프레임워크 아키텍처

CMR 프레임워크는 표준 심층 강화 학습(Deep Reinforcement Learning, DRL) 파이프라인(특히 PPO)에 세 가지 핵심 구성 요소를 통합합니다:

1. 대조적 표현 학습(Contrastive Representation Learning): 정보 이론적 차별성(InfoNCE) 손실을 활용하여 의미론적 변별력을 보존함으로써, 잠재 공간이 작업 관련 기하 구조를 유지하고 과도한 정보 손실을 방지하도록 합니다.
2. 리프시츠 정규화(Lipschitz Regularization): 임베딩 공간에서의 차이의 진화를 명시적으로 제약하여 수축 특성($\kappa < 1$)을 강제하는 특정 손실 항($L_{Lipschitz}$)을 도입합니다.
3. 결합 최적화: 전체 훈련 목적 함수는 PPO 손실, 대조 손실, 그리고 리프시츠 정규화를 결합합니다:
   $$L_{CMR} = L_{InfoNCE} + \lambda \cdot L_{Lipschitz} + L_{PPO}$$
   여기서 $\lambda$는 의미론적 변별력과 동적 수축 사이의 균형을 맞춥니다.

구현 세부 사항

• 관측값: 시스템은 노이즈가 포함된 고유 수용적(proprioceptive) 데이터(관절 위치/속도, 베이스 포즈)와 외부 수용적(exteroceptive) 데이터(에고센트릭 고도 맵)를 처리합니다.
• 노이즈 주입: 훈련 중에 실제 환경의 퇴화를 시뮬레이션하기 위해 인지 관측값에 노이즈를 주입합니다.
• 호환성: 이 공식은 보조 손실 항으로 작용하며, 기존의 딥 RL 파이프라인을 최소한으로 수정하면서도 쉽게 통합될 수 있습니다.

주요 기여

1. 새로운 프레임워크: 관측 섭동을 체계적으로 감쇄하면서 작업 관련 구조를 보존하는 수축 임베딩 프레임워크인 CMR을 도입했습니다.
2. 이론적 발전: 학습 기반 휴머노이드 보행에 수축 매핑 정리를 최초로 적용하여, 노이즈로 인한 리턴 갭에 대한 엄격한 경계치를 제공했습니다.
3. 실용적 통합: 현대적인 딥 RL 파이프라인과 원활하게 통합되어 최소한의 기술적 노력으로 강건한 제어를 가능하게 하는 단순하고 효과적인 훈련 시스템을 개발했습니다.

실험 결과

Unitree G1 휴머노이드 로봇을 대상으로 Isaac Gym 및 MuJoCo 시뮬레이션 환경의 다양한 지형(불균일한 지면, 디딤돌, 균형 잡기용 빔)과 노이즈 수준에서 광범한 실험을 수행했습니다.

• 노이즈 제거: 높은 노이즈 조건(Noise Case I 및 III-V) 하에서, CMR은 베이스라인(HIM, LCP, Naive PPO)보다 성능이 크게 뛰어났습니다. CMR은 안정적인 보행을 유지하고, 더 긴 이동 거리를 달성했으며, 더 낮은 관절 전력 소비와 더 부드러운 제어 동작을 보여주었습니다.
• 일반화 (Sim-to-Sim): 노이즈가 있는 섭동 하에서 Isaac Gym에서 MuJoCo로의 제로샷 전이 시나리오에서, CMR은 HIM 베이스라인에 비해 우수한 명령 추종 능력과 에너지 효율성을 입증했습니다.
• 절제 연구(Ablation Studies): 하이퍼파라미터($\tau, \lambda, \kappa$) 분석을 통해 궤적 정확도와 에너지 소비 사이의 트레이드오프를 확인하였으며, 선택된 기본 설정이 균형 잡힌 절충안임을 검증했습니다.
• 잠재 공간 시각화: t-SNE 시각화 결과, CMR의 잠재 궤적은 베이스라인에 비해 노이즈 하에서도 편차가 현저히 적게 나타났으며, 이는 수축 공간의 자기 안정화 특성을 확인시켜 줍니다.

의의 및 주장

본 논문은 CMR이 다음과 같은 이유로 강건한 휴머노이드 제어의 중요한 진전이라고 주장합니다:

• 체계적인 노이즈 강건성 해결: 이전에 미해결 과제로 식별되었던 복잡한 보행 작업에서의 노이즈 강건성을 체계적으로 다룹니다.
• 이론적 보장 제공: 휴리스틱한 튜닝을 넘어, 관측 노이즈로 인한 성능 저하를 제한하는 엄격한 이론적 보장을 제공합니다.
• 강건한 Sim-to-Real 전이 가능성: 노이즈 전파를 증명 가능한 수준으로 제한하는 수축 상태 임베딩을 학습함으로써 실질적인 Sim-to-Real 전이 잠재력을 확보합니다.

저자들은 현재 작업이 시뮬레이션에 집중되어 있으나, 실질적인 신뢰성을 강화하기 위해 실제 로봇 실험을 통해 전이 성능을 검증하고 있다고 언급했습니다. 향후 연구에서는 더욱 정밀하고 복잡한 지형을 다루기 위해 다중 모달 인지(예: 깊이 카메라)를 통합하는 것을 목표로 합니다.