기술 요약: 인간형 로봇 항해를 위한 지형 일관성 참조 기반 강화학습

문제 제기

현대 인간형 보행 방법은 인간 데이터나 궤적 최적화를 활용하여 강화학습 (RL) 을 안내함으로써 높은 민첩성과 견고성을 달성해 왔습니다. 그러나 이러한 행동을 복잡하고 비구조화된 환경의 더 큰 항해 스택에 배포하는 데에는 여전히 중요한 병목 현상이 존재합니다. 기존 참조 기반 RL 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 계획 인터페이스 부재: 많은 방법은 입력으로 전체 자유도 참조 궤적이나 실시간 모션 캡처를 요구하므로, 단순한 속도 명령 (예: SE(2) 속도) 을 발행하는 표준 항해 계획기와 호환되지 않습니다.
2. 환경 조건화 부재: 표준 참조 생성 파이프라인은 지형 기하학 (예: 유효한 발착지, 계단, 경사) 을 고려하지 않습니다. 결과적으로 정적 참조로 훈련된 정책은 거친 지형에서 궤적을 추적하는 데 어려움을 겪으며, 실제 인간 중심 환경에 배포될 때 불안정하거나 실패합니다.

일부 연구는 참조 없이 지각 기반 보행을 다루지만, 종종 참조 기반 방법의 견고성이 부족합니다. 반대로, 참조 기반 방법은 자율성 스택과 통합되거나 지형에 적응하는 데 실패하는 경우가 많습니다. 본 논문은 지각 기반 참조 RL 과 폐루프 항해 자율성의 교차점을 다룹니다.

방법론

제안된 방법인 지형 일관성 참조 기반 RL은 RL 훈련 루프 내부에서 환경 일관성 참조 궤적을 직접 합성합니다. 이 시스템은 지형 적응을 위해 깊이 카메라 데이터를 활용하면서도 표준 SE(2) 속도 명령을 수용하는 정책을 출력하도록 설계되었습니다.

1. 환경 일관성 참조 합성

핵심 혁신은 지형 기하학에 맞게 변조된 선형 역진자 (LIP) 모델을 사용하여 참조 궤적을 신속하게 생성하는 것입니다.

• 기본 생성: 원하는 SE(2) 속도 명령 ($v_d$) 이 LIP 모델 동역학을 사용하여 원하는 보폭과 질량 중심 (CoM) 궤적으로 변환됩니다. 이는 CoM, 흔들리는 발 (swing foot), 그리고 팔에 대한 명목상 참조를 생성합니다.
• 지형 투영: RL 에이전트가 참조를 받기 전에, 시스템은 원하는 발착 위치를 지형 기하학 (다각형 그리드로 표현됨) 에서 유도된 가장 가까운 유효한 발착지로 투영합니다.
• 궤적 수정:
  • 발착지: 원하는 보폭이 유효한 발착지로 투영되며, 해당 지점의 지형 롤 (roll) 과 피치 (pitch) 가 반영됩니다.
  • 흔들리는 발: 흔들리는 발 궤적은 초기 자세를 투영된 자세로 연결하도록 수정되며, 지형의 방향이 포함됩니다. $z$ 높이는 흔들림 경로에 따른 지형 점들의 상부 볼록 껍질 (upper convex hull) 높이를 추가하여 간격을 확보하도록 조정됩니다.
  • 질량 중심 (CoM): CoM 높이 궤적은 현재 지지 발에서 투영된 보폭 위치로 이어지는 선을 기반으로 조정됩니다.
• 효율성: 이 합성은 훈련 루프 내에서 신속하게 실행되어 정책이 즉각적인 환경과 물리적으로 일관된 참조로부터 학습할 수 있게 합니다.

2. 보행 정책 및 훈련

• 아키텍처: 정책은 단일 단계 다층 퍼셉트론 (MLP) 기반 아키텍처를 사용합니다. 이는 고유 감각과 단일 깊이 카메라 이미지 (26x30 해상도) 를 직접 동작으로 매핑합니다.
• 지각: 로봇의 몸통에 장착된 ZED Mini 깊이 카메라가 입력을 제공합니다. 시뮬레이션에서는 실제 세계의 노이즈와 아티팩트를 모방하기 위해 레이캐스팅을 통해 공격적인 다운샘플링으로 모델링됩니다.
• 보상 설계: 훈련은 **제어 라야푸노프 함수 (CLF-RL)**를 활용합니다. 골반, 흔들리는 발, 관절에 대한 추적 목표를 위해 2 차 라야푸노프 함수가 정의됩니다. 보상 함수는 두 가지 항으로 구성됩니다:
  1. 참조 신호의 밀접한 추적을 장려하는 항.
  2. 라야푸노프 감쇠 조건 충족을 장려하는 항 (시스템이 참조를 향해 이동하도록 보장).
     이 접근법은 추적이 불완전하더라도 개선될 때에도 피드백을 제공하는 보상 신호를 밀도 있게 만듭니다.
• 비대칭 액터 - 크리틱: 액터는 노이즈가 있는 고유 감각과 깊이 데이터를 수신하는 반면, 크리틱은 노이즈가 없는 관측치와 특권 정보 (실제 참조, 접촉 상태 등) 를 수신합니다.

3. 항해 자율성 스택

훈련된 보행 정책은 깔끔한 SE(2) 속도 인터페이스를 통해 전체 자율성 스택에 통합됩니다.

• 계획기: 단일 적분자와 헤딩 모델을 기반으로 작동하는 모델 예측 제어 (MPC) 계획기가 목표 자세와 환경 지도 (LiDAR 및 FAST-LIO2 를 통해 생성됨) 를 받아 충돌 없는 경로를 계획합니다.
• 제어 장벽 함수 (CBF): MPC 는 장애물 회피와 추적 오차에 대한 견고성을 보장하기 위해 이산 시간 CBF制약을 통합합니다.
• 실행: MPC 는 속도 명령의 궤적을 출력하며, 이는 피드백 제어기에 의해 추적되어 RL 보행 정책으로 전달됩니다.

주요 기여

1. 환경 조건화 참조 합성: 본 논문은 훈련 루프 내에서 축소된 LIP 모델을 사용하여 지형 기하학 (계단, 경사, 이산적 발착지) 에 일관되도록 온라인으로 변조되는 인간형 로봇용 최초의 참조 기반 RL 파이프라인을 소개합니다.
2. 단순화된 아키텍처: 결과 정책은 역사 버퍼가 없는 MLP 만에 의존하여 복잡한 증류나 순환 신경망의 필요성을 제거하면서도 어텐션 기반 모델과 비교 가능한 성능을 달성합니다.
3. 폐루프 자율성 통합: 이 방법은 지각 기반 참조 RL 정책을 표준 항해 스택에 성공적으로 통합합니다. 이는 모든 센싱과 연산이 온보드 (onboard) 된 상태에서 거친 지형과 연속된 계단 구간이 포함된 야외 환경에서 Unitree G1 을 통해 70m 이상의 장거리 자율 항해를 시연합니다.

결과

시뮬레이션

• 추적 성능: 환경을 기반으로 참조를 조건화하는 것은 수정되지 않은 (환경 무관) 참조를 사용하는 경우보다 추적 성능을 크게 향상시켰습니다. 계단 지형에서 추적 오차는 두 배 감소했습니다.
• 모델 복잡도: 단순한 MLP 기반 정책 ("Ours") 은 평지, 경사지, 계단 지형 전반에 걸쳐 더 복잡한 크로스 어텐션 아키텍처 ("Ours (Attn)") 와 통계적으로 유사한 추적 오차를 달성했습니다. 그러나 MLP 버전은 훨씬 적은 VRAM (14GB 대 60GB) 을 요구하며 구현이 더 쉽습니다.

하드웨어 배포

• 플랫폼: ZED Mini 깊이 카메라와 Livox MID360 LiDAR 가 장착된 Unitree G1 인간형 로봇.
• 성능: 시스템은 야외 인간 중심 환경에서 폐루프 자율 항해를 성공적으로 수행했습니다.
  • 계단: 로봇은 15 개의 연속된 계단을 자율적으로 항해했습니다.
  • 장거리: 로봇은 70 미터 이상 항해하며 나무 뿌리, 거친 지형, 길가 턱, 그리고 두 세트의 계단을 통과했습니다.
  • 실내/야외 전환: 로봇은 야외 계단을 올라가 건물로 진입한 후 실내 계단을 올랐습니다.
• 비교: 이전 연구가 항해를 위해 맹목적인 모델 기반 제어기에 의존하거나 자율성 스택에 통합되지 않은 지각 기반 RL 방법을 사용한 것과 달리, 이 작업은 완전한 자율성 스택의 보행 계층으로 기능하는 지각 조건화 참조 기반 정책을 시연합니다.

중요성 및 주장

본 논문은 이 작업이 고성능 참조 기반 보행과 실용적인 항해 자율성 간의 격차를 해소한다고 주장합니다. 훈련 중에 지형과 일관된 참조를 합성함으로써, 이 방법은 RL 정책이 복잡하고 역사 기반의 아키텍처 없이도 비구조화된 환경에 대한 견고한 행동을 학습할 수 있게 합니다.

중요성은 SE(2) 속도 인터페이스에 있으며, 이는 보행 정책이 표준 항해 계획기를 위한 플러그인 구성 요소가 될 수 있게 합니다. 이는 이전에는 환경 조건화 및 계획 호환성 부족으로 인해 참조 기반 방법이 접근할 수 없었던 (계단, 거친 지형 등) 실제 세계 시나리오에서 민첩하고 지각 기반 인간형 보행을 배포할 수 있게 합니다. 저자들은 이를 인간 중심 환경에서의 일반적 인간형 항해로 나아가는 한 걸음으로, 평평한 지면이나 실험실 제작 맞춤형 지형을 넘어선 위치에서 이 작업을 위치 짓습니다.