APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots

이 논문은 심층 강화학습을 기반으로 한 APEX 시스템을 제안하여, 인간형 로봇이 다중 기술을 조화롭게 전환하며 0.8m 높이의 고단계를 안전하게 오르고 내리는 지각 기반 적응형 이동 능력을 실현함을 보여줍니다.

핵심

🤖 APEX: 로봇이 계단도 넘어, 책상 위에도 오르는 '요술' 기술

이 논문은 사람 모양의 로봇 (휴머노이드) 이 자신의 다리 길이보다 훨씬 높은 곳 (예: 1m 높이의 책상) 으로도 안전하게 올라가고 내려올 수 있게 만든 획기적인 연구입니다.

기존 로봇들은 높은 곳에 오르기 위해 '점프'를 시도했는데, 이는 마치 무거운 가방을 들고 높은 담장을 뛰어넘으려다 넘어지는 것처럼 위험하고 힘도 많이 들었습니다. 하지만 이 연구팀이 개발한 APEX 시스템은 점프 대신 '등반 (Climbing)' 기술을 배워, 마치 등반가가 바위를 오르는 것처럼 로봇의 온몸을 활용해 부드럽게 이동합니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 🧗‍♂️ 점프 대신 등반: "로봇이 산을 오르는 법"

기존 로봇들은 높은 곳에 오를 때 "쾅!" 하고 점프해서 올라가려 했습니다. 하지만 이는 로봇의 관절에 무리를 주고, 넘어질 위험이 큽니다.
APEX 는 대신 등반가처럼 행동합니다.

• 손과 발을 모두 사용: 로봇이 책상 가장자리에 다가가면, 다리로만 오르지 않고 손을 먼저 책상 위에 올리고, 몸을 밀어 올립니다.
• 여러 가지 자세: 로봇은 서서 걷기도 하고, 네발로 기어 다니기도 하며, 책상 위에서 일어서거나 엎드리는 등 상황에 맞는 6 가지의 다양한 동작 (기술) 을 자유롭게 구사합니다.

2. 🎯 '스냅북 (Ratchet)' 보상 시스템: "한 발짝도 뒤로 물러나지 않기"

로봇이 이런 복잡한 동작을 배우는 것은 매우 어렵습니다. 로봇이 "아, 내가 지금 잘하고 있네?"라고 스스로 판단하게 해주는 것이 핵심입니다.

여기서 등장하는 것이 '스냅북 보상 (Ratchet Progress Reward)' 이라는 아이디어입니다.

• 비유: 마치 스냅북 (Ratchet) 공구처럼, 로봇은 지금까지 도달한 '최고의 높이'를 기억합니다.
• 원리: 로봇이 앞으로 한 발짝 더 나아가면 점수를 주지만, 제자리걸음을 하거나 뒤로 물러나면 점수를 뺍니다.
• 효과: 로봇은 "빨리 뛰어야지!"라고 서두르지 않고, **"안정적으로 한 발짝씩 올라가야지"**라고 생각하게 됩니다. 덕분에 로봇은 넘어지지 않도록 천천히, 하지만 꾸준히 움직이는 방법을 스스로 찾아냅니다.

3. 👁️ 눈이 있는 로봇: "거울 속의 나쁜 그림자를 지우기"

로봇은 LiDAR(레이저 거리 측정기) 를 통해 주변을 봅니다. 하지만 로봇이 움직일 때 진동이 생기거나, 자신의 팔이 시야를 가리면 지도에 잘못된 그림자 (오류) 가 생깁니다. 마치 거울에 먼지가 끼어 실제 모습이 왜곡되는 것과 같습니다.

• 시뮬레이션 훈련: 연구팀은 로봇이 훈련하는 동안 의도적으로 눈가림과 오류를 만들어내어 로봇이 "아, 저건 가짜 장애물이구나!"라고 배우게 했습니다.
• 실제 적용: 실제 세상에서는 이 오류들을 자동으로 수정 (Inpainting) 해주는 필터를 적용해, 로봇이 깨끗한 지도를 보며 움직이게 했습니다.

4. 🧩 퍼즐 맞추기: "여섯 명의 전문가를 한 명으로 합치기"

로봇은 처음에는 '오르기', '내리기', '일어서기', '엎드리기', '걷기', '기어가기' 등 6 개의 서로 다른 전문가 (Teacher) 로서 따로 훈련받습니다.

• 蒸馏 (Distillation) 기술: 이 6 명의 전문가가 가진 지식을 한 명의 유니버설 학생 (Student) 로봇에게 모두 가르쳐줍니다.
• 결과: 이제 이 로봇은 "아, 앞에 책상이 있네? 그럼 '오르기' 기술을 써야지!" 혹은 "아, 가장자리네? '내리기'로 갈아타야지!"라고 상황을 스스로 판단하여 부드럽게 동작을 전환합니다.

---

🏆 실제 성과: 29 개의 관절을 가진 'Unitree G1' 로봇

이 기술은 실제 Unitree G1이라는 29 개의 관절을 가진 로봇에서 테스트되었습니다.

• 높이: 로봇 다리 길이의 114% 에 해당하는 0.8m(약 80cm) 높이의 플랫폼을 성공적으로 오르고 내렸습니다.
• 강인함: 로봇이 넘어지듯 밀려도 다시 균형을 잡고 올라가는 등, 예상치 못한 상황에서도 실패 없이 임무를 수행했습니다.
• 제로샷 (Zero-shot): 로봇이 훈련받은 환경과 완전히 다른 실제 세상에서도 추가 훈련 없이 바로 작동했습니다.

💡 결론

이 연구는 로봇이 단순히 "걸어다니는" 것을 넘어, 복잡한 환경을 스스로 판단하고 온몸을 활용해 능동적으로 해결할 수 있는 새로운 시대를 열었습니다. 마치 유능한 등반가처럼 로봇이 우리 생활 속의 높은 장벽들도 쉽게 넘을 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 기술의 한계: 최근 DRL 을 통해 인간형 로봇이 불규칙한 지형에서 보행하는 능력은 크게 향상되었습니다. 그러나 다리의 길이 (Leg Length) 를 초과하는 높은 플랫폼 (예: 테이블, 난간) 에 접근할 때는 기존 방식이 실패합니다.
• 점프 방식의 위험성: 기존 연구들은 점프 (Jumping) 를 통해 높은 곳에 오르는 방식을 사용했으나, 이는 높은 충격량 (High-impact) 과 큰 토크를 요구합니다. 이는 실제 로봇의 액추에이터 한계를 초과하거나, 낙상 위험을 초래하여 실제 배포에 적합하지 않습니다.
• 학습 난이도: 높은 플랫폼을 오르기 위해서는 점프가 아닌 **전신 협응 (Full-body coordination)**이 필요합니다. 이는 팔, 몸통, 다리를 모두 사용하여 지지점을 분산시키는 복잡한 접촉 (Contact-rich) 과 목표 도달 (Goal-reaching) 작업으로, 기존의 주기적인 보행 제어 (Velocity tracking) 와는 다른 접근이 필요합니다. 또한, 이러한 다양한 기술 (오르기, 내리기, 일어서기, 눕기, 걷기, 기어가기) 을 하나의 정책으로 통합하여 상황에 맞게 전환하는 것은 매우 어려운 장기 계획 (Long-horizon) 문제입니다.

2. 방법론 (Methodology)

저자들은 APEX라는 2 단계 학습 프레임워크를 제안합니다.

A. 일반화된 래칫 프로그레스 보상 (Generalized Ratchet Progress Reward)

기존의 목표 지향적 작업 (Goal-reaching) 에는 명확한 참조 궤적이 없어 학습이 어렵습니다. 이를 해결하기 위해 래칫 (Ratchet) 보상을 도입했습니다.

• 최고 기록 추적: 에이전트가 지금까지 달성한 가장 좋은 작업 상태 ($x^*_t$) 를 추적합니다.
• 보상 규칙: 에이전트가 이전 최고 기록을 엄격하게 초과할 때만 보상을 받고, 그렇지 않으면 페널티를 받습니다.
• 효과:
  • 밀집된 감독 (Dense Supervision): 목표 도달 시에만 보상을 주는 희소 보상과 달리, 매 시간 단계에서 진전을 유도합니다.
  • 속도 무관성 (Velocity-free): 목표에 얼마나 빨리 도달하는지보다 '진전' 자체에 초점을 맞추어, 로봇이 접촉을 안정화할 때까지 기다리는 (Patient) 행동을 학습하게 합니다. 이는 충격과 토크를 줄여 안전성을 보장합니다.
  • 되돌림 방지: 단순히 앞뒤로 움직여 보상을 얻는 '되돌림 (Retracing)' 전략을 방지합니다.

B. 지각 기반 전신 기동 학습 (Perceptive Full-Body Maneuvers Learning)

• 6 가지 기술 학습: DRL 을 통해 6 가지 개별 기술을 학습합니다.
  1. 전신 기동 (Goal-reaching): 오르기 (Climb-up), 내리기 (Climb-down), 일어서기 (Stand-up), 눕기 (Lie-down).
  2. 주기적 보행 (Cyclic Locomotion): 걷기 (Walking), 기어가기 (Crawling).
• LiDAR 기반 지형 인식: 플랫폼의 높이를 인식하기 위해 LiDAR 기반의 높이 지도 (Elevation Mapping) 를 사용합니다.
• Sim-to-Real 간극 해소:
  • 학습 시: 시뮬레이션 내에서 매핑 오류 (노이즈, 드리프트, 이상치) 를 모델링하여 학습.
  • 배포 시: 실제 환경에서 필터링 및 인페인팅 (Inpainting) 알고리즘을 적용하여 지도를 정제.

C. 정책 증류 (Policy Distillation)

• 단일 통합 정책: 6 개의 '교사 (Teacher)' 정책을 하나의 '학생 (Student)' 정책으로 증류합니다.
• 상황 인식 전환: 로봇의 국부 지형 관측과 사용자 명령에 따라 어떤 기술을 사용할지 자율적으로 선택하고, 기술 간 전환 (Transition) 을 매끄럽게 수행합니다.
• 데이터 분포 균형: '분할 정복 (Divide-and-conquer)' 전략을 사용하여 각 기술과 전환 구간을 골고루 학습할 수 있도록 데이터 샘플링을 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 적응형 고대역 횡단 프레임워크: 접촉이 많은 전신 기동과 주기적 보행을 통합한 단일 제어기를 학습하는 2 단계 프레임워크를 제안했습니다.
2. 래칫 프로그레스 보상: 안전 규제 하에서 효율적인 탐색을 가능하게 하는 밀집된 속도 무관 보상 메커니즘을 개발했습니다.
3. 실제 로봇 배포 기록: 29 도 (DoF) 의 Unitree G1 인간형 로봇을 사용하여, 다리 길이의 약 **114% (0.8m)**에 달하는 플랫폼을 Zero-shot Sim-to-Real 방식으로 성공적으로 횡단하는 최초의 인간형 로봇 정책을 제시했습니다.

4. 실험 결과 (Results)

• 성공률: 시뮬레이션과 실제 환경 모두에서 높은 성공률을 기록했습니다. 특히 0.8m 높이의 플랫폼 오르기에서 실제 환경 기준 97.8%~100% 의 성공률을 보였습니다.
• 적응성: 플랫폼의 높이 (0.6m~0.8m) 와 접근 각도 ($\pm 65^\circ$) 가 변하더라도 로봇은 전신 자세를 조정하여 안정적으로 오르고 내려갔습니다.
• 강건성 (Robustness):
  • 외부 충격 (발차기 등) 을 받아도 균형을 잃지 않고 기술을 전환하며 복귀했습니다.
  • LiDAR 매핑 오류 (유령 점, 드리프트) 가 있는 상황에서도 성공적으로 작업을 수행했습니다.
  • 훈련 데이터에 없던 부드러운 재질 (폼 매트) 위에서도 안정적인 등반이 가능했습니다.
• 비교 실험: 제안된 래칫 보상을 사용하지 않은 기존 보상 방식 (속도 추적, 거리 최소화 등) 은 로봇이 플랫폼 가장자리에 갇히거나, 위험한 점프 행동을 하거나, 국소 최적해에 빠지는 등 실패했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇이 점프에 의존하지 않고, 전신 협응을 통한 등반으로 인간이 일상적으로 마주치는 높은 구조물 (테이블, 계단, 난간 등) 을 안전하게 넘나들 수 있음을 증명했습니다. 특히, 래칫 프로그레스 보상은 접촉이 많은 복잡한 기동 작업을 학습하는 데 있어 안전성과 효율성을 동시에 확보하는 핵심 열쇠로 작용했습니다. 이는 인간형 로봇이 실제 복잡한 환경에서 자율적으로 이동하고 작업을 수행하기 위한 중요한 기술적 진보로 평가됩니다.