Learning Transferability: A Two-Stage Reinforcement Learning Approach for Enhancing Quadruped Robots' Performance in U-Shaped Stair Climbing

논문 요약: 4족 보행 로봇의 U 자형 계단 오르기 성능 향상을 위한 2 단계 강화학습 접근법

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 건설 현장에서의 자동화를 위해 무인 지상 차량 (UGV) 이 널리 사용되고 있으며, 특히 4 족 보행 로봇 (로봇 도그) 은 불규칙한 지형과 잔해, 그리고 실내 계단 등 wheeled/tracked 로봇이 접근하기 어려운 환경에서 우위를 점하고 있습니다.
• 문제점: 기존 4 족 로봇은 평지 이동에는 강점이 있으나, 다양한 형태의 계단 (특히 U 자형, 나선형 등 복잡한 구조) 을 자율적으로 오르고 내리는 능력은 여전히 부족합니다. 현재 대부분의 연구는 인간 개입이 필요하거나 불안정한 성능을 보이며, 건설 현장의 다층 구조물 이동에 한계가 있습니다.
• 연구 목표: 복잡한 U 자형 계단 환경에서 로봇의 자율 오르기 성능을 극대화하고, 학습된 정책의 다른 계단 형태 (직선, L 자형, 나선형) 로의 전이 가능성 (Transferability) 을 규명하는 것입니다.

2. 방법론 (Methodology)

이 연구는 NVIDIA Isaac Lab 플랫폼을 기반으로 Unitree Go2 로봇을 대상으로 2 단계 엔드 - 투 - 엔드 (End-to-End) 심층 강화학습 (Deep RL) 프레임워크를 제안합니다.

• 학습 알고리즘: 온 - 정책 (On-policy) 알고리즘인 PPO (Proximal Policy Optimization) 를 사용합니다.
• 2 단계 학습 전략:
  1. 1 단계 (기초 학습): Isaac Lab 의 기본 피라미드 계단 지형에서 로봇에게 기본적인 계단 오르기 기술을 학습시킵니다.
  2. 2 단계 (전용 학습): 커스텀된 U 자형 계단 지형에서 학습된 정책을 미세 조정하여 복잡한 지형에 특화된 항법 능력을 습득시킵니다.
• 관측치 (Observations): 로봇의 선형/각속도, 중력 벡터, 관절 위치/속도 명령, 목표 포즈, 그리고 21x21 높이 지도 (Height Map) 형태의 환경 상태를 신경망에 입력합니다.
• 네트워크 구조: CNN 인코더 (지형 특징 추출) 와 3 층 MLP 로 구성된 Actor-Critic 구조를 공유하며, 지형 표현을 위한 별도 모델 학습 없이 샘플 효율성을 높입니다.
• 보상 함수 및 페널티 설계:
  • 일반 보상: 목표 도달 거리, 중심 유지, 경로 추종 보상.
  • 정규화 페널티: 모터 출력, 토크, 급격한 동작 변화, 물리적 한계 초과 등에 대한 패널티.
  • 특수 페널티 (Stall Penalty): 로봇이 목표 영역 외부에서 0.3m/s 미만의 속도로 멈추거나 주저할 경우 일정한 음의 보상을 부과합니다. 이는 로봇이 어려운 지형에서 멈추지 않고 적극적으로 탐색하도록 유도합니다.
• 커리큘럼 학습 (Curriculum Learning): 계단 높이와 너비를 10 단계로 나누어 점진적으로 난이도를 높이는 방식 (Lee et al. 2020) 을 적용하여 학습 속도를 가속화했습니다.

3. 주요 실험 및 결과 (Results)

실험 1: U 자형 계단 오르기 성능

• 결과: 1 단계부터 5 단계 난이도까지는 높은 성공률을 보였으나, 6 단계 (가장 높은 난이도) 에서 성공률이 급격히 하락했습니다.
• 분석: Critic 네트워크의 가치 지도 (Value Heat Map) 분석 결과, 로봇은 단순한 유클리드 거리뿐만 아니라 지형의 기하학적 구조 (벽, 가장자리, 충돌 위험) 를 고려한 장기적 실행 가능성 (Long-horizon feasibility) 을 학습했음을 확인했습니다.

실험 2: 전이 학습 (Transferability) 평가

• U 자형 학습 모델의 다른 지형 적용:
  • 직선 계단: 97.2% 성공률 (전이성 97.6%) - 매우 높은 성능.
  • L 자형 계단: 73.9% 성공률 (전이성 83.6%) - 중간 성능.
  • 나선형 계단: 35.3% 성공률 (전이성 50.6%) - 낮은 성능.
  • 의미: U 자형 학습은 직선 구간과 이산적인 방향 전환 (discrete turns) 을 포함하므로, 직선 및 L 자형 계단에 잘 전이되지만, 연속적인 곡선과 비대칭 구조를 가진 나선형 계단에는 한계가 있음을 보여줍니다.
• 다른 지형 학습 모델의 U 자형 적용:
  • 직선, L 자형, 나선형 계단에서 학습된 모델을 U 자형 계단에 적용했을 때 성공률은 약 1~2% 로 극도로 낮았습니다.
  • 의미: U 자형 계단은 다른 지형들이 포착하지 못하는 구조적, 항법적 복잡성을 내포하고 있어, U 자형 환경에서 학습된 정책이 다른 환경으로 전이될 때보다 훨씬 강력한 일반화 능력을 가짐을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 2 단계 RL 프레임워크: 기본 계단 오르기에서 U 자형 계단 오르기까지 점진적으로 학습하는 효율적인 아키텍처 제안.
2. Stall Penalty 전략: 로봇이 어려운 지형에서 멈추는 것을 방지하고 지속적인 탐색을 유도하는 새로운 페널티 메커니즘 도입.
3. 전이성 분석: U 자형 계단 학습이 다른 계단 형태 (특히 직선 및 L 자형) 로 전이될 때의 비대칭적 성능 차이를 규명하여, 복잡한 지형 학습이 단순 지형 학습보다 더 포괄적인 행동을 유도함을 증명.

5. 의의 및 결론 (Significance)

• 기술적 의의: 건설 현장과 같은 복잡한 실내 환경에서 4 족 로봇의 자율 계단 오르기 능력을 획기적으로 향상시켰으며, 특히 U 자형 계단과 같은 복잡한 구조물에 대한 학습이 다른 지형으로의 일반화에 유리함을 입증했습니다.
• 실용적 가치: 로봇이 인간 개입 없이 다층 건물의 건설, 안전 점검, 물류 운반 등을 수행할 수 있는 기반 기술을 제공합니다.
• 향후 과제: 시뮬레이션 (Isaac Lab) 에서의 성공적인 결과를 바탕으로 실제 물리적 환경 (Sim-to-Real) 에서의 실험을 통해 검증할 계획입니다.

이 연구는 로봇이 다양한 계단 구조에 적응할 수 있는 강력한 강화학습 전략을 제시함으로써, 건설 로봇의 자율성 한계를 확장하는 중요한 이정표가 되었습니다.