🤖 machine learning

PGTT: Phase-Guided Terrain Traversal for Perceptive Legged Locomotion

이 논문은 제한적인 보행 사전 지식이나 블라인드 제어 전략에 의존하지 않고 다양한 지형에서 강건하고 형태 불가지론적인 다족 보행을 가능하게 하기 위해 위상 가이드 보상 형성(phase-guided reward shaping)을 채택한 인지 인식 심층 강화 학습 프레임워크인 PGTT를 소개한다.

원저자: Alexandros Ntagkas, Chairi Kiourt, Konstantinos Chatzilygeroudis

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexandros Ntagkas, Chairi Kiourt, Konstantinos Chatzilygeroudis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 바퀴를 달고 굴러가는 것이 아니라, 개나 사람처럼 울퉁불퉁하고 거친 지면 위를 껑충껑충 뛰고 건너뛰는 세상을 상상해 보십시오. 이것이 바로 **다리 기반 로보틱스(legged robotics)**의 흥미로운 최전선입니다. 오랫동안 이러한 로봇을 움직이게 만드는 것은 마치 유아에게 걷는 법을 가르치는 것과 같았습니다. "왼발을 정확히 이만큼 들어 올리고, 그다음 오른발을 정확히 저만큼 들어 올려라"와 같이 매우 엄격한 규칙을 주어야 했습니다. 이 방식은 효과가 있었지만, 로봇을 경직되게 만들었고 예상치 못한 것에 부딪혔을 때 당황하게 만들었습니다. 그러던 중 과학자들은 **강화 학습(Reinforcement Learning, RL)**이라는 방법을 발견했습니다. 이는 로봇이 시행착오를 통해 배우는 방식으로, 마치 비디오 게임 캐릭터가 틈새를 뛰어넘기 위해 수천 번 떨어지면서 점점 더 나아지는 법을 배우는 것과 같습니다. 하지만 이러한 "학습하는" 로봇들 중 상당수는 앞의 지면을 볼 수 없는 "맹목적인(blind)" 상태였거나, 여면 여전히 로봇을 서투르게 만드는 오래되고 경직된 규칙에 갇혀 있었습니다. 연구자들이 해결하고자 하는 핵심 질문은 이것입니다: 어떻게 하면 로봇이 지면을 볼 수 있을 만큼 똑똑하면서도, 모든 관절의 움직임을 일일이 지시받지 않고도 발걸음을 유연하게 조절할 수 있도록 가르칠 수 있을까?

여기서 PGTT(Phase-Guided Terrain Traversal, 단계 가이드 지형 통과)라는 새로운 접근 방식이 등장하여 완벽한 절충안을 찾으려 합니다. 기존의 "맹목적인" 로봇을 눈을 감고 걷다가 넘어지지 않기를 바라는 사람이라고 한다면, 기존의 "규칙 기반" 로봇은 안무가의 정확한 대본을 따라야 하는 무용수와 같습니다. 만약 바닥이 변한다면 그들은 즉흥적으로 대처할 수 없습니다. PGTT는 로봇에게 리듬을 가르치되, 발동작은 스스로 즉흥적으로 결정하게 하는 것과 같습니다.

연구진은 로봇에게 눈앞의 지면을 빠르게 3D 지도로 구축하는 "스마트한 눈"(레이저 스캐너)을 제공했습니다. 로봇에게 특정 발 위치를 강요하는 대신, 그들은 단순한 리듬을 가르쳤습니다: "다리는 파도처럼 움직여야 한다." 하지만 여기서 마법 같은 기술이 등장합니다. 그들은 로봇의 관절이 엄격한 경로를 따르도록 강요하지 않았습니다. 대신, 로봇에게 성적표(보상 시스템)를 주었습니다. 만약 로봇이 다리를 너무 낮게 휘둘러 바위에 부딪히면 낮은 점수를 받습니다. 반대로 바위를 충분히 높게 넘어가면 높은 점수를 받습니다. 로봇은 높은 점수를 얻기 위해 자신의 근육을 어떻게 움직여야 하는지 스스로 알아내며, 자신이 보는 것에 따라 발의 높이를 자동으로 조절하는 법을 배웁니다.

논문에 따르면 이 방식은 컴퓨터 시뮬레이션에서 놀라울 정도로 잘 작동합니다. 까다로운 계단형 지형과 흩어진 장애물에서 테스트했을 때, PGTT 로봇은 다른 최상위 방식들보다 직립 상태를 유지하는 데 훨씬 더 성공적이었습니다. 실제로 이 로봇은 밀치는 방해 요소(누군가 밀치는 것과 같은)를 7.5% 더 잘 견뎌냈으며, 장애물을 9% 더 많이 통과했습니다. 단순히 살아남는 것에 그치지 않고, 다른 로봇들과 동일한 속도를 유지하며 계속 움직였습니다.

연구팀은 또한 이 기술을 실제 로봇인 Unitree Go2(개와 닮은 4족 보행 로봇)에도 적용해 보았습니다. 그들은 설정 변경 없이 컴퓨터에서 훈련시킨 것과 동일한 "두뇌"를 사용했으며, 로봇은 실제 계단을 오르고 실제 장애물을 뛰어넘는 데 성공했습니다. 그들은 또한 이 기술을 다른 로봇인 ANYmal-C에도 테스트하여, 이 "규칙 없는 리듬" 아이디어가 다양한 종류의 다리 기반 기계에도 적용될 수 있음을 보여주었습니다.

하지만 논문은 이것이 아직 모든 상황에 적용되는 마법의 해결책은 아니라고 주의를 기울입니다. 실제 세계 테스트는 로봇의 레이저 스캐너가 더 높은 속도에서 지도를 빠르게 업데이트하기에는 빠르지 않기 때문에, 초당 0.4미터라는 완만한 보행 속도에서 수행되었습니다. 또한, 로봇이 넘어지지 않는 데는 뛰어나지만, 연구진은 아직 에너지를 효율적으로 사용하는지에 대해서는 측정하지 않았습니다. 그럼에도 불구하고, 전체적으로 PGTT는 로봇에게 단순한 리듬을 따르게 하되 세부 사항은 스스로 결정하게 함으로써, 우리가 더 견고하고 적응력이 뛰어나며 예측 불가능한 실제 세계를 헤쳐 나갈 준비가 된 기계를 만들 수 있음을 시사합니다.

기술 요약: 위상 가이드 지형 횡단 (Phase-Guided Terrain Traversal, PGTT)

문제 정의
최첨단 인지 강화 학습(RL) 제어기는 다리 로봇 설계에서 이분법적인 문제에 직면해 있다. 기존 방식들은 (i) 오실레이터(oscillator) 또는 역기구학(IK) 기반의 보행 사전 지식(gait priors)을 강제하여 행동 공간을 제한하고, 정책 최적화에 편향을 주며, 다양한 로봇 형태(morphology)에 대한 적응성을 제한하거나, (ii) 오직 고유 수용 감각(proprioception)에만 의존하는 "맹목적인" 방식으로 작동하여, 뒷다리 지형을 예측하지 못하고 관측 노이즈에 취약해지는 문제를 겪는다. 시각 또는 거리 센싱이 제어 루프에 통합되어 왔으나, 제한된 시야, 센서 노이즈, 그리고 취약한 전역 포즈 추정이나 시간적 메모리의 필요성 등의 과제가 남아 있다. 핵심 과제는 과도한 귀납적 편향(inductive bias)을 도입하거나 특정 로봇 기구학에 정책을 결합하지 않으면서도, 장애물을 예측할 수 있는 견고하고 지형 적응적인 보행을 달성하는 것이다.

방법론
저자들은 행동 공간의 제약이 아닌 보상 형성(reward shaping)을 통해 보행 구조를 강제하는 인지 인식 딥러닝 RL 접근 방식인 **위상 가이드 지형 횡단(PGTT)**을 제안한다.

인지(Perception): PGTT는 LiDAR 고도 매핑으로부터 온라인으로 도출된 로봇 중심의 컴팩트한 높이 지도(heightmap)를 활용한다. 이 국소적 표현은 전역 일관성이나 포즈 추정을 요구하지 않고 모든 다리에 유효한 지형 기하 구조를 포착하여 정책 네트워크로 직접 전달된다.
보행 인코딩(Gait Encoding): 관절 목표치를 규정하기 위해 오실레이터나 IK를 사용하는 대신, PGTT는 각 다리의 위상 변수 $\phi_{i,t}$ 를 3차 에르미트 스플라인(cubic Hermite spline)으로 인코딩한다. 이 스플라인은 스윙 정점(swing apex)이 다리 주변의 높이 지도 통계치(특히 최대 및 최소 지형 높이)에 적응하는 부드럽고 지형 적응적인 스윙 궤적을 정의한다.
보상 형성(Reward Shaping): 위상 사전 지식은 행동 공간이 아닌 보상 함수를 통해서만 강제된다. 정책은 직접 관절 공간에서 동작하며(정지 상태의 포즈에 대한 원하는 관절 각도 출력), 이는 제약 없는 행동 공간을 보존한다. 보상에는 다음 항목이 포함된다:
- 발이 에르미트 스플라인 궤적을 따르도록 장려하는 위상 가이드 항(phase-guided term).
- 스윙 단계 중 조기 지면 접촉을 방지하기 위한 스윙 단계 접촉 페널티(swing-phase contact penalty).
- 표준 작업 보상(속도 추적, 방향 유지, 관절 한계 등).
학습 아키텍처: 시스템은 MuJoCo(특히 GPU 가속 버전인 MJX)에서 근사 정책 최적화(PPO)를 사용하여 학습되는 비대칭 액터-크리틱(asymmetric actor-critic) 구조를 채택한다. 액터는 부분 관측값(고유 수용 감각 + 높이 지도)에만 의존하는 반면, 크리틱은 가치 추정을 위해 특권 상태 정보(진정한 선속도 포함)를 활용한다.
학습 전략: 학습은 파동 함수 붕괴(Wave Function Collapse, WFC) 알고리즘을 사용하여 절차적으로 생성된 계단 형태의 환경에서 수행된다. 커리큘럼 학습 접근 방식을 통해 지형의 난이도(계단 높이 및 복잡도)를 점진적으로 높인다. Sim-to-Real 격차를 줄이기 위해 광범위한 도메인 무작위화(센서 노이즈, 로봇 물리 파라미터, 마찰력)가 적용된다.

주요 기여

지형 적응형, 위상 가이드 보상: 로컬 높이 지도 통계치에 의해 구동되는 에르미트 스플라인 스윙 궤적을 인코딩하고 스윙 단계 접촉을 페널티로 처리하는 새로운 보상 정식화이다. 이 방식은 오실레이터/IK 조건부 방식에 비해 귀납적 편향을 줄이고 형태 불가지론적(morphology-agnostic) 배포를 용이하게 한다.
컴팩트한 인지-정책 설계: 전역 포즈 가정을 피하면서 스텝을 위한 필요한 지형 기하 구조를 포착하는, 로봇 중심의 높이 지도를 정책에 직접 입력하는 시스템이다.
광범위한 평가 및 전이: 계단형 및 이산 장애물 지형에서의 포괄적인 시뮬레이션 결과를 통해 베이스라인보다 높은 성공률을 입증했다. 본 연구는 동일한 하이퍼파라미터를 사용하여 Unitree Go2에서의 Sim2Real 전이와 ANYmal C에 대한 예비 교차 플랫폼 결과를 포함한다.
접근 가능한 학습 스택: 단일 소비자용 GPU에서 높은 처리량을 달리는 MuJoCo/MJX 기반의 경량화된 학습 파이프라인을 제공하여, 더 무거운 Isaac Gym 기반 파이프라인의 대안을 제시한다.

결과

시뮬레이션 성능: PGTT는 밀기(push) 방해 상황(차순위 모델 대비 중앙값 +7.5%)과 이산 장애물 상황(+9%)에서 평가된 베이스라인(MassLoco 및 Wild) 중 가장 높은 성공률을 달성했다. 속도 추적 성능은 강력한 베이스라인들과 대등한 수준을 유지했다.
수렴성: PGTT는 엔드 투 엔드(end-to-end) 방식의 비사전(non-prior) RL 베이스라인보다 빠른 학습 수렴을 보였으며, MassLoco보다 현저히 높은 샘플 효율성을 입증했다.
실제 환경 배포: 실시간 LiDAR 고도-높이 지도 파이프라인을 사용하여 Unitree Go2에 성공적으로 배포되었으며, 계단 및 장애물 통과를 견고하게 수행함을 입증했다. ANYmal C에 대한 예비 결과에서도 하이퍼파라미터 재조정 없이 성공적인 보행 동작을 보여주었다.
절제 실험(Ablation): 발 위상 보상을 제거했을 때 계단 성공률이 83.4%에서 75.5%로 감소하여, 해당 보상이 성능의 주요 동력임을 확인했다. 발 접촉 페널티는 작지만 엣지 케이스 안정성에 필요한 미세 조정을 제공했다.

의의 및 주장
본 논문은 지형 적응형, 위상 가이드 보상 형성이 플랫폼별 정책 사전 지식이나 광범한 재조정 없이도 서로 다른 로봇 플랫폼 간에 전이될 수 있다는 초기 증거를 제공한다고 주장한다. 보상 형성을 통해 리드미컬한 구조의 이점을 유지하면서 행동 공간을 제약하지 않음으로써, PGTT는 귀납적 편향을 줄이고 형태 불가지론적 배포를 지원한다. 저자들은 PGTT를 고성능을 유지하면서도 저렴한 하드웨어(단일 소비자용 GPU)에서 학습할 수 있게 함으로써 연구의 진입 장벽을 낮추고, 민첩하고 견고한 다리 보행을 발전시키기 위한 접근 가능한 토대로 자리매김한다.

한계점
저자들은 현재 구현이 낮은 사양의 L1 LiDAR(21,600 points/s)에 의존하고 있어, 측정값이 희소해지는 고속 주행 시 실험 속도가 최대 0.4 m/s로 제한된다는 점을 인정한다. 또한, 실제 환경 배포 시 PGTT의 에너지 효율성에 대해서는 아직 평가되지 않았다.

기술 요약: 위상 가이드 지형 횡단 (Phase-Guided Terrain Traversal, PGTT)

유사한 논문