Task-Level Decisions to Gait Level Control: A Hierarchical Policy Approach for Quadruped Navigation

이 논문은 시뮬레이션과 현실 간의 격차와 환경 변화에 따른 불안정성을 해결하기 위해, 고수준의 의사결정과 저수준의 보행 제어를 연결하는 계층적 정책 아키텍처 'TDGC'를 제안하여 다양한 지형에서의 네비게이션 성공률을 향상시키는 방법을 제시합니다.

핵심

이 논문은 네 발 달린 로봇 (쿼드루포드) 이 복잡한 현실 세계를 어떻게 더 잘, 더 안전하게 걷게 할 수 있는지에 대한 새로운 방법을 소개합니다.

기존의 로봇들은 보통 **'지도와 계획'**에 너무 의존하거나, 반대로 **'발만 움직이는 반사 신경'**에만 의존하는 문제가 있었습니다. 이 논문은 이 두 가지를 **명령을 내리는 '지휘자'**와 **실제로 움직이는 '연주자'**로 나누어, 서로 완벽하게 조화시키는 새로운 시스템을 제안합니다.

이 시스템을 쉽게 이해할 수 있도록 한 편의 오케스트라 연주에 비유해 설명해 드리겠습니다.

---

🎻 로봇 오케스트라의 새로운 지휘법: "TDGC"

이 연구에서 제안한 시스템 (TDGC) 은 로봇을 하나의 오케스트라로 상상해 볼 수 있습니다.

1. 문제점: 지휘자와 연주자의 불일치

기존의 로봇들은 두 가지 극단적인 문제가 있었습니다.

• 지휘자 (고수준 의사결정) 만 너무 강력할 때: 지휘자가 "저기 저기서 노래해!"라고 큰 소리로 지시하지만, 실제 연주자 (로봇의 다리) 가 그 지시를 들을 수 없거나, 무대 바닥이 미끄러워 넘어질 때 어떻게 해야 할지 모릅니다.
• 연주자 (저수준 제어) 만 너무 강력할 때: 연주자는 악보 (자세 제어) 는 아주 잘 읽지만, 전체적인 곡의 흐름 (어디로 가야 하는지) 을 모릅니다. 그래서 열심히 연주하긴 하는데, 결국 무대 끝으로 나가버리거나 제자리에서 맴돌게 됩니다.

이 논문은 **"지휘자와 연주자가 서로 대화할 수 있는 명확한 통로"**를 만들어 이 문제를 해결했습니다.

2. 해결책: 두 단계의 협력 시스템

이 시스템은 로봇의 두뇌를 두 부분으로 나눕니다.

A. 고수준 정책 (The Conductor / 지휘자)

• 역할: 로봇의 눈 (카메라나 센서) 으로 주변을 봅니다. "저기 계단이 있네", "그 사이로 구멍이 있네" 같은 큰 그림을 파악합니다.
• 작동 방식: 로봇에게 "발목을 30 도 구부려" 같은 미세한 지시를 하지 않습니다. 대신 **"보행 모드 (걸음걸이) 를 trot( Trotting) 으로 바꿔라"**나 **"속도를 조금 줄여라"**처럼 간단하고 명확한 명령을 내립니다.
• 장점: 복잡한 지도를 다 그릴 필요 없이, 주변 지형의 특징만 보고도 "어떻게 걸어야 할지" 큰 방향을 잡을 수 있습니다.

B. 저수준 정책 (The Musician / 연주자)

• 역할: 지휘자가 내린 "Trot( Trotting) 으로 걸어라"라는 명령을 받습니다.
• 작동 방식: 이 명령을 받으면, 로봇의 12 개의 관절을 어떻게 움직여야 넘어지지 않고 그걸로 걸을 수 있는지 실시간으로 계산합니다. 바닥이 미끄러지거나 돌이 튀어 올라도, 몸의 균형을 잡는 것은 이 '연주자'의 몫입니다.
• 특징: 이 부분은 시뮬레이션 (가상 세계) 에서 수천 번 넘어지고 일어서며 훈련을 시켰기 때문에, 실제 현실에서도 넘어지지 않는 튼튼한 반사 신경을 가지고 있습니다.

3. 훈련 방법: "점진적인 난이도 조절" (Curriculum Learning)

이 로봇을 가르칠 때, 처음부터 험한 산을 보여주면 로봇은 당황해서 아무것도 못 배웁니다. 그래서 연구자들은 스마트한 훈련 커리큘럼을 만들었습니다.

• 유아기: 평평한 바닥에서 걷기부터 시작합니다.
• 유치원: 작은 돌멩이가 있는 길을 걷습니다.
• 초등학교: 계단과 좁은 다리를 건너는 훈련을 합니다.
• 대학생: 갑자기 바닥이 꺼지거나 기울어진 곳에서 균형을 잡는 훈련을 합니다.

이처럼 난이도를 로봇의 실력에 맞춰서 조금씩 올리는 방식으로 훈련시켰기 때문에, 로봇은 예상치 못한 상황 (예: 처음 보는 지형) 에서도 당황하지 않고 잘 대처할 수 있게 되었습니다.

🌟 이 시스템의 핵심 장점

1. 명확한 소통: 지휘자와 연주자 사이에 명확한 명령 체계가 있어서, 로봇이 왜 넘어졌는지, 왜 멈췄는지 원인을 쉽게 파악할 수 있습니다. (기존의 '블랙박스' 방식과 다름)
2. 실시간 적응: 지형이 갑자기 변해도, 지휘자가 걸음걸이 (보행) 를 바꾸고 연주자가 균형을 잡는 순간적인 대응이 가능합니다.
3. 높은 성공률: 실험 결과, 이 방식을 쓴 로봇은 험한 지형에서도 **87.4%**라는 매우 높은 성공률로 목적지에 도달했습니다.

🚀 결론: 왜 이것이 중요한가요?

이 논문은 로봇이 단순히 "계단만 오르는 기계"가 아니라, 현실 세계의 불확실성 속에서도 스스로 판단하고 움직이는 지능적인 파트너가 될 수 있음을 보여줍니다.

마치 **숙련된 등산 가이드 (지휘자)**가 **"이 길은 미끄러우니 천천히 가자"**라고 말하면, **튼튼한 등산 신발 (연주자)**이 그 지시에 맞춰 발을 디디는 것처럼, 두 시스템이 완벽하게 조화를 이룰 때 로봇은 어떤 험난한 길이라도 헤쳐 나갈 수 있게 됩니다.

이 기술은 재난 현장 구조, 산업 현장 점검, 혹은 외계 탐사처럼 예측 불가능한 환경에서 로봇이 안전하게 일할 수 있는 미래를 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

실제 환경에서 4 족 보행 로봇의 항해는 다음과 같은 주요 과제에 직면해 있습니다.

• 스케일 불일치 (Scale Mismatch): 고수준의 항해 의사결정 (목표 도달, 경로 계획) 과 저수준의 보행 실행 (관절 제어, 보행 패턴) 간의 간극이 존재합니다.
• 분포 외 (Out-of-Distribution, OOD) 환경 불안정성: 훈련되지 않은 새로운 지형이나 예기치 못한 환경 변화에서 정책이 불안정해지거나 넘어질 수 있습니다.
• 기존 방법의 한계:
  • 전통적 계획 (Classical Planning): 정밀한 환경 매핑과 모델 기반 제어가 필요하여 시스템 통합이 복잡하고, 모듈 간 오류 전파가 발생할 수 있습니다.
  • 단일 엔드 - 투 - 엔드 학습 (End-to-End Learning): 대규모 전문가 데이터에 의존하며, 배포 시 튜닝이나 오류 진단을 위한 구조화된 인터페이스가 부족합니다.
  • 저수준 제어만 의존: 장기적인 작업 수행 효율성이 떨어지고, 작업 목표와 동떨어진 행동이 발생할 수 있습니다.

이러한 문제들을 해결하기 위해, 작업 수준 (Task-level) 의 의사결정과 보행 수준 (Gait-level) 의 실행을 통합된 제어 루프 내에서 명확한 인터페이스로 연결하는 계층적 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 TDGC (Task-Driven Gait-Controlled) 라는 이름의 계층적 정책 아키텍처를 제안합니다. 이 시스템은 고수준 정책 ($\pi_H$), 명령 디코더 ($D$), 저수준 정책 ($\pi_L$) 으로 구성됩니다.

A. 계층적 구조

1. 저수준 정책 (Low-Level Policy, $\pi_L$):

   • 학습: 시뮬레이션 내 강화학습 (RL) 을 통해 훈련됩니다.
   • 기능: 고수준에서 전달받은 명령을 기반으로 보행 조건부 (Gait-conditioned) 로 안정적인 보행을 수행합니다.
   • 입력: 프로프리오셉션 (관절 위치/속도, 베이스 자세 등), 디코딩된 명령, 현재 보행 모드 (Trot, Pronk, Pace, Bound 중 하나).
   • 출력: 12 개의 관절에 대한 제어 액션.
   • 특징: 보행 모드를 명시적으로 선택하고 매끄럽게 전환할 수 있으며, 명령 추적을 위해 설계되었습니다.

2. 고수준 정책 (High-Level Policy, $\pi_H$):

   • 기능: 희소한 지형 정보 (시맨틱 또는 기하학적 단서) 를 기반으로 작업 중심의 의사결정을 내립니다.
   • 입력: 작업 진행 상황, 로봇 상태, 지형 단서.
   • 출력: 13 차원의 압축된 행동 파라미터 벡터.
   • 역할: 관절 제어 대신, 저수준 제어기가 실행 가능한 명령 집합 (속도, 요레이트, 보행 모드 선택 등) 을 생성합니다.

3. 명령 디코더 (Command Decoder, $D$):

   • 고수준 정책의 출력을 저수준 정책이 이해할 수 있는 실행 가능한 명령 벡터로 변환합니다.
   • 명확한 인터페이스: 이 디코더는 배포 시 튜닝, 오류 진단, 정책 수정을 위한 구조화된 인터페이스 역할을 합니다.

B. 훈련 전략: 성능 기반 커리큘럼 학습 (Performance-Driven Curriculum)

• 2 단계 훈련: 먼저 저수준 보행 정책을 훈련하여 고정 (Freeze) 한 후, 이를 환경에 주입하여 고수준 정책을 훈련합니다.
• 커리큘럼: 5 가지 지형 패밀리 (Rough, Pillar, Stair, Gap, Tilt) 와 난이도 레벨 (0~1) 로 구성된 절차적 지형을 사용합니다.
• 적응적 난이도 조절: 각 환경마다 최근 성공/실패 이력을 슬라이딩 윈도우로 추적합니다. 성공률이 일정 임계치 ($S$) 이상이면 난이도를 높이고, 임계치 미만이면 낮춥니다. 이를 통해 정책이 점진적으로 어려운 환경에 적응하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 동기화된 계층적 정책 시스템: 작업 수준 의사결정과 보행 수준 실행을 명시적인 교차 계층 인터페이스를 통해 통합된 폐루프 (Closed-loop) 로 연결하여, 시스템 수준의 스케일 불일치로 인한 성능 저하를 완화했습니다.
2. 보행 조건부 저수준 제어 및 압축 파라미터화: 작업 명령을 실행 가능한 저수준 목표로 안정적으로 매핑하며, 다양한 보행 모드 간의 견고한 생성과 매끄러운 전환을 지원합니다. 또한 배포 시 빠른 튜닝과 진단을 위한 직접적인 메커니즘을 제공합니다.
3. 성능 기반 커리큘럼 학습 파이프라인: 훈련 효율성과 다양한 지형에 대한 일반화 능력을 향상시키는 구조화된 커리큘럼을 도입하여, 혼합 지형 및 분포 외 (OOD) 평가에서 높은 작업 성공률을 달성했습니다.

4. 실험 결과 (Results)

• 실험 설정: Isaac Lab 시뮬레이션 환경에서 5 가지 지형 패밀리 (난이도 6~10 의 hardest levels 포함) 에 대해 평가 수행.
• 성능: 제안된 TDGC 프레임워크는 모든 지형에서 평균 87.4% 의 성공률을 기록했습니다.
• 비교 분석:
  • 기존 보행 정책 (Baseline GP) 에 비해 TDGC 는 더 매끄럽고 일관된 궤적을 생성하며 목표 지향성이 뛰어났습니다.
  • 해석 가능한 의사결정:
    • 계단 (Stair) 지형: 측면으로 몸을 회전시키고 'Trot' 보행을 선택하여 안정적으로 오르는 전략을 취함.
    • 간극 (Gap) 지형: 'Bound' 보행을 선택하고 후진하며 간극을 넘는 전략을 취함 (강한 다리 추진력을 활용).
  • 이러한 결과들은 단순한 성공률 향상뿐만 아니라, 로봇이 어떤 상황에서 어떤 보행 모드를 선택하는지 해석 가능함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 4 족 로봇의 실제 세계 배포를 위한 핵심 과제를 해결하는 구조화된 계층적 제어 프레임워크를 제시했습니다.

• 배포 가능성: 밀집된 지도나 고해상도 지형 재구성이 필요 없으며, 명시적인 인터페이스를 통해 시스템 통합과 디버깅이 용이합니다.
• 강건성: 다양한 지형과 예측 불가능한 환경 변화 (OOD) 에 대해 높은 적응력과 안정성을 입증했습니다.
• 실용성: 작업 목표와 보행 실행 간의 불일치를 해소하여, 장기적인 자율 임무 수행 (감시, 구조 활동, 산업 현장 등) 에 실질적인 기여를 할 것으로 기대됩니다.

결론적으로, 이 연구는 단순한 학습 기반 제어를 넘어, 해석 가능하고 튜닝 가능한 계층적 구조를 통해 로봇의 실제 세계 항해 능력을 한 단계 끌어올린 중요한 성과로 평가됩니다.