Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

기술 요약: 시공간 논리 사양을 이용한 보행 인식 사족보행 로코모션 학습

문제 정의
현재 사족보행 로코모션을 위한 강화 학습(RL)은 고정된 수작업 기반의 마르코프적(Markovian) 보상 함수에 크게 의존하고 있습니다. 이러한 방식은 단일 지배적 보행(예: 트롯)을 학습하는 데는 효과적이지만, 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 해석 가능성 부족: 학습된 정책은 보상 항과 특정 행동 실패 사이의 연결 고리가 불투명한 "블랙박스"인 경우가 많습니다.
2. 제한된 보행 제어: 정적인 보상 함수는 다양한 속도에 따라 서로 다른 보행 레짐(walking-trot, trot, bound)을 유도하거나 이들 사이를 매끄럽게 전환하는 데 어려움을 겪습니다. 또한, 다양한 속도에 필요한 접촉 패턴의 시공간적 구조를 명시적으로 강제하지 못해, 고속 주행 시 불안정한 학습이나 명령 추종 성능 저하를 초축할 수 있습니다.

저자들은 속도 레짐에 따라 보행 구조를 적응시키면서도 안전성, 안정성 및 정확한 속도 추종을 유지할 수 있는 단일 정책을 학습하는 과제를 해결하고자 합니다.

방법론
제안된 프레임워크는 휴리스틱 보상을 대신하여 원하는 동작을 인코딩하기 위해 시공간 논리(Signal Temporal Logic, STL) 사양을 사용합니다. 핵심 방법론은 다음과 같습니다:

1. 모드 의존적 보행 선택:
   시스템은 명령된 전진 속도($v_{cmd}$)를 기준으로 세 가지 로코모션 모드를 정의하며, 전이 임계값을 결정하기 위해 프루드 수(Froude number)를 활용합니다:

   • 워킹-트롯 (Walking-Trot, W): $0 \le v_{cmd} \le 0.7$ m/s.
   • 트롯 (Trot, T): $0.7 < v_{cmd} \le 1.7$ m/s.
   • 바운드 (Bound, B): $v_{cmd} > 1.7$ m/s.
     전이 경계 근처에서 모드 채터링(chattering)을 방지하기 위해 히스테리시스(hysteresis)가 적용됩니다.

2. 데이터 기반 STL 사양 마이닝:
   수동으로 논리 파라미터를 튜닝하는 대신, 저자들은 데이터 기반 접근 방식을 사용합니다:

   • 전문가 궤적: 특화된 모델로부터 각 레짐(walk-trot, trot, bound)당 50개의 전문가 롤아웃을 수집합니다.
   • 파라메트릭 STL (PSTL) 템플릿: 안전(토크 제한, 롤/피치 범위, CoM 높이), 속도 추종, 보행 구조(접촉 패턴, 듀티 팩터, 위상 동기화)를 위한 파라메트릭 템플릿을 정의합니다.
   • 파라미터 교정: STL 술어(predicate)의 임계값은 전문가 데이터의 경험적 분위수(예: 오차 크기에 대한 99백분위수)를 사용하여 피팅됩니다. 이는 성공적인 동작이 과도한 노이즈로 인해 억제되지 않도록 하면서도 사양을 충족하도록 보장합니다.

3. 강건성을 통한 보상 셰이핑:
   STL 사양은 정량적 강건성(quantitative robustness) 의미론을 사용하여 조밀하고 연속적인 보상 신호로 변환됩니다.

   • 술어: 각 모드에 대한 특정 술어가 정의됩니다 (예: 트롯을 위한 대각선 위상 오차, 바운드를 위한 공중 단계 점유, 바운드를 위한 대각선 패턴 억제).
   • 집계: 안전, 추종 및 패턴 제약에 대한 강건성 값($\rho$)은 부호 보존 소프트-민(soft-min) 함수를 사용하여 집계되며, $\tanh(\rho)$를 통해 $[-1, 1]$로 정규화됩니다.
   • 최종 보상: 최종 스칼라 보상은 정규화된 강건성 항들의 가중 합에서 에너지 효율 페널티(토크 노력)를 뺀 값입니다.

4. 훈련 파이프라인:
   이 접근 방식은 Google의 Barkour vb 사족보행 로봇과 MuJoCo XLA (MJX) 시뮬레이터 상에서 구현되었습니다.

   • 알고리즘: 근사 정책 최적화(Proximal Policy Optimization, PPO)가 사용됩니다.
   • 최적화: 훈련 속도와 정책 강건성을 향상시키기 위해 GPU 상의 병렬화와 도메인 무작위화(domain randomization)가 채택되었습니다.
   • 커리큘럼: 훈련은 낮은 속도 범위에서 시작하여 점진적으로 "바운드" 레짐을 포함하도록 확장됩니다.

주요 기여

1. 모드 인식 논리 기반 보상: 명령된 속도에 따라 서로 다른 STL 사양이 활성화되어, 단일 정책이 다수의 보행 구조를 학습할 수 있게 하는 프레임워크를 제공합니다.
2. 데이터 기반 파라미터 학습: 전문가 궤적으로부터 파라메트릭 보행 템플릿을 직접 피팅하는 파이프라인을 구축하여, 휴리스틱한 추측이 아닌 실제 보행 통계와 일치하는 해석 가능한 사양을 생성합니다.
3. 통합 다중 보행 정책: 워킹, 트롯, 바운딩 레짐 전반에 걸쳐 속도 명령을 성공적으로 추종하며, 휴리스틱 베이스라인보다 더 낮은 명령 추종 오차를 달하는 단일 정책을 구현합니다.
4. 해석 가능한 진단: STL 강건성 신호를 사용하여 실패 원인을 규명할 수 있습니다. 롤아웃이 실패할 경우, 특정 위반된 술어(예: 불충분한 지지, 액추에이터 제한)를 식별할 수 있어 디버깅을 위한 실용적인 도구를 제공합니다.

실험 결과
저자들은 Barkour 로봇을 대상으로 두 가지 휴리스틱 보상(heuristic-best 및 heuristic-default) 기반 베이스라인과 STL 셰이핑 정책을 비교 평가했습니다.

• 지표: 이동 비용(Cost of Transportation, CoT), 생존율, 성공률(명령 대비 $\pm 15\%$ 이내의 평균 전진 속도로 정의됨).
• 성능: STL 기반 정책은 더 정밀한 속도 추종과 더 안정적인 훈련을 보여주었습니다.
• 고속 강건성: 결정적으로, STL 정책은 휴리스틱 베이스라인의 성능이 저하되기 시작하는 고속 명령 구간($1.9 - 2.1$ m/s)을 포함하여 전체 테스트 속도 범위에서 완벽한 생존율과 성공률을 유지했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 블랙박스 형태의 잠재 표현(latent-representation) 방식이나 순수 휴리스틱 보상 셰이핑 방식에 대한 구조적이고 분석 가능한, 사양 중심의 대안을 제공한다고 주장합니다. 논리적 사양으로 로코모션 목표를 인코딩함으로써 본 연구는 다음을 달 Age:

• 보행 동작 및 접촉 시퀀스에 대한 명시적 제어를 제공합니다.
• 정책 실패를 논리적 위반과 연결함으로써 해석 가능성을 높입니다.
• 별도의 컨트롤러나 복잡한 계층적 스위칭 메커니즘 없이도 속도 레짐에 따라 보행 구조를 적응하는 통합 정책을 학습하는 엔지니어링 문제를 해결합니다.

이 연구는 형식적 사양(formal specifications)이 딥 강화 학습 파이프라인에 효과적으로 통합되어, 다리 로코모션 정책의 성능과 디버깅 가능성을 향상시킬 수 있음을 입증합니다.