기술 요약: Shield-Loco

문제 정의

강화 학습(RL) 정책은 원하는 접촉 위치를 저수준 관절 명령으로 매핑함으로써 동적인 보행 이동(locomotion)을 가능하게 하는 데 성공을 거두어 왔습니다. 그러나 이러한 정책은 훈련 중에 존재하지 않았던 환경적 제약(예: 장애물)을 만났을 때 안전 위반을 방지하기 위한 능동적인 메커니즘이 부족합니다. 대규모 오프라인 안전 학습은 모든 에지 케이스(edge cases)를 다루기에 비현실적이므로, 기존의 안전 프레임워크는 다음과 같은 중대한 한계에 직면해 있습니다:

• 차수 축소 모델(Reduced-order models): 제어 장벽 함수(Control Barrier Functions, CBF)와 같은 방법들은 단순화된 모델에 의존하는 경우가 많아 전신(whole-body) 동작을 추론할 수 없으며, 이로 인해 모델링되지 않은 접촉 역학 하에서 실패를 초래합니다.
• 보수적인 회복(Conservative recovery): 모델 예측 쉴딩(Model Predictive Shielding, MPS) 및 해밀턴-자코비(Hamilton-Jacobi, HJ) 도달 가능성(reachability) 접근 방식은 과업 성능을 희생하거나 복잡한 시나리오에서 실패하는 수작업 기반의 인증서(certificates)를 요구하는 보수적인 회복 제어기에 의존합니다.
• 확장성(Scalability): HJ 도달 가능성은 상태 차원에 따라 지수적으로 확장되므로, 전신 보행 모델에 적용하기에는 계산량이 너무 많습니다.

핵심 과제는 RL 정책을 완전히 재학습시키지 않으면서도, 과업 성능을 저하시키지 않고 안전을 보장하기 위해 정책에 개입하는 것입니다.

방법론

저자들은 접촉 조건부 RL 정책에 입력되는 접촉 위치(contact locations)에 사후적으로(post-hoc) 작동하는 예측 안전 필터인 Shield-Loco를 제안합니다. 핵심 통찰은 발의 접촉 위치가 온라인 최적화를 수행하기에 용이하면서도 전신 충돌 회피를 강제하기에 충분한 운동학적 추상화(kinematic abstraction) 역할을 한다는 점입니다.

프레임워크 개요

각 제어 단계에서 필터는 상위 플래너로부터 명목상의 접촉 위치 시퀀스를 받습니다. 필터는 전체 물리 시뮬레이터(MuJoCo)와 동결된(frozen) RL 정책을 사용하여 미래 상태를 예측하는 순방향 롤아웃(forward rollout)을 수행합니다.

1. 예측(Prediction): 재귀적 호라이즌(receding horizon) 내에서 안전 위반이 예측되지 않으면, 명목상의 접촉 위치가 정책으로 전달됩니다.
2. 개입(Intervention): 안전 위반이 예측되면, 샘플링 기반 최적화기가 유한 호라이즌 리턴(finite-horizon return)을 최대화하면서 안전 제약 조건을 만족하는 대안적인 접촉 시퀀스를 탐색합니다.
3. 실행(Execution): 최적화된 첫 번째 접촉 위치가 RL 정책에 전달되어 관절 토크를 생성합니다. 이 과정은 비동기적으로 반복되어, 최적화기가 낮은 빈도로 실행되더라도 저수준 정책이 고주파수(50 Hz)로 실행될 수 있도록 합니다.

최적화 정식화

필터는 개입이 필요할 때 다음 최적화 문제를 해결합니다:
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
제약 조건 $g(s_t, p_t) \leq 0$ 하에, 여기서 $a_t = \pi(s_t, p_t)$ 이고 $s_{t+1} = f(s_t, a_t)$ 입니다.

• 보상($r$): 과업 성능(예: 원하는 접촉 추적, 에너지 효율)을 인코딩합니다.
• 가치 함수($V$): 최적화기에 의해 수집된 궤적을 통해 오프라인에서 TD 학습(temporal-difference learning)으로 학습된 학습된 가치 함수를 사용하여 긴 호라이즌의 리턴을 부트스트래핑합니다.
• 안전 제약 조건($g$):
  • 발 접촉 페널티: 발과 장애물 사이의 부호 있는 거리 함수(signed distance function, SDF)를 기반으로 한 소프트 페널티입니다.
  • 전신 충돌: MuJoCo의 접촉 데이터를 통해 감지된 로봇 링크와 장애물 간의 접촉에 대해 큰 페널티가 부여됩니다.

계산 가능성을 위한 알고리즘 구성 요소

불연속적인 접촉 지형에서도 최적화를 가능하게 하기 위해, 저자들은 세 가지 핵심 구성 요소를 도입했습니다:

1. 기하학적 투영(Geometric Projection): 샘플링된 접촉 위치는 롤아웃 평가 전에 이차 계획법(Quadratic Program, QP)을 통해 충돌 없는 집합으로 투영됩니다. 이는 후보들이 국소적으로 하드 제약 조건을 만족하도록 보장하지만, 전체 롤아웃은 여전히 안전성을 위해 평가됩니다.
2. 모멘텀 증강 업데이트(Momentum-Augmented Updates): 가속 근사 근접 자연 경사 하강법(Accelerated Proximal Natural Gradient Descent)에서 유도된 이 업데이트 규칙은 개선 방향으로 외삽함으로써 수렴을 가속화하고 필요한 반복 횟수를 줄입니다.
3. 복제 교환(Replica Exchange, Parallel Tempering): 얕은 지역 최솟값(local minima)에서 벗어나기 위해, 서로 다른 역온도($\lambda$)를 가진 여러 최적화기 복제본을 유지합니다. 인접한 복제본들은 메트로폴리스-헤이스팅스(Metropolis–Hastings) 기준에 따라 접촉 시퀀스를 교환하며, 이를 통해 고온 복제본은 넓게 탐색하고 저온 복제본은 유망한 솔루션을 집중적으로 활용할 수 있습니다.

주요 기여

1. 접촉 위치에 대한 예측 안전 필터: RL 정책에 입력되는 접촉 위치에 직접 작동하여, 기본 정책을 수정하지 않고도 전신 충돌 회피를 가능하게 하는 방법입니다.
2. 계산 가능한 샘플링 기반 최적화: 불연속적인 접촉 지형을 처리하기 위해 기하학적 투영, 모멘텀 증강 업데이트, 복제 교환을 결합한 새로운 최적화 기법을 제시합니다.
3. 시뮬레이션 및 실세계 검증: 밀집되고 복잡한 환경에서의 Unitree Go2 4족 보행 로봇에 대한 포괄적인 평가를 통해, 명목적인 보행 패턴에서의 편차를 최소화하면서 안전 위반을 크게 줄임을 입증했습니다.

결과

방법론은 MuJoCo 시뮬레이션과 실제 하드웨어 실험 모두에서 Unitree Go2 4족 보행 로봇을 대상으로 평가되었습니다.

• 안전성 vs. 성능 트레이드오프: 단일 바퀴 근사치를 사용한 베이스라인(CBF 및 HJ reachability)과 비교했을 때, Shield-Loco는 현저히 낮은 추적 비용과 더 적은 실제 안전 위반을 달enc성했습니다. 저차원 베이스라인은 밀집된 복잡한 환경에서 어려움을 겪었으나, Shield-Loco는 강력한 안전-추적 트레이드오프를 유지했습니다.
• 최적화 변형 모델: 테스트된 최적화기들(MPPI, CEM, Replica Exchange MPPI) 중에서, Replica Exchange 변형이 가장 낮은 추적 비용(0.0086)을 달성하면서도 낮은 위반율을 유지했으나, 최적화 시간이 더 소요되었습니다.
• 절제 연구(Ablation Studies):
  • 모멘텀: 0이 아닌 모멘텀 계수($\beta$)는 일관되게 추적 비용을 개선했으며, $\beta=0.1$이 최적의 성능을 보였습니다.
  • 호라이즌 및 반복 횟수: 적절한 계산 예산($N=3$ 반복, $H \in [4, 6]$)이 안전성과 반응성 사이의 최적의 균형을 제공했습니다.
  • 투영: 롤아웃 샘플링 중과 최종 최적화된 계획 모두에 기하학적 투영을 적용하는 것이 위반을 최소화하는 데 결정적이었습니다.
• 실세계 배포: 시스템은 장애물(휴대폰, 패키지, 케이블)과 큰 정적 장애물이 있는 복잡한 환경을 성공적으로 통과했습니다. 비동기 설계 덕분에 최적화가 계획 주기보다 오래 걸리더라도(예: $H=8$일 때 400ms), 저수준 정책이 마지막으로 알려진 안전한 접촉 목표를 계속 추적함으로써 로봇의 안정성을 유지할 수 있었습니다.

의의 및 한-계점

본 논문은 Shield-Loco를 전신 모델의 표현력과 온라인 안전 필터링에 필요한 계산 가능성 사이의 간극을 메우는, 최소한의 침습적인 안전 개입 방법으로 규정합니다. 관절 토크가 아닌 접촉 위치에서 작동함으로써 "차원의 저주"를 피하면서도 전신 충돌을 고려할 수 있는 능력을 유지합니다.

한계점 및 향후 과제:

• 이론적 보장: 이 방법은 최적성이나 안전성에 대한 공식적인 이론적 보장이 부족합니다. 최적화기가 지역 최솟값에 수렴할 경우 필터링된 계획이 진정한 안전 집합에서 벗어날 수 있습니다.
• 휴리스틱 투영: 기하학적 투영은 휴리스틱이며 최적화기의 수렴 특성을 엄격하게 보존하지 않을 수 있습니다.
• 정책의 한계: 실험에서 발생한 실제 위반은 접촉 목표가 안전하더라도 RL 정책이 안전하지 않은 중간 스윙 단계(swing-phase) 구성을 생성할 때 발생했습니다.
• 범위: 현재 검증은 평탄한 지형에서의 4족 보행 로봇에 국한되어 있습니다. 다중 지형 보행, 휴머노이드, 또는 능동적인 몸통 비틀림이 필요한 시나리오로 확장하는 것이 향후 과제입니다.
• 인지(Perception): 현재 프레임워크는 알려진 장애물 기하 구조를 가정합니다. 미지의 환경에서 완전한 자율 배포를 위해 온라인 인지 파이프라인을 통합하는 것이 필수적인 향후 연구 방향으로 식별되었습니다.