Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

기술 요약: 제약 조건이 있는 보행 학습을 위한 보상 이득 적응 (Reward Gain Adaptation for Constrained Locomotion Learning)

문제 정의
기존의 로봇 보행 학습 기술, 특히 강화 학습(RL)에 기반한 기술들은 두 가지 결정적인 과제에 직면해 있다. 첫째, 이들은 오프라인에서의 보상 가중치 이득(reward weighting gains) 선택에 크게 의존하는데, 이 과정은 시간이 많이 소요되고 광범ening한 하이퍼파라미터 튜닝을 필요로 하며, 값이 부적절하게 선택될 경우 최적이 아닌 결과를 초래할 수 있다. 둘째, 전통적인 RL 접근 방식은 무작위 탐색으로 인해 학습 과정 중 제약 조건 위반(예: 넘어짐, 물리적 한계 초과)이 발생하기 쉽다. 제약을 강제하기 위해 제약 조건 강화 학습(CRL) 기법들이 존재하지만, 많은 방식이 여전히 학습 중 제약 위반을 겪거나, 복잡한 수학적 정식화(예: Control Barrier Functions) 및 반복적인 최 optimization(예: primal-dual methods)을 필요로 하여 페널티 이득의 조정을 지연시킨다. 결과적으로, 실제 물리 로봇에서 성능을 극대화하면서 동시에 제약 위반을 거의 제로(near-zero)로 만드는 것은 여전히 해결되지 않은 과제로 남아 있다.

방법론: ROGER
저자들은 **ROGER (Reward-Oriented Gains via Embodied Regulation)**를 제안한다. 이는 체화된 상호작용(embodied interaction) 중에 발생하는 페널티를 기반으로 보상 가중치 이득을 온라인으로 적응시키는 방법으로, 광범위한 오프라인 튜닝의 필요성을 제거한다.

• 핵심 메커니즘: ROGER는 양의 보상(주요 작업 목표)과 음의 보상(제약 페널티) 사이의 비율을 동적으로 조절한다.
  • 로봇이 안전한 상태(제약 임계값에서 멀리 떨어져 있을 때)에 있을 때는 주된 보상을 우선시하도록 비율을 설정한다.
  • 로봇이 제약 임계값에 접근함에 따라, 비율은 자동으로 페널티 이득을 높이고 주된 이득을 줄이는 방향으로 전환되어, 안전하지 않은 행동을 효과적으로 억제한다.
• 수학적 정식화: 이 방법은 보상과 페널티가 독립적으로 저장되는 다중 보상 채널 설정을 활용한다. 각 타임스텝 $t$에서 가중치 이득은 다음과 같이 계산된다:
  • $\lambda_{0t} = 1 - \Delta_t$ (주요 보상 이득)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (제약 $i$에 대한 페널티 이득)
  • 여기서 $\Delta_t$는 추정된 제약 페널티를 임계값($\tau$)에 상대적으로 합산하여 클리핑(clipped summation)한 값이며, 이를 통해 이득의 총합이 1이 되도록 보장한다. 기여 비율 $r_{\lambda_{it}}$는 특정 제약 위반의 심각도에 따라 페널티 가중치를 분배한다.
• 하이퍼파라미터: 이 접근 방식은 그리드 서치(grid searching)가 필요한 복잡한 페널티 계수 대신, 물리적 시스템 한계(예: 최대 하드웨어 기울기)에서 유도된 직관적인 하이퍼파라미터인 제약 임계값($\tau$)에 의존한다.
• 통합: ROGER는 기존 학습 프레임워크(예: 사족 보행 로봇을 위한 AGOL, 호퍼 로봇을 위한 PPO)에 추가되는 메커니즘으로 설계되었으며, 기본 정책 업데이트 알고리즘을 변경하지 않고 실시간으로 보상 구조를 적응시킨다.

주요 기여

1. 제약 조건 충족: ROGER는 위반이 발생한 후에 반응하는 것이 아니라, 위반이 발생하기 전에 이득을 동적으로 조정함으로써 학습 과정 전반에 걸쳐 제약 위반을 거의 제로 수준으로 유지한다.
2. 단순화된 튜닝: 직관적인 물리적 임계값을 사용하여 광범위한 오프라인 가중치 튜닝의 필요성을 제거하며, 이를 통해 하이퍼파라미터 선택과 관련된 시간 및 위험을 크게 줄인다.
3. 성능 최적화: 안전할 때만 성능을 우선시함으로써, ROGER는 고정 가중치 방식 및 다른 적응형 가중치 기법보다 더 높은 주된 보상을 달ей한다.

실험 결과
저자들은 60kg 무게의 Unitree B1 사족 보행 로봇(시뮬레이션 및 실세계 모두)과 MuJoCo 호퍼를 대상으로 ROGER를 평가하였다.

• 사족 보행 (시뮬레이션 및 실세계):
  • 제약 위반: 시뮬레이션에서 ROGER는 50,000 타임스텝당 1회의 위반만을 기록하며 제약 위반을 거의 제로로 달성하였으며, 이는 CRPO와 같은 최신 적응형 방식(25,000 타임스텝 동안 0회의 위반을 기록했으나 성능은 낮음) 및 고정 가중치 방식보다 우수한 성능을 보였다. 실세계 실험에서 물리 로봇은 롤(roll) 및 피치(pitch) 각도를 10° 임계값 미만으로 유지하며 300회의 학습 에피소드(약 1시간)를 넘어짐 없이 완료하였다.
  • 성능: ROGER는 최종 전진 속도 0.6 m/s를 달성하였는데, 이는 동일한 최신 기술들(고정 이득 페널티 및 CRPO)보다 50% 높은 수치이며, 주된 보상만으로 학습했을 때의 성능과 대등하면서도 안전성을 보장하였다.
  • 적응성: 로봇은 외수용 센싱(exteroceptive sensing) 없이도 까다로운 지형(미끄러운 표면, 자갈, 불규칙한 계단)과 동적 하중 하에서 성공적으로 보행을 학습하였으며, 이는 제약 조건을 만족하면서도 탐색을 통해 실행 가능한 제어 정책이 도출되었음을 입증한다.
• 호퍼 보행 (MuJoCo):
  • 제로-페널티 최적성(zero-penalty optimality) 및 완만한 역학(gentle dynamics) 가정이 위배되는 단일 다리 호퍼에서 ROGER를 테스트하였다.
  • 지표: ROGER는 기본 보상 함수 대비 점프 거리를 20% 개선하였고, 토크 사용량을 57% 감소시켰으며, 방향 편차를 59% 감소시켰다.
  • 강건성: 더 엄격한 제약 조건(임계값 절반 축소) 하에서도 ROGER는 뒤로 밀리지 않고 전진 점프를 유지하며, 민감한 시스템 역학에 적응하는 능력을 입증하였다.

의의 및 주장
본 논문은 ROGER가 제약 조건을 만족하는 실세계 지속적 로봇 보행 학습(constraint-satisfying real-world continual robot locomotion learning) 분야에 기여한다고 주장한다. 체화된 상호작용을 활용하여 보상 가중치 이득을 동적으로 조절함으로써, ROGER는 보상 가중치 튜닝 과정을 단순화한다. 이러한 튜닝 복잡성의 감소는 현재의 기술들이 학습 중 안전을 보장하지 못하거나 과도한 수동 튜닝을 요구하는 간극을 해결함으로써, 물리 로봇이 실세계에서 안전하고 효과적으로 학습할 수 있는 발전을 촉진할 잠재력이 있다. 저자들은 ROGER가 제약 조건의 기대값이 충족되도록 보장하지만, 모든 시나리오(특히 민감한 역학이 있는 경우)에서 넘어짐이 없음을 보장하는 것은 아니라고 강조하면서도, 기존 베이스라인들에 비해 성능과 안전성을 크게 향상시켰다고 강조한다.