SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

기술 요약: SafeExplorer

문제 정의
물리적 로봇에서 강화 학습(RL) 에이전트를 직접 학습시키는 것은 실패의 비용이 매우 높다는 점 때문에 제약이 따릅니다. 시뮬레이션에서는 넘어짐(fall)이 발생하더라도 즉시 리셋할 수 있는 것과 달리, 물리적 환경에서의 넘어짐은 하드웨어에 손상을 입힐 수 있으며 되돌릴 수 없습니다. 따라서 실제 환경 학습의 주요 목표는 단순히 보상(return)과 제약 조건을 절충하는 일반적인 제약 마르코프 결정 과정(CMDP) 공식처럼 제약 위반을 처리하는 것이 아니라, 넘어짐의 횟수를 최소화하는 것입니다.

표준적인 완화 전략은 학습 에이전트를 별도로 사전 학습된 **회복 정책(recovery policy)**과 결려하는 것입니다. 이 정책은 에이전트가 설계자가 지정한 안전 영역(상태 공간의 부분 집합)을 벗어날 때마다 제어권을 가져와 시스템을 명목 상태(nominal state)로 다시 유도합니다. 이는 물리적 손상을 방지하지만, 중요한 이론적 결함을 초래합니다. 즉, 학습 중에 수집되는 데이터가 혼합 정책(mixed policy)(안전 영역 내부의 메인 정책과 안전 영역 외부의 회복 정책)에 의해 생성된다는 점입니다. PPO와 같은 표준 온-폴리시(on-policy) 알고리즘은 업데이트되는 정책에 의해서만 데이터가 생성된다고 가정합니다. 회복 정책이 개입하면, 결과적으로 발생하는 그래디언트 추정치는 회복 정책의 행동에 편향(bias)됩니다.

또한, 이러한 편향을 교정하기 위한 표준적인 방법인 **중요도 샘플링(Importance Sampling, IS)**은 회복 정책이 결정론적(예: 모델 예측 제어(MPC) 솔버 또는 탐욕적 액터)일 때 작동하지 않습니다. 이러한 경우, 회복 정책은 단일 행동(디락 측도, Dirac measure)을 생성하므로 중요도 비율(importance ratio)이 정의되지 않습니다(밀도가 0으로 나누어지는 문제). 이는 안전한 학습을 가능하게 하는 메커니즘(회복 정책)이 오히려 학습 신호를 오염시키고, 표준적인 해결책(IS)은 그것이 가장 필요할 때 수학적으로 무효해지는 역설을 만듭니다.

방법론
SafeExplorer는 네 가지 이론적 및 알고리즘적 구성 요소를 기반으로 한 PPO의 드롭인(drop-in) 수정 사항을 통해 이러한 문제를 해결합니다.

1. 비편향 마스크 정책 그래디언트(Unbiased Masked Policy Gradient):
   핵-공헌은 회복 정책이 결정론적일 때도 혼합 정책의 리턴에 대해 편향되지 않은 새로운 정책 그래디언트 추정기(정리 1)를 제공하는 것입니다. 이 추정기는 중요도 샘플링을 통해 전이(transition)의 가중치를 재조정하는 대신, 파티션 마스킹(partition masking) 접근 방식을 사용합니다. 이는 메인 정책이 작동하는 시점(안전 영역 내부)에서만 스코어 함수($\nabla_\theta \log \pi_\theta$)를 적용하고, 회복 정책의 행동 밀도는 완전히 무시합니다. 회복 정책은 메인 정책의 파라미터($\theta$)와 독립적이므로, 궤적 밀도에서 회복 정책의 인자는 미분 시 사라집니다. 이를 통해 회복 정책의 밀도를 평가하지 않고도 그래디언트를 계산할 수 있어, 확률적 및 결정론적 회복 정책 모두에 유효합니다.

2. 목표-갭 경계(Objective-Gap Bound):
   이 방법은 혼합 정책의 리턴($J_{mix}$)을 최적화하지만, 최종 목표는 배포 시의 메인 정책 리턴($J$)을 최대화하는 것입니다. 저자들은 $|J - J_{mix}|$의 차이에 대한 경계(정리 4)를 도출하였으며, 이 차이가 메인 정책의 영역 외 발생률(out-of-region rate, $\beta$)에 비례함을 보여줍니다. 이 차이는 안전 영역이 도달 가능한 모든 상태를 포함하거나 메인 정책이 자기 안정화(self-stable)될 때 소멸합니다. 이 갭을 최소 줄이기 위해, SafeExplorer는 학습 중에 안전 영역의 반지름($d$)을 점진적으로 확장하는 선형 커리큘럼을 채택하여, 메인 정책이 안전 영역 내에 머물도록 독려하고 회복 정책에 대한 의존도를 낮춥니다.

3. 해석적 회복 가치(Analytic Recovery Value):
   역학(dynamics)과 회복 정책이 결정론적인 흔한 경우, 회복을 유발하는 상태의 가치는 **폐쇄형 표현식(closed-form expression)**을 갖습니다(정리 6). 학습된 크리틱(critic)이 회복 구간을 통해 가치를 부트스트랩(bootstrap)함으로써 발생하는 오류를 피하기 위해, SafeExplorer는 결정론적 회복 궤적의 정확한 리턴을 계산합니다. 이는 온-폴리시 신호가 희소한 안전 영역 경계 지점에서 조밀하고 정확한 감독(supervision)을 제공합니다.

4. 결과 게이팅 호환성 정규화 항(Outcome-Gated Compatibility Regularizer):
   메인 정책이 회복 정책이 신뢰할 수 없을 때도 안전하지 않은 상태를 피하도록 학습하기 위해, SafeExplorer는 지도 모방 손실(supervised imitation loss)을 추가합니다. 이 항은 메인 정책이 회복 정책의 행동을 모방하도록 유도하되, 회복 세그먼트가 성공했을 때만(즉, 에이전트가 안전 영역으로 재진입했을 때) 작동합니다. 이 "결과 게이팅(outcome-gated)" 메커니즘(정리 7)은 에이전트가 실패한 회복 시도로부터 학습하는 것을 방지하며, 이는 표준적인 행동 복제(behavioral cloning)나 DAgger와 구별되는 점입니다.

주요 기여

• 이론적 토대: 외부의 $\theta$-독립적 회복이 존재하는 혼합 정책에 대해, 중요도 샘플링이 실패하는 결정론적 컨트롤러에서도 유효한 비편향 정책 그래디언트 정리를 증명했습니다.
• 알고리즘 구현: 마스크 그래디언트, 해석적 가치 타겟, 결과 게이팅 모방을 통합한 실용적인 PPO 변형 모델인 SafeExplorer를 개발했습니다.
• 이론적 경계: 학습(혼합)과 배포(메인) 리턴 사이의 갭에 대한 경계를 확립하여, 커리큘럼 학습이 어떻게 이 갭을 좁히는지 입증했습니다.
• 경험적 검증: SafeExplorer가 표준 PPO에 비해 학습 시간 중의 넘어짐을 현저히 줄이면서도 최종 보상을 대등하거나 그 이상으로 달성함을 입증했습니다.

실험 결과
저자들은 세 가지 연속 제어 로코모션 환경인 HalfCheetah, Ant, Unitree Go1 사족보행 로봇에서 SafeExplorer를 평가했습니다. 회복 정책은 사전 학습된 결정론적 SAC 액터입니다.

• 넘어짐 감소: Safe-Explorer는 표준 PPO와 비교하여 학습 중 발생하는 넘어짐을 HalfCheetah에서 233배, Ant에서 48배, Go1에서 26배 감소시켰습니다.
• 보상 성능: 이 방법은 모든 환경에서 표준 PPO의 최종 보상과 일치하거나 이를 상회하는 성능을 보였습니다.
• 신뢰할 수 없는 회복 환경: 회복 정책 자체가 신뢰할 수 없어 자주 실패하는 Ant 환경에서, SafeExplorer는 성공 임계값(최고 최종 보상의 80%)에 도달한 유일한 방법이었습니다. 다른 회복 활용 방식 및 CMDP 솔버(CPO, PPO-Lagrangian)를 포함한 베이스라인 모델들은 수만 번의 넘어짐을 누적하며 처참하게 실패했습니다.
• 절제 연구(Ablation Studies): 저자들은 각 구성 요소가 고유한 이득을 제공함을 확인했습니다: 마스크 그래디언트는 편향을 제거하고, 해석적 가치는 학습 효율을 개선하며, 결과 게이팅 정규화 항은 신뢰할 수 없는 회복 정책을 다루는 데 필수적입니다.

의의 및 주장
본 논문은 SafeExplorer가 물리적 하드웨어에서의 안전한 강화 학습을 위한 이론적으로 견고하고 실용적으로 효과적인 솔루션을 제공한다고 주장합니다. 회복 정책을 단순한 편향의 원인이 아닌 신호의 원천으로 취급함으로써, 이 방법은 에이전트가 하드웨어 손상을 최소화하면서 유능한 컨트롤러를 학습할 수 있게 합니다.

저자들은 본 연구의 기여가 방법론적이며, 고정된 회복 정책이 불안전한 상태에서 제어권을 가져가는 모든 곳에 적용 가능함을 강조합니다. 이 방법이 넘어짐을 완전히 제거하는 것은 아니지만, 성공적인 정책에 도달하기 위해 필요한 넘어짐의 횟수를 획기적으로 줄여준다는 점을 명시합니다. 이 연구는 대규모 병렬 시뮬레이션이나 단순히 안전 위반을 억제하기 위한 보상 형성(reward shaping)에 의존하는 것을 넘어, 온-로봇 학습을 가능하게 하는 필수적인 단계로서의 위치를 점합니다. 결론적으로, 비편향 그래디언트 추정기와 결과 게이팅 모방 손실의 결합은 회복 메커니즘을 학습의 장애물에서 학습의 자산으로 변화시킵니다.