기술 요약: SHAPO - 안전한 탐색을 위한 샤프니스 인식 정책 최적화 (Sharpness-Aware Policy Optimization)

문제 정의

안전이 중요한 도메인에 강화 학습(RL) 에이전트를 배포하려면, 에이전트가 유익한 경험을 쌓으면서도 치명적인 실패를 피하는 안전한 탐색(safe exploration) 과정이 필요합니다. 근본적인 과제는 학습 초기 단계에서 에이전트가 높은 인식론적 불확실성(epistemic uncertainty)(데이터 부족으로 인한 모델 파라미터에 대한 불확실성)을 가진 상태를 방문할 때 발생합니다. 이러한 영역에서 정책 예측은 신뢰할 수 없으며, 탐색적 행동은 위험한 결과로 이어질 수 있습니다.

기존 연구들은 주로 리턴(return)의 변동성을 정량화하기 위해 크리틱(critic) 측면의 불확실성(예: 앙상블, 드롭아웃 또는 분포적 방법 사용)을 다루어 왔으나, *액터(actor)*의 파라미터 불확실성을 명시적으로 고려하는 정책 업데이트 방법론에는 공백이 존재합니다. 딥 온폴리시(on-policy) RL에서 정책 파라미터에 대한 명시적인 사후 분포(posterior)를 유지하는 것은 종종 불가능하며, 이로 인해 액터 측의 위험 회피(risk aversion)를 구현하기 어렵습니다. 결과적으로 표준적인 정책 업데이트는 그래디언트의 점 추정치(point estimates)에 의존하게 되며, 이는 불확실성이 높은 영역에서 과도하게 확신에 찬(overconfident) 결과를 초래할 수 있습니다.

방법론: 샤프니스 인식 정책 최적화 (SHAPO)

저자들은 샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM) 프레임워크(Foret et al., 2020)를 안전한 탐색의 맥락에 맞게 변형한 정책 업데이트 규칙인 SHAPO를 제안합니다. SHAPO는 기대 리턴을 직접 최적화하는 대신, 현재 정책 파라미터의 국소적 이웃 내에서 최악의 경우(worst-case) 기대 리턴을 최대화하는 정책을 찾고자 합니다.

핵심 메커니즘

SHAPO는 현재 파라미터가 아닌 섭동된(perturbed) 파라미터에서 그래디언트를 평가함으로써 표준 정책 그래디언트 업데이트를 수정합니다. 업데이트 과정은 두 단계로 구성됩니다:

1. 내부 최소화 (비관적 섭동): 알고리즘은 라그랑주 목적 함수 $L_\lambda^{\pi_0}$를 최소화하는 섭동 $\epsilon_{Down}$을 신뢰 영역(Fisher 정보 행렬로 정의됨) 내에서 찾습니다. 이는 현재 정책 $\pi_0$보다 성능이 낮은 국소 이웃 내의 "최악의 정책" $\tilde{\pi}$를 식별합니다.
2. 외부 최대화 (업데이트): 정책은 $\theta_0$가 아닌 섭동된 파라미터 $\theta_0 + \epsilon_{Down}$에서 평가된 목적 함수의 그래디언트를 사용하여 업데이트됩니다.

이론적 해석: 인식론적 불확실성을 통한 비관주의

본 논문은 이러한 샤프니스 인식 조정을 인식론적 불확실성의 관점에서 재해석합니다:

• 불확실성 모델링: 현재 정책 파라미터 $\theta_0$는 다변량 정규 분포 $N(\theta_0, \frac{1}{n}F^{-1})$를 따르는 확률 변수로 모델링됩니다. 여기서 $F$는 Fisher 정보 행렬이며, $n$은 유효 샘플 크기를 나타냅니다.
• 비관적 편향 (Pessimistic Bias): 섭동 $\epsilon_{Down}$은 기대 리턴 분포의 하위 꼬리(예: $\alpha$-분위수)에 속하는 가장 가능성 높은 파라미터 값에 해당합니다. 이 비관적인 지점에서의 그래디언트를 기반으로 최적화를 수행함으로써, SHAPO는 암묵적으로 정책 그래디언트의 가중치를 재조정합니다.
• 그래디언트 재가중치 부여: 단순화된 가우시안 정책에 대한 분석 결과, SHAPO는 **희귀하고 위험한 행동(음의 어드밴티지)**에 대한 그래디언트 크기를 증폭시키는 반면, **희귀하고 안전한 행동(양의 어드밴티지)**에 대한 그래디언트는 완화합니다. 이는 학습을 보수적인 행동으로 편향시켜, 현재의 정책 추정치가 약간만 틀리더라도 치명적인 결과로 이어질 수 있는 행동을 효과적으로 억제합니다.

구현

SHAPO는 다양한 온폴리시 알고리즘(예: TRPO, PPO, CPO, CRPO)과 호환되도록 설계되었습니다. 이 방법은 정책 매니폴드의 기하학적 구조를 존중하도록 Fisher 정보 행렬을 사용하여 정책의 이웃을 정의합니다. 또한, 비관주의 수준을 제어하기 위해 하이퍼파라미터 $\delta_{Down}$을 도입하며, 이는 상수로 유지하거나 수집된 샘플 수에 따라 스케줄링할 수 있습니다.

주요 기여

1. 새로운 업데이트 규칙: 인식론적 불확실성을 명시적으로 처리하기 위해 샤프니스 인식 최적화를 액터의 정책 업데이트에 통합한 SHAPO를 도입했습니다.
2. 이론적 통찰: SHAPO의 그래디언트 조정이 파라미터 불확실성 모델 하에서 비관적 목적 함수를 최적화하는 것과 동일하며, 이를 통해 불확실한 영역에서 안전을 우선시하는 체계적인 그래디언트 재가중치를 유도함을 공식적으로 입증했습니다.
3. 경험적 검증: 다양한 베이스라인(TRPO, CPO, PIDLag, CRPO, SauteRL)과 환경(Safety Gym, MuJoCo)에 대해 SHAPO가 안전-효율 파레토 프런티어(Pareto frontier)를 확장함을 광범위한 실험을 통해 보여주었습니다.
4. 절제 연구 (Ablation Studies): 다음을 확인했습니다:
   • Fisher 메트릭으로 정의된 섭동이 유클리드 대응 방식보다 우수한 성능을 보입니다.
   • 샤프니스 인식 최적화를 크리틱에 적용하는 것보다 액터에 적용하는 것이 안전한 탐색에 더 결정적입니다.
   • SHAPO는 두꺼운 꼬리를 가진 에피소드 비용 분포(치명적 실패)의 빈도를 줄입니다.

실험 결과

저자들은 Safety Gym (PointGoal1, PointButton1) 및 MuJoico (Ant-v4, Walker2d-v4) 환경에서 SHAPO를 평가했습니다.

• 안전성 및 효율성: 모든 벤치마크에서 SHAPO는 안전성(낮은 비용/실패율), 작업 성능(높은 리턴), 또는 둘 다를 일관되게 개선하여 베이스라인 알고리즘의 파레토 프런티어를 유의미하게 확장했습니다.
• 테일 리스크(Tail Risk) 감소: SHAPO는 에피소드 비용 분포의 두꺼운 꼬리를 크게 억제했습니다(예: Ant-v4의 비용 95 백분위수 감소). 이는 희귀한 치명적 실패가 감소했음을 나타냅니다.
• 강건성: SHAPO는 하이퍼파라미터 선택, 특히 $\delta_{Down}$을 불확실한 샘플 크스 추정에 기반한 동적 스케줄링 값이 아닌 튜닝 가능한 상수로 취급했을 때도 강건함을 입증했습니다.
• 무제약 RL: 종료 조건이 있는 무제약 환경(Ant, Walker2d)에서 SHAPO는 조기 종료를 줄여 샘플 효율성을 높였습니다. 이러한 테일 리스크가 없는 환경(HalfCheetah)에서는 이점이 제한적이었으며, 이는 이 방법이 특정 테일 리스크 시나리오를 타겟팅함을 확인시켜 줍니다.

의의 및 주장

본 논문은 SHAPO가 단순히 최종 정책에 제약을 가하는 것을 넘어, **업데이트 자체를 불확실성을 존중하도록 형성(shaping)**함으로써 안전한 탐색의 핵심적인 공백을 해결한다고 주장합니다. 정책 서로게이트(surrogate)의 '샤프니스'(파라미터 섭동에 대한 민감도)를 인식론적 불확실성의 대리 지표로 취급함으로써, SHAPO는 다음과 같은 폐쇄 루프(closed loop)를 생성합니다:

1. 더 안전한 업데이트가 더 안전한 궤적을 생성합니다.
2. 더 안전한 궤적은 위험한 영역에서 더 깨끗한 데이터를 생성합니다.
3. 깨끗한 데이터는 인식론적 불확실성을 줄입니다.
4. 감소된 불확실성은 학습이 진행됨에 따라 자연스럽게 보수성을 완화합니다.

저자들은 SHAPO를 기존의 안전 RL 알고리즘을 대체하는 것이 아니라, 복잡한 베이지안 추론이나 명시적인 불확실성 정량화 모듈을 요구하지 않으면서도 표준적인 온폴리시 업데이트를 향상시키는 모듈적이고 직교적인(orthogonal) 개선책으로 포지셔닝합니다.