Safe-Support Q-Learning: Learning without Unsafe Exploration

"Safe-Support Q-Learning: Learning without Unsafe Exploration" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

강화 학습 (RL) 에이전트는 일반적으로 탐색을 통해 최적 정책을 발견하는데, 이는 본질적으로 안전하지 않거나 재앙적인 결과를 초래할 수 있는 상태 - 행동 쌍을 방문하는 것을 수반합니다. 기존 "안전한 RL(Safe RL)" 방법들은 제약 조건, 페널티 또는 위험 민감성 목적 함수 (예: 조건부 가치 위험, CVaR) 를 통해 위험을 완화하려 시도하지만, 일반적으로 학습 중 안전하지 않은 상태의 방문을 완전히 제거하지는 못합니다. 이러한 방법들은 종종 확률적 경계나 기대값 기반 제약을 의존하므로, 안전 위반이 여전히 발생할 수 있습니다.

저자들은 더 엄격한 안전 요구 사항을 다룹니다: 학습 과정은 절대 안전하지 않은 상태를 방문하는 궤적을 생성해서는 안 됩니다. 핵심 과제는 최적에 가까운 행동에 의존하거나 안전하지 않은 전이를 위험에 빠뜨리지 않고, 제한된 "안전 집합"($S_{safe}$) 내에서 충분한 탐색과 정책 개선을 가능하게 하는 것입니다.

2. 방법론: Safe-Support Q-Learning

제안된 프레임워크는 모든 학습 구성 요소를 안전 집합의 지지대 (support) 로 제한하는 Q-학습 기반 접근법입니다. 이 프레임워크는 **행동 정책 ($\pi_b$)**이 완전히 $S_{safe}$에서 지지된다는 가정 하에 작동합니다 (즉, 안전하지 않은 상태를 결코 방문하지 않음). 이 정책이 최적일 필요는 없으나, 안전 영역 내에서 탐색을 허용하기 위해 확률적이어야 합니다.

이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

A. 행동 정책 구성

이 방법은 $S_{safe}$에서 지지되는 행동 정책 $\pi_b$를 활용합니다. 두 가지 구체화 전략이 제안됩니다:

1. HC Safe (수동 제작): PID, MPC 와 같은 고성능 규칙이나 제어기를 확률적 정책으로 변환하여 사용합니다. 연속 공간에서는 Mean-Noise(결정론적 정책 + 가우시안 노이즈) 또는 Distributional(상태 의존적 가우시안) 파라미터화를 통해 구현됩니다.
2. DS Safe (데이터셋 기반): 안전 전이만 포함된 사전 수집된 데이터셋에서 최대 가능도 추정을 통해 정책을 학습합니다. 이는 정책이 데이터셋의 지지대로 제한되는 오프라인 RL 설정과 같습니다.

B. KL-정규화 벨만 타겟

Q-함수가 분포 밖 (OOD) 이나 안전하지 않은 행동에 높은 값을 할당하는 것을 방지하기 위해, 저자들은 표준 벨만 타겟을 수정합니다. Soft Q-Learning 의 균일한 사전 확률이나 max 연산자를 사용하는 대신, Q-함수를 행동 정책 $\pi_b$와 정렬시키는 KL-발산 정규화 항을 도입합니다.

이산 행동에 대한 안전 타겟 값 $y_k^{safe}$는 다음과 같이 정의됩니다:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
여기서:

• $\tilde{\pi}_b$는 엄격히 양의 확률을 보장하기 위해 평활화된 행동 정책 버전입니다.
• $\lambda$는 온도 파라미터입니다.
• 이 공식은 안전 행동 분포에서의 편차를 효과적으로 페널티화하여, Q-함수가 안전 행동의 지지대 내에 머무르도록 보장합니다.

이론적 보장: 저자들은 결과적으로 생성된 벨만 연산자가 축소 사상 (contraction mapping) 임을 증명하여 고유 고정점($Q^*_\lambda$) 을 보장합니다. 이 Q-함수에 의해 유도된 최적 정책은 행동 정책에 대한 KL-정규화 소프트맥스입니다:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. 정책 추출

• 이산 행동 공간: 최적 정책은 위의 폐쇄형 소프트맥스 표현식을 사용하여 직접 유도됩니다.
• 연속 행동 공간: 분모의 적분이 계산 불가능하므로, 저자들은 가우시안으로 파라미터화된 대리 정책($\pi_\phi$) 을 제안합니다. 이 대리 정책은 몬테카를로 샘플링을 사용하여 기대값을 근사함으로써, 이론적 최적 정책과의 KL 발산을 최소화하도록 학습됩니다.

이 프레임워크는 통합되어 있으며, 온라인 및 오프라인 설정뿐만 아니라 이산 및 연속 행동 공간 모두에 적용 가능합니다.

3. 주요 기여

1. 엄격한 안전 보장: 위험을 제한하는 기존 Safe RL 방법들과 달리, 이 접근법은 궤적 지지대 수준에서 안전을 강제하여 학습 중 안전하지 않은 상태가 방문되지 않도록 보장합니다.
2. KL-정규화 Q-학습: 표준 엔트로피 정규화를 대체하여 KL 발산을 통해 Q-함수를 안전 행동 정책의 지지대로 제한하는 새로운 벨만 타겟을 도입했습니다.
3. 2 단계 프레임워크: Q-함수 학습과 정책 추출을 분리하여, 행동 정책이 최적은 아니지만 안전할 때에도 안정적인 학습을 가능하게 합니다.
4. 통합 변형: 이 방법은 다양한 시나리오 (이산/연속 행동, 수동 제작/데이터셋 기반 행동 정책) 에 적용 가능한 단일 프레임워크를 제공합니다.

4. 실험 결과

저자들은 FrozenLake 및 CartPole 환경에서 이 방법을 평가하였으며, 표준 Q-학습 및 최첨단 베이스라인 (CQL, BCQ, IQL, TD3+BC, BEAR) 과 비교했습니다.

• 안정성 및 수렴: 제안된 방법은 특히 다른 방법들이 효과적인 정책을 학습하지 못했던 이산 설정에서 베이스라인보다 빠른 수렴과 낮은 분산을 보여주었습니다.
• 값 보정: 제안된 방법으로 학습된 Q-값은 잘 보정되어 몬테카를로 반환값과 밀접하게 일치했습니다. 반면, 베이스라인들은 값 붕괴, 과대평가 (대각선 위의 발산), 또는 과도한 보수주의와 같은 문제를 보였습니다.
• 안전성 대 성능:
  • CartPole 환경에서 제안된 방법은 동등한 반환 수준에서 베이스라인보다 더 안전한 행동(더 낮은 최대 폴 각도) 을 달성했습니다.
  • 일부 베이스라인은 높은 반환을 달성했지만, 종종 더 높은 분산이나 안전하지 않은 궤적과 함께 달성했습니다.
  • 이 방법은 트레이드오프를 보여주었습니다: 행동 정책이 불완전한 경우 (예: 매우 제한된 설정에서) 성능은 제한되었지만, 안전성은 엄격하게 유지되었습니다.

5. 의의

이 연구는 위험 완화(일부 안전하지 않은 탐색 허용) 에서 위험 제거(안전하지 않은 탐색 엄격 금지) 로의 Safe RL 의 중요한 전환을 나타냅니다. 안전 집합에서 지지되는 행동 정책을 활용하고 Q-학습 목적 함수를 정규화함으로써, 이 방법은 로봇공학, 자율 주행과 같이 단일 안전 위반도 용납되지 않는 고위험 환경에서 최적 정책을 학습할 수 있는 원칙적인 방법을 제공합니다. 고유 고정점에 대한 이론적 보장과 잘 보정된 값 추정을 유지하는 실용적 성공은 이 방법을 안전-중요 응용 분야에 대한 강력한 프레임워크로 만듭니다.