기술 요약: 부분 관측성 하의 안전-중요 제어 를 위한 행동 조건부 위험 게이트

1. 문제 제기

많은 실제 제어 문제는 안전-중요 (safety-critical) 이면서 동시에 부분 관측성 (POMDP) 을 가집니다. 이러한 환경에서 에이전트는 불완전한 관측 (예: 노이즈가 있는 센서, 숨겨진 환경 역학) 을 기반으로 의사결정을 내려야 하며, 동시에 과업 수행과 드물지만 치명적인 실패의 위험 사이에서 균형을 맞춰야 합니다. 대표적인 예로는 식사 흡수와 인슐린 역학이 잠재 변수인 자동 혈당 조절, 그리고 잠재적 교란으로 인해 겉보기에 안전한 행동이 위험해질 수 있는 안전 제약 내비게이션 등이 있습니다.

부분 관측 마르코프 의사결정 과정 (POMDP) 프레임워크는 잠재 변수에 대한 믿음 상태 (belief state) 를 유지함으로써 원칙적인 접근 방식을 제공하지만, 안전-중요 영역에서의 배포에는 상당한 도전 과제가 존재합니다:

• 계산 비용: 연속적이고 고차원적인 환경에서 온라인 믿음 공간 계획은 종종 계산적으로 불가능합니다.
• 모델 의존성: 정확한 믿음 업데이트는 정밀한 전이 및 관측 모델을 필요로 하는데, 이는 자주 구할 수 없습니다.
• 정보 과부하: 안전 의사결정이 단기 제약에 의해 지배되는 제어기의 경우, 전체 믿음 상태가 필요한 것보다 더 많은 정보를 포함할 수 있습니다.

이 논문은 이러한 작업의 경우 명시적으로 전체 잠재 상태 믿음을 유지하는 것이 불필요할 수 있다고 주장합니다. 대신, 핵심적인 의사결정 질문은 종종 더 좁아집니다: "후보 행동이 단기 안전 위반을 초래할 가능성이 있습니까?"

2. 방법론: 행동 조건부 위험 게이트

저자들은 명시적인 믿음 업데이트를 피하는 경량 위험 게이트 강화학습 (RL) 프레임워크를 제안합니다. 이 방법은 두 가지 핵심 구성 요소에 의존합니다: 압축된 역사 의존적 프록시 상태와 단기 위험에 대한 행동 조건부 예측기입니다.

2.1 프록시 상태 구성

믿음 상태 $b_t = P(s_t | H_t)$를 유지하는 대신, 제어기는 최근 $W$단계의 역사를 프록시 상태 $o_t$로 압축합니다:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
여기서 $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$는 최근 관측과 행동의 윈도우를 나타냅니다. 이 프록시는 위험 예측과 가치 학습 모두에 대한 입력으로 사용됩니다.

2.2 행동 조건부 위험 예측

각 후보 행동 $a \in \mathcal{A}$에 대해, 제어기는 단기 내 안전 위반 확률을 추정하는 예측기 $\hat{\rho}(o_t, a)$를 학습합니다:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
중요하게도, 이 위험은 각 후보 행동에 대해 별도로 계산됩니다. 이를 통해 제어기는 동일한 부분 관측 하에서도 단기 위험을 유발하는 행동과 안전할 가능성이 높은 행동을 구별할 수 있습니다.

2.3 위험 게이트 가치 추정

이 프레임워크는 낙관적 ($Q^+$) 과 보수적 ($Q^-$) 가치 추정을 제공하는 $M$개의 비평가 (critics) 앙상블 $\{Q_m(o, a)\}$을 활용합니다. 예측된 위험 $\hat{\rho}$는 이러한 추정치 사이를 보간하여 위험 인식 가치 함수 $Q_{gate}$를 생성하는 데 사용됩니다:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• 낮은 위험: $\hat{\rho}$가 작을 때, $Q_{gate}$는 $Q^+$에 가까워져 보상 추구 행동을 장려합니다.
• 높은 위험: $\hat{\rho}$가 클 때, $Q_{gate}$는 $Q^-$ 쪽으로 이동하여 불확실하거나 잠재적으로 안전하지 않은 반환을 가진 행동을 억제합니다.

2.4 정책 선택 및 학습

의사결정 시점에, 제어기는 사용자가 지정한 위험 임계값 $R_{max}$에 기반한 **강한 허용성 필터 (hard admissibility filter)**를 적용합니다:

1. 안전한 행동 집합 구성: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. $A_{safe}$가 비어있지 않으면, $Q_{gate}$를 최대화하는 행동을 선택합니다.
3. $A_{safe}$가 비어있으면, 예측 위험이 최소인 행동으로 대체합니다.

학습 중에는 위험 예측기와 비평가 앙상블이 공동으로 업데이트됩니다. 비평가에 대한 보상 신호는 위험 패널티를 포함하도록 조정됩니다 ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), 이를 통해 가치 함수가 과업 수행과 안전 부담을 모두 반영하도록 합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 새로운 프레임워크: 명시적 믿음 업데이트를 압축된 역사 의존적 프록시 상태와 행동 조건부 단기 위험 추정치로 대체하는 POMDP 를 위한 안전-중요 제어 프레임워크.
2. 위험 게이트 행동 평가: 예측된 위험을 사용하여 낙관적 및 보수적 앙상블 가치 추정치 사이를 보간하는 의사결정 시 규칙으로, 제어기가 각 후보 행동의 특정 위험에 기반하여 보수성을 동적으로 조정할 수 있게 함.
3. 실증적 검증: 혈당 조절 및 내비게이션이라는 두 가지 서로 다른 영역에서 이 설계가 믿음 기반 계획 및 표준 안전-RL 베이스라인과 비교하여 과업 수행, 안전, 계산 효율성 사이에서 유리한 균형을 달성함을 입증.

4. 실험 결과

이 방법은 두 가지 안전-중요 부분 관측 영역에서 평가되었습니다:

4.1 자동 혈당 조절 (UVa/Padova 시뮬레이터)

• 설정: 식사 흡수 및 인슐린 역학에 대한 부분 관측성을 가진 성인 및 청소년 코호트에서 테스트.
• 성능: 제안된 방법 (RiskGated) 은 두 코호트 모두에서 가장 높은 **범위 내 체류 시간 (TIR)**을 달성했습니다 (성인 82.0%, 청소년 71.6%). PPO, Safe-PPO, POMDP 베이스라인을 능가했습니다.
• 안전성: 저혈당 및 고혈당 지표를 경쟁력 있게 유지하며, 다른 방법들에서 관찰되는 트레이드오프 (예: Safe-PPO 는 저혈당을 줄이지만 고혈당을 증가시킴) 를 피했습니다.
• 효율성: POMDP 계획에 비해 계산 실행 시간을 획기적으로 단축했습니다 (예: 성인 기준 총 실행 시간을 약 1351 초에서 약 144 초로 감소). 또한 단계당 지연 시간을 약 62ms 에서 약 4.4ms 로 줄였습니다.

4.2 Safety-Gym 내비게이션

• 설정: SafetyPointGoal1 및 SafetyPointCircle1 벤치마크에서 평가.
• 성능: RiskGated 는 모든 방법 중 최고의 비용 대비 보상 비율을 달성했습니다.
• 트레이드오프: 제약이 없는 PPO 에 비해 평균 안전 비용을 크게 줄였습니다 (Goal1 에서 36.93 대 109.87). 동시에 유의미한 보상을 유지하여 일부 제약 안전-RL 방법에서 관찰된 "보상 붕괴"를 피했습니다.

4.3 제거 실험 및 분석

• 위험 예측: 학습된 예측기는 실현된 사후 위험과 높은 정합성을 보였습니다 (상관관계 0.9982) 임계값 초과에 대한 동의율도 높았습니다 (98.12%).
• 민감도: 이 방법은 프록시 윈도우 길이 ($W$) 및 앙상블 크기 ($M$) 의 변화에 걸쳐 안정적이었습니다. 위험 임계값 ($R_{max}$) 은 안전 - 성능 트레이드오프를 조절하는 튜닝 가능한 노브 역할을 했습니다.

5. 중요성 및 주장

이 논문은 전체 믿음 공간 계획이 비현실적일 때 행동 조건부 단기 위험이 근사적 위험 민감 제어에 대한 효과적인 국부 신호로 작용할 수 있다고 주장합니다.

• 실용적 대안: 이 접근법은 계산 비용이 많이 들고 모델에 의존하는 고전적 POMDP 계획과 종종 완전 상태 관측성을 가정하는 표준 안전 RL 사이의 "경량 중간 지대"를 제공합니다.
• 의사결정 지향적 근사: 잠재 상태에 대한 전체 사후 분포를 재구성하려 시도하는 대신, 이 방법은 즉각적인 안전과 관련된 특정 양, 즉 특정 행동에 대한 단기 위반 확률에 초점을 맞춥니다.
• 확장성: 재귀적 믿음 업데이트를 피함으로써, 이 방법은 믿음 공간 계획이 계산적으로 불가능한 영역으로 확장되지만, 위험 게이트 필터링 메커니즘을 통해 안전 보장을 제공합니다.

저자들은 프록시 표현과 위험 특징이 여전히 부분적으로 도메인 특정적이지만, 이 프레임워크는 제어기가 최근 역사로부터 행동 조건부 단기 위험을 정확하게 추정할 수 있다면 효과적인 안전-중요 제어를 위해 명시적 믿음 유지가 반드시 필요하지 않음을 입증했다고 결론지었습니다.