기술 요약: 안전한 강화 학습을 위한 강건한 차폐(Robust Shielding)

문제 정의

마르코프 결정 과정(MDP)으로 모델링된 미지의 환경에서 작동하는 강화 학습(RL) 에이전트는 심각한 안전성 문제에 직면한다. 표준 알고리즘은 행동을 제한 없이 탐색하므로, 잠재적으로 해로운 행동을 필연적으로 선택하게 된다. 행동을 제한함으로써 안전성을 공식적으로 보장하는 "차폐(shielding)" 메커니즘이 존재하지만, 기존 기술들은 일반적으로 안전과 관련된 전이 역학(transition dynamics)에 대한 정확한 지식을 요구한다. 실제 강화 학습 시나리오에서 이러한 역학은 알려져 있지 않다.

미지의 역학을 다루는 현재의 접근 방식들은 대개 전이 확률의 점 추정치(예: 최대 가능도 추정, MLE)를 학습하는 데 의존한다. 그러나 이는 통계적 오류를 유발하여 공식적인 안전 보장을 저해한다. 대안적으로, 전이 확률에 대한 불확실성 집합(예: 아마도 대략적인 정확성(PAC) 경계 사용)을 학습하는 것은 실행 가능한 전략이지만, 기존의 차폐 프레임워크는 정확한 확률을 가진 모델을 위해 설계되었기 때문에 이러한 집합들과 호환되지 않는다. 본 논문은 강건한 MDP(RMDP)를 활용하여 미지의 MDP에서 작동하는 RL 에이전트를 위한 안전을 보장하는 차폐 프레임워크를 제공함으로써 이 간극을 해결한다.

방법론

저자들은 전이 확률이 단일 값이 아닌 집합(불확실성 집합)으로 표현되는 RMDP를 위한 새로운 차폐 프레임워크를 제안한다. 방법론은 두 가지 주요 단계로 진행된다:

1. RMDP를 위한 공식 프레임워크

본 논문은 RMDP를 에이전트(행동 선택)와 적대자(불확실성 집합으로부터 전이 확률 선택) 사이의 게임으로 정의한다. 안전성은 선형 시제 논리(LTL) 공식, 특히 "나쁜 접두사(bad prefix)"가 위반으로 이어지는 안전 파편(safety fragments)에 초점을 맞추어 정의된다.

• 차폐 정의: 차폐는 제어 가능한 모니터 $D$(보조 행동이 추가된 표준 모니터 확장)와 관측 상태 및 모니터 상태를 허용된 행동 확률 분포 집합으로 매핑하는 $\Gamma$의 쌍 $(D, \Gamma)$로 정의된다.
• 구성: 차폐는 RMDP의 유한 안전 추상화 상에서 구성된다. 이는 "나쁜" 상태(LTL 공식을 위반하는 상태)에 도달할 확률에 대한 강건한 상한 역할을 하는 귀납적 가치 함수 $\beta$를 활용한다. 차폐는 최악의 경우 기대되는 다음 "위반 예산(violation budget)"이 현재 예산 범위 내에 머무는 행동들로 에이전트를 제한한다.
• 이론적 보장: 저자들은 주어진 RMDK에 대해 구축된 차폐가 다음과 같음을 증명한다:
  • 건전성(Soundness): 차폐에 의해 허용되는 모든 정책은 최악의 적대자 하에서도 안전 사양을 만족한다.
  • 최적성(근사적): RMDP의 모든 안전한 정책은 차폐에 의해 허용된다(가치 함수의 근사화에 따른 $\epsilon$ 오차 범위 내에서). 만약 가치 함수가 정확하다면, 차폐는 정확히 최적이다.

2. 학습을 통한 미지 MDP의 차폐

이 프레임워크는 샘플링된 전이를 사용하여 전이 확률을 학습하는 과정을 통해 미지의 MDP를 위해 구체화된다:

1. RMDP 학습: Clopper-Pearson 신뢰 구간을 사용하여 샘ple로부터 전이 확률을 학습하고 PAC 불확실성 집합을 구축한다. 이는 실제 MDP $M$을 높은 신뢰도($1-\delta$)로 "포함"하는 학습된 RMDP $\hat{M}$을 생성한다.
2. 차폐 합성: 위에서 설명한 강건한 가치 반복법을 사용하여 학습된 RMDP $\hat{M}$ 상에서 차폐를 계산한다.
3. 배포: 구축된 차폐를 실제(미지의) MDP에 배포한다. 에이전트는 환경과 상호작용하지만, 그 행동 선택은 $\hat{M}$으로부터 유도된 차폐에 의해 제약된다.

본 논문은 학습된 RMDP가 높은 신뢰도로 실제 MDP를 포함한다면, RMDP 상에서 구축된 차폐가 동일한 신뢰도로 실제 MDP에 대한 안전을 보장함을 입증한다. 또한, 샘플 수가 증가함에 따라 불확실성 집합이 좁아지고, 차폐의 보수성이 감소하여 에이전트가 실제 MDP의 최적 보수에 접근할 수 있게 된다.

핵심 기여

1. RMDP를 위한 새로운 차폐 프레임워크: 본 논문은 정확한 역학을 요구하는 기존 방식의 한계를 해결하며, RMDP(전이 확률 집합을 가진 MDP)를 위해 특별히 설계된 최초의 차폐 프레임워크를 도입한다.
2. 건전성 및 최적성 증명: 저자들은 자신들의 차폐가 RMDP에 대해 건전하며(최악의 역학 하에서도 안전을 보장), 근사적으로 최적임(높은 보상을 허용함)을 보여주는 엄격한 증명을 제공한다.
3. PAC 학습과의 통합: 이 연구는 강건한 차폐와 기존의 샘플링 방법을 결래하여 PAC 보장과 함께 전이 확률을 학습한다. 이를 통해 높은 신뢰도의 안전 보장을 제공하는 미지 MDP용 차폐 구축을 가능하게 한다.
4. 경험적 검증: 제안된 방법은 정확한 MDP 및 최대 가능도 추정(MLE)을 사용하는 베이스라인과 비교하여 여러 환경(Media Streaming, Color Bomb Gridworld, Pacman)에서 평가된다.

결과

실험 결과는 데이터 가용성과 차폐의 보수성 사이의 트레이드오프를 보여준다:

• 안전 보장: 제안된 강건한 차폐(Kno 및 Unk 설정)는 다양한 샘플 크기에 걸쳐 요구되는 안전 사양 확률($1-p$)을 일관되게 만족하는 반면, MLE 기반 차폐는 특히 샘플 크기가 작거나 중간 정도일 때 안전 임계값을 자주 위반한다.
• 성능 회복: 샘플 수가 증가함에 따라 학습된 RMDP의 불확실성 집합이 좁아진다. 결과적으로 강건한 차폐는 덜 제한적이 되며, 보호된 에이전트의 기대 수익은 MDP에 대한 완전한 지식을 가진 에이전트의 성능(MDP 베이스라인)으로 수렴한다.
• 알려지지 않은 그래프 처리: 프레드워크는 최소 전이 확률이 가정된다면 MDP 그래프 구조를 모르는 경우(Unk 설정)도 성공적으로 처리하지만, 그래프 구조를 신뢰성 있게 학습하기 위해서는 더 높은 최소 샘플 크기가 필요하다.

의의 및 주장

본 논문은 전이 역학이 미지인 상황에서 강화 학습의 안전한 탐색 문제를 해결하기 위한 공식적인 솔루션을 제공한다고 주장한다. 점 추정치에서 불확실성 집합(RMDP)으로 전환함으로써, 저자들은 완벽한 환경 지식 없이도 공식적이고 높은 신뢰도의 안전 보장을 제공하는 차폐를 구축할 수 있다고 주장한다.

그 의의는 형식적 방법론(일반적으로 알려진 모델을 가정함)과 데이터 기반 강화 학습(미지의 모델에서 작동함) 사이의 간극을 메우는 데 있다. 저자들은 강건한 방법이 데이터가 제한적일 때는 보수적일 수 있지만, 이러한 보수성은 안전을 보장하기 위한 필수적인 트레이드오프임을 강조한다. 데이터가 축적됨에 따라 방법론은 자연스럽게 완화되어, 에이전트가 안전을 유지하면서도 강력한 기대 수익을 달 Achieve 할 수 있게 한다. 이는 점 추정치를 사용하는 최신 기법들과 대조되며, 해당 논문은 이러한 기법들이 모델되지 않은 통계적 불확실성으로 인해 불안전한 행동을 초래할 수 있음을 입증한다.

이 연구는 모델 불확실성이 내재된 안전 필수 시나리오에서 "안전한 자율성"을 향한 단계로 자리매김하며, 휴리스틱한 안전 제약이나 유한 샘플 보장이 없는 방법론에 대한 이론적으로 근거 있는 대안을 제시한다.