🤖 machine learning

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

본 논문은 초기에 미지의 MDP로부터 전이 확률이 추정됨에 따라 안전 제약 조건을 동적으로 계산하고 업데이트하기 위해 온라인 모델 학습을 통합하는, 안전한 강화 학습을 위한 적응형 확률적 차폐 프레임워크를 제안한다.

원저자: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand Larsen (Aalborg University, Aalborg, Denmark), Christian Schilling (Aalborg University, Aalborg, Denmark)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 기계는 마치 아이가 넘어지고 다시 일어서며 걷는 법을 배우는 것처럼, 여러 가지 시도를 통해 의사결정을 내리는 법을 배웁니다. 강화 학습이라고 알려진 이 과정은 소프트웨어 에이전트가 환경과 상호작용하며 좋은 선택에 대해 보상을 받음으로써 문제를 해결하는 최선의 방법을 발견할 수 있게 해줍니다. 하지만 현실 세계에서는 잘못된 발걸음의 대가가 치명적일 수 있습니다. 자율주행 자동차는 어떤 기동이 효과적인지 확인하기 위해 위험한 실험을 할 여유가 없으며, 의료 로봇은 가장 안전한 경로를 파악하는 동안 환자에게 해를 끼칠 위험을 감수해서는 안 됩니다. 이는 근본적인 긴장 상태를 만듭니다. 즉, 에이전트가 효과적으로 배우기 위해서는 탐색을 해야 하지만, 안전을 유지하기 위해서는 미지의 영역을 피해야 한다는 것입니다. 수년 동안 연구자들은 에이전트가 취할 수 있는 행동 중 재앙으로 이어질 수 있는 모든 행동을 차단하는 안전 가드인 '방패(shield)'를 구축함으로써 이 문제를 해결하려 노력해 왔습니다. 문제는 전통적인 방패가 모든 가능한 결과에 대한 정확한 확률을 포함하여, 세상에 대한 완벽하고 기존에 존재하는 지도를 필요로 한다는 점입니다. 복잡한 현실 세계에서, 에이전트가 학습을 시작하기 전에 그러한 완벽한 지도가 존재하는 경우는 매우 드뭅니다.

한 연구팀은 이 딜레마를 다루는 새로운 방법을 개발하여, 안전 방패가 에이전트와 함께 학습하고 적응하는 시스템을 만들었습니다. 완벽한 지도를 기다리는 대신, 이들의 접근 방식은 에이전트가 환경의 일반적인 구조(갈 수 있는 장소와 취할 수 있는 행동)는 알고 있지만, 그 행동들이 어디로 이어질지에 대한 정확한 확률은 모른다고 가정합니다. 에이전트가 탐색함에 따라, 실제로 움직였을 때 어떤 일이 발생하는지에 대한 데이터를 수집합니다. 그러면 컴퓨터 프로그램이 이 신선한 데이터를 사용하여 세상의 규칙에 대한 추정치를 구축하고, 누락된 확률을 채워 넣습니다. 이 추정치를 바탕으로 시스템은 안전 방패를 구성합니다. 초기에는 데이터가 부족하기 때문에 방패는 매우 조심스럽게 행동하며, 확실히 하기 위해 많은 행동을 차단합니다. 하지만 에이전트가 더 많은 경험을 쌓을수록 추정치는 더 정교해지고 불확실성은 줄어들며, 방패는 그 통제를 완화하여 에이전트가 더 효율적인 위험을 감수할 수 있도록 허용합니다. 이는 에이전트와 안전 가드가 함께 발전하는 파트너십을 형성하여, 에이전트가 효과적으로 학습하는 동안에도 안전을 유지하도록 보장합니다.

연구진은 이 아이디어를 항공기가 다른 비행기와의 충돌을 피하는 상황부터 개미가 포식자를 피해 항해하는 상황에 이르기까지 여러 시뮬레이션 세계에서 테스트했습니다. 이러한 환경에서 에이전트는 미끄러지거나 실패할 정확한 확률이 숨겨져 있는 상태에서도 특정 위험 요소를 피하며 목표에 도달해야 했습니다. 그들은 이 적응형 방식을 두 가지 다른 접근 방식, 즉 안전 가드가 전혀 없는 에이전트와 세상에 대한 완전한 지도를 바탕으로 한 완벽한 방패를 가진 에이전트와 비교했습니다. 결과는 적응형 방식이 매우 성공적임을 보여주었습니다. 이 방식은 완벽한 방패만큼이나 안전한 정책을 학습하는 동시에, 가드가 없는 에이전트에게서 발생했던 빈번하고 위험한 충돌을 피했습니다. 어떤 경우에는 적응형 시스템이 완벽한 방패보다 더 나은 경로를 찾아내기도 했는데, 이는 초기의 신중한 탐색이 정적인, 사전 계산된 방패가 놓쳤던 수익성 있는 경로를 발견하게 했기 때문입니다.

핵적인 발견 중 하나는 새로운 데이터가 들어올 때마다 안전 방패를 정기적으로 업데이트할 때 시스템이 가장 잘 작동한다는 점이었습니다. 만약 방패가 너무 드물게 업데이트되면, 에이전트는 자신이 얻은 지식을 활용하지 못한 채 과도한 주의 상태에 갇히게 됩니다. 반대로 너무 자주 업데이트하면, 시스템은 학습하는 데 시간을 쓰기보다 안전을 재계산하는 데 너무 많은 시간을 소비하게 됩니다. 연구진은 1,000번의 학습 에피소드마다 방패를 업데이트하는 균형점을 찾아냈고, 이를 통해 에이전트가 진행을 멈추지 않으면서도 세상에 대한 이해를 정교화할 수 있었습니다. 또한 그들은 확률을 추정하는 방식이 중요하다는 것을 발견했습니다. 알려지지 않은 데이터에 대해 최악의 시나리오를 가정하는 방식은 지나치게 제한적인 경향이 있는 반면, 약간 더 낙관적인 방식은 에이전트가 더 자유롭게 탐색할 수 있게 합니다. 가장 효과적인 접근 방식은 안전을 유지하면서도 데이터가 아직 완벽하지 않다는 이유만으로 잠재적으로 유용한 행동을 차단하지 않는 균형 잡힌 전략을 사용했습니다.

연구는 또한 에이전트가 탐색하는 방식에 관한 미묘하지만 중요한 세부 사항을 강조했습니다. 에이전트가 새로운 것을 배우기 위해 무작위 행동을 시도하기로 결정할 때, 시스템은 현재의 방패가 위험하다고 간주하는 행동을 포함하여 가능한 모든 행동 중에서 선택할 수 있도록 허용합니다. 이것은 직관에 어긋나 보일 수 있지만, 에이전트가 세상의 작고 안전한 구석에 갇히는 것을 방지합니다. 가끔씩 미지의 경계를 넘나듦으로써, 에이전트는 그 한계를 안전하게 확장할 수 있음을 증명하는 데 필요한 바로 그 데이터를 수집하게 됩니다. 미지의 가장자리를 탐색할 자유가 없다면, 방패는 덜 보수적으로 변하는 법을 결코 배울 수 없을 것입니다. 연구진은 복잡한 환경에서 이러한 계산된 위험을 감수하려는 의지가 최선의 경로를 찾는 데 필수적임을 관찰했습니다.

궁극적으로 이 연구는 안전과 학습이 서로 적이 될 수 없음을 보여줍니다. 안전 방패를 고정된 벽이 아니라 에이전트의 경험과 함께 진화하는 살아있는 가이드로 취급함으로써, 사전에 완벽한 지도가 없더라도 위험한 환경을 항해하는 것이 가능합니다. 이 시스템은 에이전트의 이해가 깊어짐에 따라 안전 메커니즘이 유연하게 성장할 수 있다면, 에이전트가 안전하면서도 숙련될 수 있음을 입증했습니다. 이 접근 방식은 세상의 규칙이 완전히 알려지지 않은 실제 시나리오에서 지능형 시스템을 배치하기 위한 실질적인 길을 제시하며, 숙련을 향한 여정이 안전을 희생시키지 않도록 보장합니다.

기술 요약: 안전한 강화 학습을 위한 MDP 학습 기반의 적응형 확률적 실딩 (Adaptive Probabilistic Shielding)

문제 정의

안전한 강화 학습(Safe Reinforcement Learning, RL)은 종종 에이전트의 행동을 제약하여 안전 제약 조건이 충족되도록 보장하는 기법인 **확률적 실딩(probabilistic shielding)**에 의존합니다. 전통적으로 이 실드는 완전히 명시된 마르코프 결정 과정(MDP) 모델로부터 계산됩니다. 그러나 일반적인 RL 응용 분야에서는 환경의 전이 확률(transition probabilities)을 알 수 없는 경우가 많으며, 이는 표준적인 실딩 기법을 적용할 수 없게 만듭니다.

이러-간의 간극을 메우기 위한 기존 방식들은 대개 두 단계의 과정을 거칩니다. 먼저 (종종 안전하지 않은 방식으로) 데이터를 수집하여 완전한 MDP 모델을 학습시킨 다음, 실드를 계산하는 것입니다. 이는 안전이 필수적인 실제 환경에서, 데이터 수집 단계 동안에도 안전성을 유지해야 하는 상황에는 부적합합니다.

본 논문은 MDP 토폴로지(상태-행동 그래프)는 알려져 있지만 전이 확률은 알려지지 않은 설정에서의 안전한 RL 문제를 다룹니다. 목표는 전이 역학에 대한 사전 지식 없이도 안전 제약 조건을 준수하면서 보상을 최대화하는 정책을 학습하는 것입니다. 저자들은 안전 위반을 완전히 피할 수는 없을지라도, 본 접근 방식이 단순히 제로(0)의 위반을 보장하는 것이 아니라, 탐사(exploration) 및 모델 학습 단계 동안 위반을 최소화하는 데 큰 비중을 두고 있음을 명시합니다.

방법론

저자들은 모델 추정, 실드 합성, 그리고 정책 학습을 단일 온라인 루프로 통합하는 적응형 확률적 실딩(Adaptive Probabilistic-Shielding) 패러다임을 제안합니다.

1. 핵심 아키텍처

이 접근 방식은 알려진 기저 전이 구조(미지의 MDP 또는 uMDP, $M_U$ )를 가진 미지의 MDP( $M$ ) 상에서 작동합니다. 시스템은 세 가지 상호작용하는 구성 요소로 이루어집니다:

RL 에이전트: 정책 $\pi$ 를 학습하기 위해 Q-러닝을 사용합니다.
모델 추정기 (Model Estimator): 관측된 전이 $(s, a, s')$ 를 바탕으로 전이 확률에 대한 추정치를 지속적으로 업데이트합니다.
적응형 실드 (Adaptive Shield): 현재 모델 추정치를 바탕으로 에이전트의 행동을 제한하는 런타임 모니터 $\nabla$ 입니다.

2. 모델 추정 및 구간 MDP (iMDPs)

정확한 확률은 알 수 없으므로, 시스템은 수집된 데이터를 바탕으로 **구간 MDP (Interval MDPs, iMDPs)**를 구축합니다. iMDP는 점 추정치 대신 전이 확률에 대한 상한(upper bound)과 하한(lower bound)를 정의합니다. 논문은 세 가지 특정 추정기를 평가합니다:

MAP (Maximum A-Posteriori): 가산 평활화(additive smoothing)를 적용한 점 추정치를 생성합니다.
PAC (Probably Approximately Correct): 높은 확률로 실제 MDP가 추정된 구간 내에 존재함을 보장하기 위해 호프딩 부등식(Hoeffding's inequality)을 사용하여 확률적 구간을 생성합니다.
LUI (Linearly Updating Intervals): 엄격한 PAC 보장은 없으나 수렴 특성을 가진, 관측된 빈도와 사전 강도(prior strength)를 바탕으로 확률 구간을 반복적으로 업데이트합니다.

3. 실드 합성

추정된 iMDP를 사용하여 확률적 모델 체커인 PRISM을 통해 실드를 합성합니다. 실드는 주어진 호라이즌(horizon) $h$ 에 대해, 위험 상태에 도달할 확률이 임계값 $\theta$ 미만이 되도록 보장합니다.

강건한(비관적) 실드 (Robust/Pessimistic Shield): 구간 내의 최악의 전이 확률을 가정합니다(안전 확률을 최소화). 이는 보수적이지만 추정 오류에 대해 안전합니다.
낙관적 실드 (Optimistic Shield): 최선의 전이 확률을 가정하여(안전 확률을 최대화), 더 많은 탐사를 허용합니다.
폴백 메커니즘 (Fallback Mechanism): 만약 어떤 행동도 엄격한 안전 임계값 $\theta$ 를 만족하지 못할 경우, 실드는 가장 안전한 행동에 $\kappa$ -근접한 행동을 허용하여 에이전트가 환경으로부터 완전히 차단되는 것을 방지합니다.

4. 적응형 루프 (알고리즘 1)

알고리즘은 에피소드 단위로 진행됩니다. 매 $u$ 에피소드(업데이트 지연 시간)마다 시스템은 다음을 수행합니다:

전이 데이터베이스 $D$ 를 집계합니다.
선택된 추정기를 사용하여 iMDP를 재추정합니다.
업데이트된 iMDP를 바탕으로 새로운 실드를 합성합니다.
새로운 실드 하에서 RL 에이전트 훈련을 계속합니다.

탐사 전략: 실드가 탐사를 억제하는 것(에이전트가 모델을 정교화하기 위한 데이터를 수집하지 못하게 되는 "보수적 함정")을 방지하기 위해, 저자들은 $\epsilon$ -greedy 전략을 확장합니다. 에이전트가 "탐사"를 선택할 때(확률 $\epsilon$ 으로), 실드의 제한을 무시하고 전체 행동 공간 $A$ 에서 무작위 행동을 선택합니다. 이를 통해 잠재적으로 안전하지만 아직 검증되지 않은 행동들이 테스트될 수 있도록 하여, 모델이 추정치를 정교화할 수 있게 합니다.

주요 기여

적응형 실딩 패러다임: 본 논문은 MDP 모델이 학습됨에 따라 온라인으로 확률적 실드를 계산하고 업데이트하는 방법을 도입하여, 전통적인 실딩이 완전한 모델을 필요로 한다는 한계를 해결했습니다.
추정과 안전의 통합: 모델 추정, 실드 업데이트, 정책 학습이 동시에 발생하는 통합 프레chen워크를 제안하여, 학습 초기 단계의 높은 불확실성 속에서도 안전 위반을 최소화하는 것을 목표로 합니다.
추정기 비교 평가: MAP, PAC, LUI 추정기를 종합적으로 비교하여, 각각의 특성(보수성, 수렴 속도, 데이터 요구량)이 안전성과 보상 사이의 트레이드오프에 미치는 영향을 분석했습니다.
설계 선택 사항 분석: 업데이트 빈도, Lookahead horizon ( $h$ ), 그리고 실드되지 않은 탐사가 학습 효율에 미치는 영향 등 핵심 하이퍼파라미터를 체계적으로 조사했습니다.

실험 결과

제안된 방식은 Aircraft, Antlion, Sinkholes, Crossroads, Gravity의 5가지 환경에서 평가되었습니다. 주요 결과는 다음과 같습니다:

안전성 vs 성능: 적응형 실딩 방식은 "오라클(oracle)" 베이스라인(실제 ground-truth MDP를 사용하는 방식)과 유사한 안전 수준을 달amat하며, 특히 Crossroads나 Gravity와 같은 고위험 환경에서 실드가 없는 RL보다 안전 위반 측면에서 월등히 뛰어난 성능을 보였습니다.
추정기의 영향:
- **강건한 추정기(PAC/LUI)**는 일반적으로 더 안전한 정책을 제공하지만, 초기 추정 범위가 너무 넓을 경우 지나치게 보수적이 되어 최적의 경로 발견을 방해할 수 있습니다.
- 낙관적 추정기는 더 많은 탐사를 허용하고 종종 더 높은 보상을 달성하지만, 추정치가 부정확할 경우 안전 위반의 위험이 높습니다.
- MAP 추정기는 불확실성 경계가 부족하여 탐사를 충분히 하지 못하고 지역 최적점(local optima)에 빠지는 경우가 많았습니다.
탐사 전략: 실드의 현재 허용 집합(UnifA) 외부에서 탐사를 허용하는 것이 매우 중요했습니다. 탐사를 실드 허용 행동(Unif $\nabla(s)$ )으로만 제한할 경우, 에이전트가 더 나은 경로를 발견하지 못하는 현상이 발생했습니다(특히 Antlion 및 Gravity 환경).
업데이트 빈도: 실드 업데이트 빈도( $u$ )는 성능에 큰 영향을 미칩니다. 너무 빈번한 업데이트는 학습을 불안정하게 만들 수 있고, 너무 드문 업데이트는 안전 보장의 정교화를 늦춥니다. 모든 환경에 최적화된 단일 업데이트 지연 시간은 존재하지 않았습니다.
Lookahead Horizon ( $h$ ): 더 긴 호라이즌은 복잡한 환경(Gravity 등)에서 안전성을 개선하는 데 도움이 되었으나, 짧은 호라이즌 작업(Aircraft 등)에서는 불필요했습니다.

의의 및 주장

본 논문은 적응형 확률적 실딩이 환경 모델이 부분적으로만 알려져 있고(토폴로지만 인지), 전이 확률을 온라인으로 학습해야 하는 시나리오에서 실질적인 해결책을 제공한다고 주장합니다.

저자들은 본 방식이 **탐사와 활용의 딜레마(exploration-exploitation dilemma)**와 안전 제약 조건 사이의 균형을 맞춘다는 점을 강조합니다. 모델이 개선됨에 따라 실드가 적응하도록 함으로써, 정적인(static) 실드가 에이전트가 환경의 실제 역학을 배우는 것을 방해하는 "보수적 함정"을 피할 수 있습니다. 이 연구는 모델이 완전히 학습된 후가 아니라, 학습 과정 자체 중에 안전 보장을 유지하고 안전 위반을 유의미하게 줄이는 것이 가능하다는 것을 입증하며, 이를 통해 기술의 실무 적용 가능성을 보여줍니다.

논문은 모델의 상태-행동 그래프가 알려져 있다는 가정, 안전 위반을 완전히 피할 수는 없다는 점, 그리고 환경 특성에 따라 추정기와 하이퍼파라미터의 세심한 튜닝이 필요하다는 점을 인정하며 신중한 태도를 유지하고 있습니다.