🤖 machine learning

Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

본 논문은 변분 오토인코더를 활용하여 상한 및 하한 경계 인증서를 이중으로 구축함으로써, 상태 공간 내의 비강건 영역에 학습을 집중시켜 안전 보장을 반복적으로 강화할 수 있는 위험 인지 강화 학습 프레임워크를 제안한다.

원저자: Mohit Prashant, Arvind Easwaran

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohit Prashant, Arvind Easwaran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 방을 가로질러 넘어지지 않고 걷는 법을 가르친다고 상상해 보세요. 당신은 로봇이 절대 걸려 넘어지지 않도록 확실히 하고 싶지만, 방 안에는 보이지 않는 까다로운 장애물들이 가득합니다. 이것이 바로 **강화 학습(Reinforcement Learning, RL)**의 과제입니다. 즉, AI 에이전트가 현실 세계에서 결정을 내리도록 가르치는 것입니다. 문제는 로봇이 이전에 본 적 없는 상황(예: 갑작스러운 돌풍이나 미끄러운 바닥)에 직면했을 때, 위험한 실수를 저지를 수 있다는 점입니다.

이 논문은 로봇을 안전하게 가르치기 위한 새로운 방법, 즉 **"조여지는 밧줄이 달린 안전 그물(Safety Net with a Tightening Rope)"**과 같은 방법을 제안합니다.

저자들의 방법이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. 문제점: "미지의" 영역 (The "Unknown" Zone)

로봇을 훈련할 때, 로봇은 시행착오를 통해 배웁니다. 때때로 로봇은 안전한 곳에 대해서는 너무 많이 배우고, 위험한 곳에 대해서는 충분히 배우지 못합니다.

문제: 우리는 로봇이 마주할 수 있는 모든 가능한 상황을 일일이 확인할 수 없습니다. 그래서 결국 "안전 보장"이 다소 모호해집니다. 이는 마치 "안전할 확률이 90%입니다"라고 말하지만, 그 숫자가 실제로 90%인지 99%인지 알 수 없는 것과 같습니다. "최선의 추측"과 "최악의 추측" 사이의 간극이 너무 넓습니다.

2. 해결책: 두 개의 보이지 않는 울타리

저자들은 수학을 사용하여 로봇의 안전 구역 주변에 두 개의 보이지 않는 울타리를 만듭니다.

안쪽 울타리 (하한선, Lower Bound): 이것은 매우 엄격하고 보수적인 울타리입니다. 로봇이 이 안에 있다면, 우리는 로봇이 안전하다고 매우 확신할 수 있습니다. 이는 로봇이 걱정 없이 놀 수 있는 "안전 지대"와 같습니다.
바깥쪽 울타리 (상한선, Upper Bound): 이것은 더 느슨한 울타리입니다. 안쪽 울타리에 약간의 영역이 더 추가된 형태입니다. 이는 "아마도 안전할 것 같은" 구역을 나타냅니다. 우리는 로봇이 여기서 아마 안전할 것이라고 생각하지만, 아직 100% 확신하지는 못합니다.

간극: 안쪽 울타리와 바깥쪽 울타리 사이의 공간은 **"회색 영역(Gray Area)"**입니다. 이곳은 로봇이 아마도 안전할 수 있지만, 우리가 충분히 테스트하지 못해 확신할 수 없는 곳입니다. 바로 여기에 불확실성이 존재합니다.

3. 마법의 도구: "꿈꾸는 기계" (VAE)

이를 해결하기 위해 저자들은 **변이형 오토인코더(Variational Autoencoder, VAE)**라는 특별한 AI 도구를 사용합니다. 이것을 **"꿈꾸는 기계(Dream Machine)"**라고 생각하면 됩니다.

로봇은 이미 돌아다니며 데이터(자신이 있었던 장소에 대한 기억)를 수집했습니다.
꿈꾸는 기계는 이 기억들을 살펴보고 세상의 "형태"를 학습합니다.
그런 다음, 로봇이 본 적은 없지만 본 것들과 매우 유사한 새로운 시나리오를 꿈꿔낼(생성할) 수 있습니다.

4. 전략: 표적 훈련 (Targeted Training)

로봇이 무작위로 돌아다니게 두는 대신(이는 느리고 비효율적입니다), 저자들은 꿈꾸는 기계를 사용하여 특정하여 회색 영역(두 울타리 사이의 공간)을 공략합니다.

그들은 꿈꾸는 기계에게 "안전" 구역의 바로 가장자리에 위치한 새로운 상황들을 만들어내라고 요청합니다.
그리고 로봇이 오직 이 특정한 까다로운 시나리오들에서만 연습하도록 강제합니다.
로봇이 이러한 에지 케이스(edge cases)를 다루는 법을 배우면서, "회색 영역"은 점점 줄어듭니다. 안쪽 울타리는 커지고, 바깥쪽 울타리는 좁아져서 결국 거의 맞닿게 됩니다.

5. 결과: 더 촘촘해진 안전 그물

이러한 특정하고 까다로운 시나리오에 집중함으로써, 저자들은 훨씬 더 높은 확신을 가지고 말할 수 있습니다. "우리는 로봇이 안전할 것이라고 99.9% 확신합니다"라고 말이죠. 단순히 "80% 정도 확신합니다"라고 하는 것보다 훨씬 강력합니다.

논문의 주장: 저자들은 표준 로봇 시뮬레이션(균형 잡는 막대기나 걷는 개미 등)을 통해 테스트했습니다. 그 결과, 그들의 방식이 무작위로 탐색하거나 무작위 노이즈를 추가하는 다른 방식들보다 안전 보장을 훨씬 더 "촘촘하게(tight)" 만든다는 것을 발견했습니다.
트레이드오프(Trade-off): 로봇은 다른 방식들과 똑같이 빠르게 학습하면서도, 현실 세계에서 실패하지 않을 것이라는 훨씬 더 강력한 보장을 얻었습니다.

요약 비유

당신이 운전 면허 시험을 준비하고 있다고 상상해 보세요.

기존 방식: 당신은 도시를 무작위로 돌아다니며, 보지 못한 포트홀(도로 파임)을 밟지 않기를 바랍니다. 당신은 "아마 안전할 것 같다"는 모호한 등급을 받으며 면허를 따게 됩니다.
이 논문의 방식: 당신에게는 과거의 운전 경험을 바탕으로 정확히 어디가 까다로운 지점인지 알고 있는 시뮬레이터가 있습니다. 이 시뮬레이터는 당신을 절벽의 바로 가장자리(하지만 절벽 아래로 떨어지지는 않는 곳)로 데려가는 특정한 드라이브 코스를 생성합니다. 당신은 오직 그 특정한 에지 케이스에서만 연습합니다. 이제, 당신의 면허증에는 다음과 같은 보증이 붙습니다. "우리는 당신이 가장 어려운 가장자리에서도 잘 해내는 것을 테스트했으며, 당신은 안전합니다."

결론적으로, 이 논문은 AI가 보지 못한 상황에서도 안전하게 행동할 것이라는 수학적으로 증명된 "촘촘한" 보장을 제공하며, 이는 지능적으로 그 특정한 에지 케이스들을 생성하고 연습함으로써 가능해진다고 설명합니다.

기술 요약: 아마도 근사적으로 안전한 보장을 위한 위험 인식 강화 학습용 시나리오 생성

문제 정의
심층 강화 학습(RL) 에이전트를 실제 환경에 배치하는 것은 안전성을 보장하기 어렵다는 문제, 특히 RL을 통해 학습된 정책이 새로운 시나리오에 일반화되지 못하거나 전이 섭동(transition perturbations)에 취약할 수 있다는 문제로 인해 저해됩니다. 전통적인 안전 검증 방법은 종종 시스템 전이 역학에 대한 정밀한 지식을 요구하는 모델 체킹(model-checking)에 의존하는데, 이는 복잡한 모델 프리(model-free) 환경에서는 실현 불가능한 요구사항인 경우가 많습니다. 최근의 접근 방식들은 안전 제약 조건 위반 확률( $\epsilon$ )을 신뢰 수준( $\delta$ ) 내에서 제한하기 위해 아마도 근사적으로 올바른(Probably Approximately Correct, PAC) 보장을 활용하지만, 이러한 경계값(bounds)은 종종 느슨합니다. 이러한 느슨함은 학습 중에 마주하는 상태 분포와 배포 시의 상태 분포 사이의 차이, 그리고 상태 공간의 불충분한 탐색에서 비롯됩니다. 결과적으로 위반 확률의 상한과 하한 사이의 간격( $|\epsilon_1 - \epsilon_2|$ )이 넓게 유지되어, 정책의 실제 안전성에 대한 정보 제공이 제한적입니다.

방법론
저자들은 보수적인 하한 안전 영역과 덜 보수적인 상한 안전 영역 사이에 위치하는 "잠정적으로 위험한(tentatively unsafe)" 상태들을 식별하고 이들을 대상으로 학습함으로써 확률적 안전 경계값을 조여주는 2단계 프레임워크를 제안합니다.

장벽 인증서(Barrier-Certificates)의 이중 최적화:
본 방법의 핵심은 안전 검증을 이중 찬스 제약 프로그래밍(Dual Chance-Constrained Program, CCP)으로 공식화하는 것입니다. 저자들은 두 가지 장벽 인증서를 구축합니다:
- 하한( $B_1$ ): 위반 확률이 $\epsilon_1$ 미만인 보수적인 추정 안전 영역.
- 상한( $B_2$ ): 위반 확률이 $\epsilon_2$ 미만인 덜 보수적인 추정 영역 ( $\epsilon_1 \leq \epsilon_2$ ).
  이 인증서들은 샘플링된 궤적을 사용하여 이후의 상태들에 대해 최소 장벽 점수를 최대화하도록 최적화되며, 이를 통해 특정 상태가 장벽 영역 내에 있다면 그 전이 또한 안전할 가능성이 높음을 보장합니다.
생성적 상태 표현 (VAE):
고차원 상태 공간을 처리하고 관련 시나리오를 생성하기 위해, 저자들은 마주한 상태 공간에 대해 변이형 오토인코더(VAE)를 학습시킵니다. 장벽 인증서들은 VAE의 잠재 공간(latent space)으로 매핑됩니다. 이를 통해 시스템은 상한 및 하한 영역의 차집합( $Z_{B2} \setminus Z_{B1}$ )을 식별할 수 있으며, 이는 알려진 안전 또는 위험 상태와 관측 가능한 유사성을 공유하면서도 잠정적으로 위험한 상태들을 나타냅니다.
2단계 학습 (시나리오 생성):
프레임워크는 정책의 강건성을 개선하기 위해 2단계 학습을 채택합니다. 무작위 탐색이나 epsilon-greedy 전략에 의존하는 대신, 이 방법은 두 장벽 인증서 사이의 간극에 존재하는 잠재 공간으로부터 상태를 샘플링하여 새로운 학습 시나리오를 생성합니다. 이렇게 생성된 상태들은 VAE를 통해 상태 공간으로 디코딩되어 새로운 학습 궤적을 초기화하는 데 사용됩니다. 이 과정은 특히 "비강건 영역(non-robust region)"을 타겟팅하여 위반 확률에 대한 경계값을 조여줍니다.

주요 기여

이중 CCP 공식화: 본 논문은 상한 및 하한 장벽 인증서를 모두 생성하는 이중 최적화 접근 방식을 도입하여, 단일 경계 방식보다 더 세밀한 정책 안전성 뷰를 제공합니다.
잠재 공간 장벽 매핑: 장벽 인증서를 VAE의 잠재 공간 내에 인코딩함으로써, 저자들은 안전 영역에 인접해 있으나 아직 완전히 검증되지 않은 상태를 식별하고 생성할 수 있게 하여 타겟팅된 탐색을 용이하게 합니다.
모델 불가지론적 강건성: 제안된 2단계 학습 방법은 명시적인 전이 역학 지식(model-free)이나 전문가의 가이드 없이도 정책 강건성을 개선할 수 있게 하며, 알려진 안전 영역과 위험 영역 사이의 간극을 메우기 위해 VAE의 생성적 특성을 활용합니다.
실증적 검증: 제안된 방법은 상한 및 하한 안전 영역 내의 상태를 생성하는 것이 epsilon-greedy나 섭동된 전이와 같은 표준 탐색 전략보다 안전 보장을 조이는 데 훨씬 효과적임을 입증했습니다.

실험 결과
저자들은 OpenAI Gym 환경, 특히 Ant(복잡한 고차원)와 CartPole(클래식 제어)에서 이 방법을 평가했습니다.

경계의 조임(Tightness of Bounds): 2단계에서 제안된 방법은 $\epsilon_1$ 과 $\epsilon_2$ 사이의 간격을 유의미하게 줄였습니다. 예를 들어, Ant 환경에서 Vanilla PPO나 Epsilon Greedy가 더 느슨한 경계(예: $0.20, 0.45 $)를 보이는 것과 달리, 제안된 방법은 경계를$ (0.11, 0.41) $에서$ (0.09, 0.18)$로 조였습니다.
성능: 제안된 방법으로 학습된 정책의 평균 보상은 베이스라인 방법들(예: PPO, Curriculum Adversarial Training)과 비슷하거나 더 높았으며, 이는 안전성을 개선하는 것이 학습 효율성의 희생을 초래하지 않음을 나타냅니다.
비교: 이 방법은 특히 더 복잡한 Ant 환경에서 안전 경계의 조임 측면에서 다양한 커리큘럼 기반 및 적대적 학습 접근 방식보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문의 주요 의의는 일반적인 탐색 휴리스틱에서 벗어나 RL 정책의 인식론적 불확실성(epistemic uncertainty)을 직접적으로 타겟팅하는 데 있습니다. 안전 및 위험 경계 사이의 "불확실한" 영역에 있는 새로운 시나리오를 생성함으로써, 이 방법은 배포 전 더 날카롭고 정량화 가능한 안전 보장을 제공합니다. 저자들은 이 접근 방식이 모델 프리 설정에서 확률적 안전 보장을 제공할 수 있는 설명 가능한 RL 시스템을 향한 단계라고 주장합니다. 또한, 이 방법이 상당한 효율성 트레이드오프 없이 강건한 학습을 달라는 점을 명시하며, 향후 연구로 서로 다른 임베딩 함수의 대조 및 계층적 RL 설계를 위한 서브태스크별 시나리오 생성 확장을 제시합니다.