🤖 AI

Safe Exploration via Policy Priors

이 논문은 보수적인 정책 사전 확률(policy priors)과 확률적 역학 모델을 활용하여 온라인 탐색 중 안전성을 보장하는 동시에 최적의 수렴을 달상하고 벤치마크와 실제 하드웨어 모두에서 최신 기법들을 능가하는 안전한 강화 학습 프레임워크인 SOOPER를 소개한다.

원저자: Manuel Wendl, Yarden As, Manish Prajapat, Anton Pollak, Stelian Coros, Andreas Krause

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manuel Wendl, Yarden As, Manish Prajapat, Anton Pollak, Stelian Coros, Andreas Krause

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷기나 레이싱 카 운전처럼 새로운 것을 가르치는 장면을 상상해 보세요. 인공지능의 세계에서는 이를 '강화 학습(Reinforcement Learning)'이라고 부릅니다. 이는 마치 강아지에게 기술을 가르치는 것과 같습니다. 로봇은 여러 가지 시도를 하고, 잘했을 때는 '간식(보상)'을 받고, 못했을 때는 '꾸중(벌칙)'을 받습니다. 시간이 흐르면서 로봇은 어떻게 행동하는 것이 최선인지 깨닫게 됩니다. 하지만 여기에는 함정이 있습니다. 실제 물리적인 세상에서는 로봇이 마음껏 '시도하고 실패하게' 내버려 둘 수 없다는 점입니다. 만약 걷기를 배우는 로봇이 너무 세게 넘어지면 다리가 부러질 수 있습니다. 자율주행차가 벽에 들이받으며 배우게 된다면 사람을 다치게 할 수도 있습니다. 이것이 바로 '안전한 탐색(Safe Exploration)'이라는 큰 문제입니다. 즉, 에이전트가 재앙을 초래할 수 있는 발걸음을 단 한 번도 떼지 않으면서도, 어떻게 하면 더 나아지고 더 잘 배울 수 있게 할 것인가의 문제입니다.

과학자들은 로봇에게 '안전망'을 제공함으로써 이 문제를 해결하려 노력해 왔습니다. 보통 이는 로봇이 다치기 전에 멈추게 하는 백업 플랜이나 엄격한 규칙을 갖는 것을 의미합니다. 하지만 이러한 안전망은 너무 엄격해서 로봇이 새로운 것을 전혀 배우지 못하게 만들 수도 있습니다. 즉, 안전하기만 할 뿐 정체되어 버리는 것입니다. 과제는 새로운 방식, 더 나은 방식을 탐구할 만큼 용감하면서도, 언제 물러나서 안전을 지켜야 할지 정확히 알 만큼 영리한 방법을 찾는 것입니다. 이 논문은 바로 그 딜레마를 다루며, 위험한 선을 절대 넘지 않으면서 실시간으로 온라인에서 학습할 수 있는 로봇의 새로운 방법을 제안합니다.

이 논문은 SOOPER(Safe Online Optimism for Pessimistic Expansion in RL의 약자)라는 새로운 알고리즘을 소개합니다. SOOPER를 아주 신중하고 경험 많은 멘토를 둔 로봇이라고 생각해 보세요. 이 멘토는 '정책 사전 지식(policy prior)'인데, 이는 시뮬레이터나 기존 데이터로부터 이미 학습한 일련의 지침입니다. 이 멘토는 '비관적(pessimistic)'입니다. 즉, 최악의 시나리오를 가정하고 오직 안전을 유지하기 위한 최소한의 행동만을 합니다. 이는 미끄러운 바닥을 넘어 넘어지지 않고 걷는 법을 정확히 알고 있지만, 그리 빠르거나 멋스럽지는 않은 부모와 같습니다.

SOOPER의 영리한 트릭은 로봇이 학습하는 동안 '낙관적(optimistic)'이 되도록 허용하는 것입니다. 로봇은 더 빠르거나 효율적인 경로를 찾기 위해 새롭고 위험한 움직임을 시도할 수 있습니다. 하지만 로봇에게는 내장된 안전 스위치가 있습니다. 로봇은 새로운 움직임을 시도하는 동안 끊임없이 계산합니다: "내가 이대로 계속 간다면, 결국 안전 예산을 다 써버리게 될까?" 만약 그 대답이 조금이라도 "그럴 수도 있다"라면, 로봇은 즉시 비관적인 멘토로 전환합니다. 그러면 멘토가 주도권을 잡고 로봇을 안전한 상태로 안내합니다. 이 전환은 매우 빠르게 일어나기 때문에 로봇은 실제로 곤경에 처하지 않습니다.

여기서 마법 같은 부분이 등장합니다. 로봇은 단순히 멈춰서 기다리기만 하는 것이 아닙니다. 멘토가 주도권을 잡을 때, 로비는 그 순간을 '배운 교훈'으로 기록합니다. 로봇은 "아, 내가 시도했던 그 경로가 느리고 조심스럽게 행동해야 하는 막다른 길로 이끄는구나"라고 깨닫습니다. 이 정보는 로봇이 세상에 대한 더 나은 정신적 지도를 구축하는 데 도움을 줍니다. 시간이 지나면서 로봇은 안전한 경계가 정확히 어디인지 배우고, 그 경계 내에서 머물면서도 더 빠르고 새로운 경로를 발견하게 됩니다. 이는 안전한 길을 아는 가이드와 함께 숲을 탐험하는 등산객과 같습니다. 등산객은 지름길을 찾기 위해 덤불을 헤치며 나아갑니다. 만약 절벽에 너무 가까워지면, 가이드가 손을 잡아 안전한 길로 끌어당깁니다. 그러면 등산객은 "아, 저 지름길은 너무 위험했구나"라고 배우고, 다음번에는 다른 경로를 시도합니다. 결국 등산객은 절벽에서 떨어지지 않으면서도 안전하고 빠른 지름길을 찾아냅니다.

저자들은 이 방법이 학습 과정의 매 단계마다 안전을 보장한다는 것을 수학적으로 증명했습니다. 또한 로봇의 성능이 시간이 지남에 따라 향상되어, 결국 안전 규칙을 결코 위반하지 않으면서도 가능한 최선의 전략에 거의 근접하는 전략을 찾아낸다는 것을 보여주었습니다. 그들은 막대기를 수직으로 세우는 작업이나 레이싱 카를 장애물 사이로 운전하는 작업과 같은 다양한 컴퓨터 시뮬레이션에서 이를 테스트했습니다. 모든 경우에서 SOOPER는 안전을 유지하면서도 다른 최고 수준의 방법들보다 더 빠르게 학습하고 더 나은 성능을 보였습니다.

가장 인상적인 점은 그들이 단순히 컴퓨터 시뮬레이션에 그치지 않았다는 것입니다. 저자들은 SOOPER를 실제 물리적인 원격 제어 레이싱 카에 적용했습니다. 이 차는 타이어를 피하며 목표에 도달하기 위해 고속으로 주행해야 합니다. 현실 세계는 지저로, 자동차의 모터와 센서의 지연 현상처럼 무질서하고 예측 불가능합니다. 이러한 현실 세계의 결함에도 불구하고, SOOPER는 초기 '안전한' 운전 스타일보다 더 빠르고 효율적으로 운전하는 법을 성공적으로 학습했으며, 동시에 장애물에 단 한 번도 충돌하지 않았습니다. 이 논문은 이러한 접근 방식이 로봇이 안전하게 학습하여 통제된 실험실을 벗어나 실제 거리와 가정으로 나아가는 데 있어 중요한 진전이 될 수 있음을 시사합니다.

기술 요약: SOOPER - 정책 사전 확률을 통한 안전한 탐색 (Safe Exploration via Policy Priors)

문제 정의

강화 학습(RL) 에이전트는 물리적 환경에서 온라인으로 학습하고 적응하는 능력이 필요하지만, **안전한 탐색(safe exploration)**이라는 결정적인 과제에 직면해 있습니다. 에이전트는 환경에 대한 완전한 지식이 없는 상태에서도 파멸적인 결과를 초래하는 행동을 취하지 않으면서 최적의 행동을 발견해야 합니다. 이론적인 방법들은 종-종 안전 보장을 제공하지만, 복잡하고 고차원적인 작업으로 확장하는 데 어려움을 겪습니다. 반대로, 확장 가능한 딥 RL 접근 방식들은 학습 과정 중의 안전성을 보장하는 데 실패하는 경우가 많습니다.

기존 접근 방식의 주요 한계는 사전 지식(prior knowledge)을 활용하는 방식에 있습니다. 대부분의 방법은 사전 지식을 주로 안전성을 유지하기 위한 용도(예: 백업 정책을 통해)로만 사용하며, 유망한 상태 공간 영역으로 탐색을 적극적으로 유도하기 위해 이러한 사전 지식을 활용하는 데는 실패합니다. 본 논문은 서브옵티멀(suboptimal)하지만 보수적인 정책(오프라인 데이터나 시뮬레이터로부터 도출된)을 사전 확률(prior)로 사용하여, 안전성을 보장하는 동시에 효율적이고 최적에 가까운 학습을 가능하게 하는 알고리즘의 필요성을 다룹니다.

방법론: SOOPER

저자들은 연속적인 상태-행동 공간에서의 제약된 마르코프 결정 과정(CMDP)을 위한 모델 기반 RL 알고리즘인 SOOPER(Safe Online Optimism for Pessimistic Expansion in RL)를 제안합니다. 핵심 철학은 **비관적 정책 사전 확률(pessimistic policy priors)**을 사용하여 안전을 확보하고, **낙관적 계획(optimistic planning)**을 통해 탐색을 추진하는 것입니다.

1. 핵심 메커니즘

비관적 정책 사전 확률 (Pessimistic Policy Priors): SOOPER은 보수적인 정책 사전 확률 $\hat{\pi}$ (예: 오프라인 데이터 또는 분포 변화가 있는 시뮬레이터에서 학습된 정책)에 접근할 수 있다고 가정합니다. 이 사전 확률은 일련의 그럴듯한 역학 모델 $\mathcal{F}_0$ 하에서 안전 제약을 만족함이 보장됩니다.
온라인 비용 추적 (안전 보장): 실제 환경에서의 롤아웃(rollout) 중에 SOOPER은 누적 비용을 모니터링합니다. 이는 다음과 같은 스위칭 메커리즘을 채택합니다:
- 현재 정책 $\pi_n$ 이 불확실성 페널티를 포함하는 비관적 비용 가치 함수 $Q^{\hat{\pi}}_{c,n}$ 에 기반하여 안전한 것으로 판단되면, 에이전트는 $\pi_n$ 을 실행합니다.
- 예측된 비용이 안전 예산 $d$ 를 초과하면, 에이전트는 즉시 안전한 사전 확률 $\hat{\pi}$ 로 전환합니다.
- 이를 통해 학습된 역학 모델이 부정확하더라도 높은 확률로 제약을 위반하지 않도록 보장합니다.
시뮬레이션된 탐색 (낙관주의): 안전을 위협하지 않으면서 환경 역학을 학습하기 위해, SOOPER은 학습된 월드 모델(world model)을 기반으로 "계획 MDP"( $\tilde{M}$ $\tilde{M}$ )를 구축합니다.
- 종료 (Termination): 이 시뮬레이션된 환경에서는 실제 세계에서 안전한 사전 확률 $\hat{\pi}$ 를 트리거할 수 있는 궤적(trajectory)이 종료됩니다.
- 종료 보상 (Terminal Reward): 종료 시, 에이전트는 비관적 보상 가치 $V^{\hat{\pi}}_r$ (사전 확률 정책의 최악의 가치)을 받습니다. 이는 에이전트가 안전 스위치를 작동시키지 않으면서도 사전 확률보다 더 나은 성능을 내는 궤적을 찾도록 유도합니다.
- 내재적 보상 (Intrinsic Rewards): 목적 함수에는 모델 불확실성( $\|\sigma_n\|$ )에 기반한 내재적 보상이 포함되어 있어, 탐색(불확실성을 줄이기 위한 데이터 수집)과 확장(알려진 안전한 정책의 집합을 선제적으로 넓힘)을 모두 장려합니다.

2. 이론적 프레임워크

후회 분석 (Regret Analysis): 학습이 끝난 시점의 최적성만을 보장하는 기존 연구(단순 후회)와 달리, SOOPER은 **누적 후회(cumulative regret)**에 대한 경계(bound)를 설정합니다. 이는 에이전트의 성능이 단순히 수렴 시점에만 높은 것이 아니라, 학습 과정 전반에 걸쳐 높게 유지됨을 보장합니다.
수렴 (Convergence): 이 알고리즘은 역학 모델을 반복적으로 개선하고 암묵적인 안전 정책 집합을 확장함으로써 최적의 정책으로 수렴함이 증명되었습니다. 누적 후회는 에피소드 수 $N$ 에 따라 아선형(sub-linearly)으로 증가하는 것으로 나타났습니다.

주요 기여

알고리즘 제안: 연속 제어 작업을 위해 오프라인 또는 시뮬레이션에서 학습된 정책을 안전한 사전 확률로 활용하는 확장 가능한 모델 기반 RL 알고리즘인 SOOPER을 소개합니다.
이론적 보장:
- 안전성: SOOPER이 모든 학습 에피소드 동안 높은 확률로 안전 제약을 만족함을 증명합니다.
- 후회 경계: 단순한 최적성뿐만 아니라 학습 과정 중에도 좋은 성능을 보장하는 새로운 누적 후회 상한선을 설정합니다.
- 확장성: 알고리즘이 실제 CMDP가 정의하는 가용 집합(feasible set)에 수렴할 때까지 안전한 정책의 집합을 암묵적으로 확장함을 입증합니다.
실험적 검증: 표준 안전 RL 벤치마크(RWRL, SafetyGym) 및 실제 하드웨어(원격 제어 레이싱 카)에 대한 광범위한 실험을 수행했습니다.

실험 결과

저자들은 SAILR, CRPO 및 프라이멀-듀얼(Primal-Dual) 최적화 방법 등 최신 베이스라인과 SOOPER을 비교 평가했습니다.

Sim-to-Real 및 분포 변화: 역학 불일치(예: 변하는 기어 파라미터, 폴 길이)가 포함된 작업에서, SOOPER은 안전 제약을 지속적으로 준수하면서 누적 보상 측면에서 베이스라인을 능가하거나 대등한 성능을 보였습니다.
비전 제어: 본 방법은 이미지 기반 관측값(CartpoleSwingup)이 포함된 작업에도 성공적으로 확장되었으며, 사전 학습된 비전 인코더의 임베딩으로부터 직접 역학을 학습했습니다.
Offline-to-Online: 대규모 오프라인 데이터셋에서 학습된 정책으로 초기화되었을 때, SOOPER은 안전성을 유지하면서 성능을 크게 향상시켰습니다.
실제 하드웨어: 고주파수(60 Hz) 원격 제어 레이싱 카를 이용한 실험에서, SOOPER은 장애물을 피해 목표에 도달하는 법을 학습했습니다. 이는 학습 과정 내내 안전 제약을 엄격히 준수하면서 초기 사전 정책보다 약 두 배 높은 보상을 달al성했습니다.
절제 연구 (Ablation Studies): 저자들은 다음을 입증했습니다:
- 시뮬레이션된 MDP에서의 종료 처리가 사전 확률에 대한 의존도를 줄이는 데 매우 중요합니다.
- 본 방법은 사전 정책의 다양한 보수성 수준에 대해 강건합니다.
- 이 접근 방식은 비가우시안(non-Gaussian), 비가산(non-additive) 노이즈 교란 하에서도 안전하게 유지됩니다.

의의 및 주장

본 논문은 SOOPER이 이론적 안전 보장과 실질적인 확장성 사이의 간극을 메움으로써 **배포 가능한 RL(deployable RL)**을 향한 중요한 진전임을 주장합니다.

통합된 목적 함수: 안전 문제를 특정 종료 및 보상 구조를 가진 무제약 MDP로 재정의함으로써, SOOPER은 CMDP를 직접 해결하는 복잡성을 우회하며 이는 표준 딥 RL 아키텍처(예: MBPO)와 호환 가능하게 만듭니다.
학습 중 성능: 저자들은 자신들의 누적 후회 경계가, 안전성과 최적성은 보장하지만 탐색 단계에서 임의로 낮은 성능을 보이는 기존 연구(SAILR 또는 ActSafe 등)와 구별되는 차별점임을 강조합니다.
실용성: 본 방법은 실행 시간이 표준 모델 기반 RL 베이스라인과 유사할 정도로 계산 효율적이며, 확률적 요소와 지연이 존재하는 실제 시나리오에서도 효과적임이 입증되었습니다.

저자들은 비에피소드(non-episodic) 설정이나 특정 상태에 대한 고확률 제약을 다루는 것과 같은 과제가 남아있음에도 불구하고, SOOPER이 이론적 보장을 실제 성능으로 전환하는 견고한 온라인 안전 학습 프레임워크를 제공한다고 결론짓습니다.