🤖 machine learning

Sampling-Based Safe Reinforcement Learning

본 논문은 동역학 샘플에 걸쳐 제약을 부과하고 인식적 불확실성을 관리함으로써 연속 제어 학습 중 안전성을 보장하는 모델 기반 알고리즘인 샘플 기반 안전 강화 학습 (SBSRL) 을 소개하며, 이를 통해 시뮬레이션과 실제 로봇 하드웨어 모두에서 이론적 안전 보장을 제공하고 효율적인 탐색을 달성합니다.

원저자: Luca Vignola, Bruce D. Lee, Manish Prajapat, Manuel Wendl, Melanie Zeilinger, Andreas Krause, Yarden As

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luca Vignola, Bruce D. Lee, Manish Prajapat, Manuel Wendl, Melanie Zeilinger, Andreas Krause, Yarden As

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 복잡한 장애물 코스를 통과하며 레이싱 카를 운전하도록 가르친다고 상상해 보세요. 로봇은 이 트랙을 한 번도 본 적이 없으며, 카가 코너를 어떻게 돌아서거나 얼마나 빨리 멈출 수 있는지 정확히 알지 못합니다.

만약 로봇이 무작위로 운전하며 학습하도록만 둔다면, 벽에 충돌하거나 카를 파손하거나 사람을 다치게 할 수 있습니다. 이것이 바로 **안전 강화 학습 (Safe Reinforcement Learning)**의 핵심 문제입니다. 즉, 재앙을 초래하지 않으면서 AI 가 새로운 것을 시도하며 학습하게 하려면 어떻게 해야 할까요?

이 논문은 이를 해결하기 위해 SBSRL(Sampling-Based Safe Reinforcement Learning, 샘플링 기반 안전 강화 학습)이라는 새로운 방법을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

1. "만약에" 게임 (핵심 아이디어)

대부분의 AI 안전성 방법들은 지나치게 조심스러워지려 합니다. 로봇이 안전하도록 보장하기 위해 가장 나쁜 가능한 현실을 가정하는 것입니다. 하지만 이는 추락하는 것을 너무 두려워하여 차고에서 한 번도 나가지 않는 운전자와 같습니다. 그들은 무언가 유용한 것을 배우기에는 너무 보수적입니다.

SBSRL 은 다른 접근법을 취합니다. 수학적으로 완벽하게 수행할 수 없는 단일 최악의 시나리오를 계산하는 대신, 다양한 가능성들의 집합을 이용해 "만약에?" 게임을 합니다.

비유: 도로의 정확한 상태를 알지 못한 채 도로 여행을 계획한다고 상상해 보세요. 모든 길이 진흙탕 늪이라고 가정하는 것 (너무 무섭다) 이나 모든 길이 완벽하다고 가정하는 것 (너무 위험하다) 대신, 10 개의 서로 다른 지도를 만듭니다.
- 지도 1: 도로가 약간 울퉁불퉁하다.
- 지도 2: 도로에 작은 구덩이가 있다.
- 지도 3: 도로가 얼어 있다.
- ...이와 같이 계속됩니다.

SBSRL 은 현재 알고 있는 정보를 바탕으로 이러한 "상상의 세계"(샘플) 집합을 생성합니다. 그런 다음 로봇에게 질문합니다. "이 10 개의 지도 모두에서 안전하게 통행할 수 있는 경로를 찾을 수 있습니까?"

로봇이 이 상상의 지도들 각각에서 안전하게 운전할 수 있다면, 수학적으로도 실제 도로에서도 거의 확실히 안전할 것이 증명됩니다. 이를 통해 로봇은 학습하기에 충분히 과감하면서도 추락을 피하기에 충분히 안전하게 행동할 수 있습니다.

2. "호기심 미터" (탐색)

일반적으로 AI 가 새로운 영역을 탐색하도록 하려면 프로그래머가 호기심을 보인 것에 대해 "보너스 점수"를 부여해야 합니다. 이를 조절하는 것은 까다롭습니다. 점수가 너무 많으면 로봇이 난폭하게 행동하고, 너무 적으면 로봇이 갇히게 됩니다.

SBSRL 은 보너스 점수를 완전히 제거합니다. 대신 호기심 미터를 규칙으로 사용합니다.

비유: 로봇을 교실의 학생이라고 생각해 보세요. 교사 (알고리즘) 는 이렇게 말합니다. "현재 주제에 대해 충분히 배웠을 때만 다음 수업으로 이동할 수 있습니다."
로봇이 특정 영역에 대해 이미 매우 확신한다면 (낮은 불확실성), 최상의 점수 (보상) 를 얻는 데만 집중할 수 있습니다.
로봇이 규칙을 알지 못하는 "안개 낀" 영역에 있다면 (높은 불확실성), 이 규칙은 로봇이 이겨보려고 시도하기 전에 그곳에서 정보를 수집하는 데 시간을 보내도록 강제합니다.

이로써 학습 과정이 자동화됩니다. 로봇은 지시받았기 때문이 아니라 필요할 때만 탐색합니다.

3. 결과: 시뮬레이션에서 실제 차량까지

저자들은 이 아이디어를 두 가지 방식으로 테스트했습니다.

컴퓨터 내부 (시뮬레이션): 그들은 표준 물리 시뮬레이션 (진자 흔들기나 막대기 균형 잡기 등) 을 사용했습니다. 그리고 다른 안전 알고리즘들과 그들의 방법을 비교했습니다.
- 결과: SBSRL 은 다른 방법들보다 더 빠르게 학습하고 목표를 더 효율적으로 달성했으며, 안전 규칙을 절대 위반하지 않았습니다. 다른 방법들은 충분한 "만약에" 시나리오를 고려하지 않아 때때로 추락했습니다.
실제 세계 (하드웨어): 그들은 이 알고리즘을 실제 고속 원격 조정 레이싱 카에 적용했습니다. 이는 실수가 곧 차량 파손을 의미하는 매우 위험한 환경입니다.
- 설정: 그들은 "사전 정보 (prior)"(기본 안전 가이드) 로 시작하여 차량이 온라인으로 학습하도록 했습니다.
- 결과: 차량은 시간이 지남에 따라 더 빠르고 더 잘 운전하는 법을 성공적으로 학습했습니다. 특히, 학습 과정에서 절대 추락하지 않았습니다. 반면, "만약에" 샘플링 방법을 사용하지 않고 (단순 평균 추정에만 의존한) 알고리즘 버전은 차량이 추락하고 에너지를 낭비하게 만들었습니다.

요약

SBSRL 은 똑똑한 운전 강사와 같습니다.
학습을 마비시키는 절대 최악의 결과를 추측하거나, 위험한 단일 평균 추측을 신뢰하는 대신, 강사는 몇 가지 "가능한 미래"를 생성합니다. 학생 (로봇) 은 모든 그 가능한 미래들을 안전하게 처리할 수 있을 때만 운전할 수 있습니다.

이 간단한 트릭을 통해 로봇은 빠르게 학습하기에 충분히 과감하면서도, 컴퓨터 시뮬레이션이든 실제 고속 레이싱 카이든 안전을 유지하기에 충분히 신중할 수 있습니다.

문제
안전한 탐색은 실제 세계에 강화 학습 (RL) 에이전트를 배포하는 데 있어 근본적인 장벽으로 남아 있습니다. 표준 RL 알고리즘은 종종 환경과의 광범위한 상호작용을 요구하는데, 이는 물리적 시스템에서는 비현실적이거나 비용이 많이 듭니다. 더 중요하게는, 시스템 역학에 대한 인식적 불확실성으로 인해 학습 과정 중 안전을 보장하는 것이 어렵습니다. 모든 상호작용은 본질적으로 탐색적이며 치명적인 실패의 위험을 내포합니다. 제약 조건付き 마르코프 결정 과정 (CMDP) 은 안전을 위한 프레임워크를 제공하지만, 기존 모델 기반 접근법은 종종 불확실한 역학에 대한 최악의 경우 최적화에 의존하는데, 이는 일반적으로 계산적으로 처리하기 어렵습니다. 또한, 휴리스틱 제약 조건 강화를 통해 이를 근사화하는 방법들은 과도한 보수성을 초래하는 경향이 있으며, 탐색 보너스를 사용하는 방법들은 신중한 튜닝이 필요하고 과도한 탐색이나 조기 활용으로 이어질 수 있습니다.

방법론
저자들은 연속 상태 - 행동 공간에서 안전하고 샘플 효율적인 탐색을 위해 설계된 모델 기반 알고리즘인 **샘플링 기반 안전 강화 학습 (SBSRL)**을 제안합니다. 핵심 방법론은 세 가지 주요 구성 요소를 포함합니다:

샘플링 기반 제약 조건 강제: 일련의 타당한 역학 모델에 대한 처리하기 어려운 최악의 경우 최적화 문제를 해결하는 대신, SBSRL 은 학습된 불확실성 인식 모델 (이론적 분석에서는 특히 가우시안 프로세스) 에서 추출된 $M$ 개의 역학 샘플의 유한 집합을 유지합니다. 안전은 모든 $M$ 개의 샘플링된 역학에 걸쳐 제약 조건을 공동으로 만족시킴으로써 강제됩니다. 이는 로버스트 최적화 문제를 근사화하여, 만약 샘플에 대해 제약 조건이 성립한다면 높은 확률로 실제 시스템 역학에 대해서도 성립함을 보장합니다.
인식적 불확실성 제약을 통한 탐색: 보상 함수에 명시적인 탐색 보너스를 추가하는 대신, SBSRL 은 탐색을 제약 조건으로 형식화합니다. 에이전트는 궤적을 따라 충분한 정보 (축적된 인식적 불확실성으로 측정됨) 를 수집해야 합니다. 이 제약 조건은 탐욕적 정책이 충분히 정보적이지 않을 때만 활성화되어, 안전 및 정보 요구 사항이 충족될 때 에이전트가 탐욕적으로 유지되도록 합니다.
자르기 및 강화: 사전 샘플과 실제 역학 사이의 간극을 처리하기 위해, 알고리즘은 이전 가우시안 프로세스 신뢰 집합의 교집합 내에 있도록 샘플을 자릅니다. 또한, 제약 조건은 샘플이 실제 역학에 얼마나 가까운지에 의존하는 상수 $\Delta_\zeta$ 만큼 강화되어 안전 보장을 보장합니다.

알고리즘은 에피소드를 반복하며, 수집된 데이터로 역학 모델을 업데이트하고, 샘플을 자르고, 모든 샘플에 대한 안전 제약 조건과 탐색 제약 조건을 준수하면서 보상을 최대화하는 정책을 해결합니다.

주요 기여

알고리즘 제안: 유한한 역학 샘플 집합을 통해 안전을 강제하고 인식적 불확실성에 대한 제약을 통해 탐색을 촉진하며 명시적인 탐색 보너스의 필요성을 제거하는 새로운 모델 기반 RL 알고리즘인 SBSRL 의 도입.
이론적 보장: 정규성 조건 (역학에 대한 가우시안 노이즈와 유계 RKHS 노름 포함) 하에서, 저자들은 SBSRL 이 학습 전반에 걸쳐 안전 제약 조건을 만족한다는 높은 확률 보장을 유도합니다. 또한 유한 시간 샘플 복잡도 상한을 제공하여 알고리즘이 종료되고 거의 최적의 정책을 회복함을 증명합니다.
실증적 검증: SBSRL 은 시뮬레이션과 실제 세계 로봇 하드웨어 모두에서 검증되었습니다.
- 시뮬레이션 (가우시안 프로세스 역학 사용) 에서 SBSRL 은 Pendulum 및 Cartpole 스윙업 과 같은 작업에서 안전한 그리고 효율적인 탐색을 달성하여 ActSafe 및 평균 역학 접근법과 같은 베이스라인을 능가했습니다.
- 확장 가능한 신경 앙상블 변형이 도입되어 고차원 연속 제어 문제 (SafetyGym, RWRL) 와 실제 세계 하드웨어 (원격 조정 레이싱 카) 에서 평가되었습니다. 이 변형은 SBSRL 의 원리를 실용적인 딥러닝 설정으로 성공적으로 확장했습니다.

결과
실증적 결과는 SBSRL 이 학습 전반에 걸쳐 안전을 유지하면서 거의 최적의 성능을 달성함을 보여줍니다.

시뮬레이션: Deepmind Control Suite 작업에서 SBSRL 은 평균 역학 베이스라인에서 관찰된 안전 위반을 피하고 ActSafe 와 같은 순수 탐색 전략보다 빠르게 수렴합니다.
하드웨어: 고주파수 (60 Hz) 원격 조정 차량을 사용한 실제 세계 실험에서 SBSRL 은 안전을 유지하면서 기존 정책보다 보상을 성공적으로 향상시켰으며, 반면 평균 크리틱에만 제약을 강제하는 베이스라인은 충돌로 인한 운동 에너지 손실과 같은 더 높은 비용을 발생시켰습니다.
확장성: SBSRL 의 딥 앙상블 변형은 가우시안 프로세스 방법이 계산적으로 불가능할 고차원 상태 공간 (45 차원) 과 복잡한 역학을 성공적으로 처리했습니다.

의의
이 논문은 이론적 안전 보장과 연속 도메인에서의 실제 배포 사이의 간극을 해소한다고 주장합니다. 처리하기 어려운 최악의 경우 최적화를 처리 가능한 샘플링 기반 접근법으로 근사화함으로써, SBSRL 은 이전 방법들의 과도한 보수성 없이 엄격한 안전 보장을 제공합니다. 탐색을 보상 보너스가 아닌 제약 조건으로 형식화하는 것은 정보 수집과 보상 최대화를 자연스럽게 균형 잡는 더 강력한 전략을 제공합니다. 이러한 원리들이 이론적 가우시안 프로세스 모델에서 딥 신경 앙상블과 실제 세계 하드웨어로 성공적으로 이전되었다는 사실은, 샘플링 기반 안전 탐색이 안전이 중요한 물리적 시스템에 RL 에이전트를 배포하기 위한 실현 가능한 경로임을 시사합니다. 저자들은 현재 작업이 유한 시간 에피소드 설정에 초점을 맞추고 있지만, 이 프레임워크가 비에피소드 설정과 상태별 안전 제약 조건으로의 향후 확장에 대한 기초를 제공한다고 지적합니다.

1. "만약에" 게임 (핵심 아이디어)

2. "호기심 미터" (탐색)

3. 결과: 시뮬레이션에서 실제 차량까지

요약

유사한 논문