⚡ electrical engineering

Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

본 논문은 성능을 저하시키지 않으면서 모델 기반 강화 학습을 위한 확장 가능한 안전 보장 탐색을 제공하기 위해, 확률적 앙상블 신경망과 엄격한 도달 가능 집합 기반 검증을 통합한 새로운 프레임워크인 불확실성 인지 예측 안전 필터(UPSi)를 소개한다.

원저자: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 하지만 여기에는 반전이 있습니다. 로봇은 이것저것 시도해 보며 배우는데, 때로는 어떤 일이 일어날지 알아보기 위해 무모한 추측을 하기도 합니다. 이것을 '강화 학습(Reinforcement Learning)'이라고 부르며, 기계가 자동차 운전이나 체스 같은 복잡한 과업을 매우 잘 수행하게 만드는 방법입니다. 하지만 거대한 문제가 하나 있습니다. 만약 로봇이 너무 무모한 '추측'을 시도한다면, 자동차를 충돌시키거나 게임을 망가뜨릴 수도 있습니다. 우리는 로봇이 탐험하고 배울 수 있게 해주면서도, 위험한 행동을 하기 직전에 그것을 막아줄 방법이 필요합니다.

이 문제를 해결하기 위해 과학자들은 '예측 안전 필터(Predictive Safety Filter)'라는 것을 사용합니다. 이것은 로봇 옆에 서 있는 아주 똑똑한 수호천사나 엄격한 코치라고 생각하면 됩니다. 로봇이 움직임을 취하기 전, 코치는 머릿속으로 빠른 시뮬레이션을 돌려봅니다. "네가 저기로 점프하면 벽에 부딪힐까?" 만약 답이 "그럴지도 몰라"라면, 코치가 개입하여 로봇의 움직임을 더 안전한 것으로 바꿉니다. 전통적으로 이러한 코치들은 매우 신중했으며, 작동하기 위해 세상에 대한 완벽한 교과서적 설명이 필요했습니다. 하지만 실제 세상은 복잡하고 무질서하기 때문에, 기존의 코치들은 막히거나 복잡한 게임을 다루지 못하는 경우가 많았습니다. 이 논문은 로봇이 더 빨리 배우면서도 다치지 않게 해주는, 매우 똑똑하면서도 매우 조심스러운 새로운 종류의 코치를 소개합니다.

문제점: "블랙박스" 코치

머신러러닝의 세계에는 '확률적 앙상블(Probabilistic Ensemble, PE)'이라는 인기 있는 도구가 있습니다. 다섯 명의 서로 다른 전문가(신경망) 팀이 게임의 다음 상황을 예측하려고 노력한다고 상상해 보세요. 단 한 명의 의견만 믿는 대신, 다섯 명 모두에게 물어보고 그들의 답변을 살펴봅니다. 만약 그들이 모두 동의한다면 당신은 확신을 갖습니다. 만약 그들이 서로 의견이 다르다면, 당신은 모델이 잘 모르는 '안개 낀' 영역에 있다는 것을 알게 됩니다. 이는 복잡한 것을 배우는 데 매우 유용하지만, 한 가지 결함이 있습니다. 때때로 이 전문가 팀은 안개 속에서 지나치게 과신할 때가 있습니다. 그들은 실제로 무모하게 추측하고 있음에도 불구하고, "우리는 당신이 충돌하지 않을 것이라고 100% 확신합니다"라고 말할 수도 있습니다.

이러한 "전문가 팀"을 안전 코치로 사용하려 했던 이전의 시도들은, 이 팀이 실제로 진실을 말하고 있는지 아니면 그냥 환각을 보고 있는 것인지 확인할 엄격한 방법이 없었기 때문에 실패했습니다. 그것들은 마치 지도를 확인하지도 않고 "내 생각엔 안전해"라고 말하는 코치와 같았으며, 로봇이 너무 위험한 시도를 할 때 사고로 이어졌습니다.

해결책: UPSi (더 "웁-씨" 필터)

이 논문의 저자들은 UPSi(발음은 "웁-씨")라고 불리는 새로운 시스템을 소개합니다. 이는 **불확실성을 인지하는 예측 안전 필터(Uncertainty-Aware Predictive Safety Filter)**의 약자입니다.

UPSi를 단순히 전문가에게 답을 묻는 것뿐만 아니라, 그들의 확신 수준까지 확인하는 안전 코치라고 생각해 보세요. 이 시스템은 영리한 수학적 트릭을 사용하여 로봇의 가능한 미래 경로 주위에 "안전 버블"을 그립니다.

안전 버블: 단 하나의 미래 경로를 추측하는 대신, UPSi는 로봇이 도착할 수 있는 가능한 위치의 전체 구름(cloud)을 계산합니다. 그리고 이 전체 구름이 "안전 구역"(예: 트랙 안에 머무는 것) 안에 머물도록 보장합니다.
확실성 체크: 이것이 마법 같은 부분입니다. UPSi에는 특별한 규칙이 있습니다: "우리는 전문가들이 '확실한 집합(Certain Set)' 안에 있을 때만 그들을 신뢰한다." 만약 로봇이 전문가들이 혼란스러워하는 영역(높은 불확실성)으로 이동하려고 하면, UPSi는 "안 돼, 나는 이 영역에 대해 안전을 보장할 만큼 충분히 알지 못해. 그곳으로는 가지 말자"라고 말합니다. 이는 모델이 단순히 추측하고 있다는 이유만으로 위험한 움직임을 안전하다고 착각하게 만드는 것을 방지합니다.

실제 적용 방식

연구진은 세 가지 시뮬레이션 환경에서 UPSi를 테스트했습니다:

펜듈럼(Pendulum): 금지된 구역에 부딪히지 않고 위로 스윙하려는 로봇 팔.
카트폴(Cartpole): 움직이는 카트 위에서 막대가 똑바로 서 있어야 하는 고전적인 균형 잡기.
드론(Drone): 목표 높이에 도달하기 위해 추락하지 않고 비행하는 드론.

이 테스트에서 그들은 UPSi를 다른 안전 필터들과 비교했습니다. 결과는 명확했습니다:

더 적은 충돌: UPSi는 이전 방식들보다 훨씬 더 자주 로봇의 위험한 움직임을 차단했습니다. 카트폴 테스트에서 기존 방식은 7.15%의 확률로 실패(충돌)했지만, UPSi는 단 0.75%의 실패율만을 보였습니다.
학습 능력 유지: UPSi가 매우 조심스러움에도 불구하고, 로봇은 필터가 없을 때와 마찬가지로 게임을 잘 학습했습니다. 즉, 학습 과정을 늦추지 않았습니다.

"만약에"와 "얼마나 확실한가"

저자들은 자신들의 주장에 대해 매우 신중합니다. 그들은 단순히 UPSi가 작동한다고 추측한 것이 아니라, 로봇의 세계 모델이 약간 틀리더라도 그들의 "안전 버블"(도달 가능 집합, reachable sets)이 모든 가능한 결과를 잡아낼 만큼 충분히 크다는 것을 수학적으로 증명했습니다. 그들은 로봇이 이 버블 안에 머무는 한, 수학적으로 안전함이 보장된다는 것을 보여주었습니다.

하지만 그들은 현재 버전이 매우 복잡한 상황(예: 빠른 드론)에서의 실시간 사용에는 다소 느리다는 점도 인정합니다. 시뮬레이션에서 필터가 결정을 내리는 데 걸린 시간은 복잡도에 따라 0.04초에서 25초 사이였습니다. 이는 그들이 수행한 테스트에는 충분히 빠른 속도이지만, 이를 실세계의 찰나의 순간에 대응할 수 있을 만큼 빠르게 만드는 것이 향후 과제라고 언급했습니다.

핵심 요약

이 논문은 현대 AI의 유연하고 강력한 학습 능력과 전통적인 공학의 엄격하고 신뢰할 수 있는 안전성 사이의 간극을 메웁니다. UPSi는 우리가 언제 자신이 모르는지를 아는 안전 필터로 감싸준다면, 강력한 데이터 기반 AI 모델을 사용하여 로봇에게 복잡한 기술을 가르칠 수 있음을 보여줍니다. 이는 로봇이 세상을 망가뜨리지 않으면서도 미지의 영역을 탐험할 수 있게 하는 한 단계입니다.

기술 요약: 확률적 신경망 역학을 위한 불확실성 인지 예측 안전 필터

문제 정의

심층 강화 학습(Deep Reinforcement Learning, RL)은 탐사(exploration)의 안전성 측면에서 상당한 어려움에 직면해 있다. 예측 안전 필터(Predictive Safety Filters, PSFs)는 모델 예측 제어(MPC) 개념을 활용하여 엄격한 안전 보장을 제공하지만, 이들의 실제 적용 가능성은 일차 원리 모델(first-principles models)이나 가우시안 프로세스(Gaussian Processes, GPs)에 대한 의존성으로 인해 제한되는 경우가 많다. 이러한 전통적인 모델 클래스는 상당한 사전 도메인 지식을 요구하거나, 대규모 데이터셋 및 고차원 시스템에 효과적으로 확장되지 못하는 한계가 있다. 반면, 현대적인 모델 기반 강화 학습(Model-Based Reinforcement Learning, MBRL) 방법론은 확률적 앙상블(Probabilistic Ensemble, PE) 신경망을 사용하여 사전 지식 없이도 데이터로부터 복잡하고 고차원적인 역학을 학습한다. 그러나 PE 모델을 PSF에 통합하려는 기존의 시도들은 엄격한 불확실성 정량화가 부족하여, 높은 에피스테믹 불확실성(epistemic uncertainty) 하에서 모델 착취(model exploitation)에 취약한 휴리스틱한 안전 검사를 수행한다는 문제가 있다.

방법론

저자들은 PE 기반 MBRL의 확장성과 MPC의 엄격한 안전 보장 사이를 연결하는 프레임워크인 **불확실성 인지 예측 안전 필터(Uncertainty-Aware Predictive Safety Filter, UPSi)**를 제안한다. UPSi는 Dyna 스타일의 MBRL 아키텍처(예: MBPO) 내에서 작동하며, 미래의 결과를 제약 조건 충족을 강제하기 위한 도달 가능 집합(reachable sets)으로 정식화한다.

핵심 구성 요소

확률적 앙상블 역학: UPSi는 시스템 역학을 근사하기 위해 $E$ 개의 신경 네트워크로 구성된 PE 모델을 사용한다. 이 모델은 알레아토릭 불확실성(aleatoric uncertainty, 환원 불가능한 프로세스 노이즈)과 에피스테믹 불확실성(epistemic uncertainty, 데이터 부족)을 앙상블 불일치를 통해 분리한다.
확실 집합 (Certain Set, $C_j$ ): 모델 착취를 방지하기 위해, UPSi는 $C_j \subseteq S \times A$ 인 "확실 집합"을 정의한다. 이 집합 내에서는 모델의 예측 불확실성이 충분히 낮다. 이 집합은 센서 퓨전 원리에서 유도된 칼만 이득(Kalman gain) 메트릭을 사용하여 결정되며, 모델이 충분한 데이터 지원을 갖춘 영역에서만 예측을 신뢰하도록 보장한다.
도달 가능 집합 구축:
- 이 방법은 타원형 튜브(ellipsoidal tubes)를 명목 궤적(nominal trajectory)을 따라 전파하여 **강건 도달 가능 집합(Robust Reachable Sets, RRS)**을 과대 근사한다.
- 형상 행렬 $P_{n|t}$ 는 알레아토릭 분산을 전파하고 선형화 오차를 고려하여 업데이트된다.
- 결정적으로, 저자들은 1차 테일러 전개를 사용하여 비선형 역학을 근사할 때 발생하는 선형화 오차( $e_{max}$ )에 대한 엄격한 상한을 유도한다. 이 오차는 계산된 도달 가능 집합이 실제 시스템 동작의 유효한 과대 근사치가 되도록 형상 행렬 전파에 명시적으로 추가된다.
안전 필터 정식화: 안전 필터는 매 타임 스텝마다 제약된 최적화 문제를 해결한다. 이는 다음 조건을 만족하면서 RL 에이전트가 제안한 행동으로부터의 편차를 최소화하는 행동 시퀀스를 찾는다:
- 상태 및 입력 제약 조건 ( $S, A$ ).
- 종단 집합 제약 조건 ( $T_j$ ).
- 확실성 제약 조건: 궤적을 따르는 모든 예측 상태-행동 쌍은 반드시 확실 집합 $C_j$ 내에 머물러야 한다. 이는 불확실성 측정치의 립시츠 연속성(Lipschitz continuity)을 기반으로 제약 조건을 조이는 방식으로 강제된다.
종단 집합 확장: 보수성을 줄이기 위해, 종단 집합 $T_j$ 를 데이터 기반 접근 방식을 사용하여 반복적으로 확장한다. 이전 에피소드들로부터 얻은 실행 가능한 궤적들을 사용하여 더 큰 제어 가능 집합을 근사함으로써, 에이전트가 안전을 유지하면서도 더 멀리 탐사할 수 있도록 한다.

주요 기여

본 논문은 세 가지 주요 기여를 제시한다:

PE 모델로부터의 엄격한 도달 가능 집합: 저자들은 확률적 신경망 모델로부터 증명 가능한 과대 근사 도달 가능 집합을 계산하는 방법을 유도한다. 여기에는 알레아토릭 불확실성과 에피스테믹 불확실성을 분리하고, 계산된 집합이 모든 가능한 시스템 궤적을 포함하도록 선형화 오차를 명시적으로 경계 짓는 과정이 포함된다.
명시적 확실성 제약: 모델의 부정확성을 에이전트가 착취하는 것을 방지하기 위해 PSF 정식화에 새로운 제약 조건이 도입되었다. 계획 지평(planning horizon)을 "확실 집합"으로 제한함으로써, 필터는 모델이 불확실할 때도 안전을 보장한다.
경험적 검증 및 실용적 통합: 저자들은 제안된 이론적 과대 근사를 검증하고, 단순화된 버전의 UPSi를 MBPO 프레임워크에 통합한다. 실험 결과, 이 접근 방식이 기존의 신경망 기반 PSF(특히 XMPSC)에 비해 탐사 안전성을 유의미하게 개선하면서도 표준 MBPO와 대등한 성능을 유지함을 입증하였다.

실험 결과

평가는 Pendulum, Cartpole, Drone의 세 가지 표준 Safe RL 벤치마크에서 수행되었다.

도달 가능 집합 검증: Cartpole 환경에서 제안된 타원형 튜브 구축 방식은 (100,000개의 시뮬레이션 궤적을 통해 검증된) 실제 도달 가능 집합을 일관되게 과대 근사함을 보여주었으며, 이를 통해 이론적 경계가 확인되었다.
안전 성능: MBPO에 통합되었을 때, UPSi는 XMPSC(기존의 PE 기반 안전 필터)에 비해 제약 조건 위반을 대폭 감소시켰다. 예를 들어, Cartpole 환경에서 불가능(infeasibility) 비율이 XMPSC의 7.15%에서 UPSi의 0.75%로 감소했다.
성능: 추가된 안전 제약에도 불구하고, UPSi는 표준 MBPO 및 SAC 베이스라인과 대등한 제어 리턴(control returns)을 달성했다.
필터링 동작: UPSi는 XMPSC보다 더 자주 개입했지만, 실행 가능한 해(solution)를 더 자주 찾아냈으며, 이는 안전 강제와 탐사 능력 사이의 더 나은 균형을 나타낸다.

의의 및 주장

본 논문은 현대적인 MBRL 방법론의 확장성과 예측 안전 필터의 엄격한 안전 보장 사이의 간극을 성공적으로 메웠다고 주장한다. 유연하고 데이터 중심적인 PE 모델을 엄격한 MPC 프레임워크 내에서 사용할 수 있게 함으로써, UPSi는 일차 원리나 GP를 사용하여 모델링하기 어려웠던 광범위한 고차원 비선형 시스템으로 안전 필터의 적용 범위를 확장한다.

저자들은 실무적 구현이 (예: 단순화된 튜브 전파, 실험에서의 보조 컨트롤러 부재) 공식적인 보장을 깨뜨리는 단순화에 의존하고 있다는 점을 언급하며 한계를 인정하였고, 고차원 시스템(예: Drone)에 대한 실시간 실행 가능성 또한 여전히 과제로 남아 있음을 밝히고 있다. 그러나 본 연구는 학습 기반 제어를 위한 불확실성 인지 안전의 기초적인 접근 방식을 확립하였으며, 향후 실시간 실행 가능성에 대한 개선이 이루어진다면 더 복잡한 하드웨어로의 배포가 가능할 것임을 시사한다.