A Review On Safe Reinforcement Learning Using Lyapunov and Barrier Functions

로봇이 걷거나, 자동차를 운전하거나, 드론을 조종하도록 강화 학습 (RL) 을 사용하여 가르친다고 상상해 보세요. 이 시나리오에서 로봇은 호기심 많은 아이와 같습니다. 아이는 무언가를 시도하고, 좋은 행동에 보상을 받으며, 실수로부터 배워 나갑니다.

문제점은 무엇일까요? 호기심 많은 아이는 배움을 시도하는 과정에서 실수로 벽에 부딪히거나, 절벽에서 떨어지거나, 자동차를 추락시킬 수 있습니다. 현실 세계에서는 이러한 실수가 치명적인 결과를 초래할 수 있습니다.

이 논문은 이러한 로봇을 위한 특정 "안전 훈련 매뉴얼"에 대한 검토입니다. 이 논문은 라이아푸노프 함수 (Lyapunov functions) 와 배리어 함수 (Barrier functions) 라는 두 가지 수학적 도구에 초점을 맞춥니다. 저자들은 이러한 도구들이 어떻게 보이지 않는 보호 울타리와 안정성 가이드 역할을 하여 로봇이 손상을 입히지 않고 안전하게 학습할 수 있도록 하는지 설명합니다.

다음은 이 논문의 주요 아이디어를 간단한 비유로 정리한 것입니다:

1. 두 가지 안전 도구

이 논문은 로봇을 안전하게 지키는 두 가지 주요 방법을 비교합니다. 이는 부모가 아이에게 자전거 타기를 가르치는 방식과 유사합니다.

• 라이아푸노프 함수 (The "Stability Coach" - 안정성 코치):

  • 비유: 바닥에 그릇이 있는 언덕을 굴러 내려가는 공을 상상해 보세요. 공을 어디에 떨어뜨리든 공은 자연스럽게 중심을 향해 굴러 내려가 멈춥니다. 라이아푸노프 함수는 바로 그 언덕의 수학적 지도와 같습니다. 이는 로봇의 행동이 항상 안전한 안정 상태 (예: 정지하거나 공중 부양) 를 향해 "굴러 내려가"고, 결코 혼란 속으로 "언덕을 올라가"지 않음을 보장합니다.
  • 기능: 시스템이 미쳐버리거나 통제를 잃고 회전하는 것을 방지합니다. 이는 안정성에 관한 것입니다.

• 배리어 함수 (The "Invisible Fence" - 보이지 않는 울타리):

  • 비유: 보이지 않는 전기 울타리로 둘러싸인 마당에서 노는 아이를 상상해 보세요. 아이가 울타리에 너무 가까워지면, 아이는 중심을 향해 밀려나는 "밀림"을 느낍니다. 아이는 울타리 안의 어디에서나 놀 수 있지만, 그 선을 넘을 수는 없습니다.
  • 기능: 이는 "안전 구역"을 정의합니다 (예: 드론이 나무에서 멀리 떨어지거나 자동차가 보행자로부터 멀리 떨어지도록 함). 로봇이 선을 넘으려 하면 수학이 로봇을 즉시 되돌리게 합니다. 이는 제약 조건 충족에 관한 것입니다.

2. 학습에서의 활용 방식

이 논문은 연구자들이 이러한 도구들을 로봇의 학습 과정과 어떻게 결합해 왔는지 검토합니다. 연구자들은 이를 수행하는 세 가지 주요 방법을 발견했습니다:

• 방법 A: "안전 필터" (The Bouncer - 바운서)

  • 작동 원리: 로봇이 결정을 내립니다 (예: "왼쪽으로 회전"). 로봇이 실제로 움직이기 전에 "안전 필터"가 그 움직임을 점검합니다. 만약 그 움직임이 보이지 않는 울타리에 부딪히거나 추락을 초래할 것처럼 보이면, 필터가 개입하여 로봇을 안전한 대안으로 부드럽게 밀어냅니다.
  • 비유: 이는 클럽의 바운서와 같습니다. 로봇 (손님) 이 들어오려 하지만, 잘못된 신발을 신은 경우 (위험한 행동), 바운서가 그들을 막아내고 들어가기 전에 다른 신발을 제안합니다.
  • 장단점: 이는 매우 엄격하고 안전하지만, 로봇이 어떻게 움직이는지 정확히 알고 있어야 합니다 (모델 필요). 만약 수학이 조금만 틀리면 필터가 멈추거나 지나치게 조심스러워질 수 있습니다.

• 방법 B: "보상 조절자" (The Coach - 코치)

  • 작동 원리: 로봇을 막는 대신, 코치는 보상을 변경합니다. 로봇이 울타리 쪽으로 움직이면 "페널티" (마이너스 점수) 를 받고, 중심 쪽으로 움직이면 보너스를 받습니다.
  • 비유: 이는 부모가 "마당 안에 있으면 쿠키를 줄게. 거리 근처로 가면 쿠키를 주지 않을 거야"라고 말하는 것과 같습니다.
  • 장단점: 이는 사용하기 쉽고 로봇이 더 빠르게 학습하도록 돕지만, "부드러운" 안전입니다. 로봇이 보상에 너무 열중하면 실수로 선을 넘을 수도 있습니다.

• 방법 C: "하이브리드" (The Best of Both Worlds - 양쪽의 장점을 모두 갖춘 것)

  • 작동 원리: 최근 연구 (특히 2022 년 이후) 는 두 가지 도구를 결합하기 시작했습니다. 로봇은 "안정성 코치"를 사용하여 균형을 유지하고, "보이지 않는 울타리"를 사용하여 경계 안에 머무르며, 이 모든 것을 동시에 수행합니다.
  • 비유: 로봇은 균형을 유지하라고 말하는 코치와 어디로 가지 말아야 하는지 알려주는 울타리를 동시에 가지고 있으며, 실시간으로 함께 작동합니다.

3. 논문이 발견한 것 (핵심 요약)

저자들은 수십 편의 연구를 분석하여 세 가지 큰 흐름을 발견했습니다:

1. 전환: 과거에는 이러한 안전 도구들이 주로 세상에 대한 완벽한 지도를 가진 로봇 (모델 기반) 과 함께 사용되었습니다. 이제 이 분야는 경험만으로 학습하는 로봇 (모델 프리) 과 함께 사용하는 것으로 전환되었습니다. 이는 훨씬 더 어렵지만 훨씬 더 유연합니다.
2. 새로운 핫 토픽: 2022 년 이후 가장 활발한 연구 분야는 "안정성 코치"와 "보이지 않는 울타리"를 단일하고 강력한 시스템으로 결합하는 것입니다.
3. 큰 문제: 이러한 도구들이 있더라도, 복잡한 고차원 로봇 (많은 움직이는 부품을 가진 인간 크기의 로봇 등) 이나 로봇이 모든 것을 볼 수 없는 상황 (예: 안개 속 운전) 으로 확장하는 것은 여전히 매우 어렵습니다. 수학이 너무 무거워지고, "보이지 않는 울타리"가 너무 엄격해져 로봇이 새로운 것을 배우는 것을 막을 수 있습니다.

4. 사용처 (논문에 따르면)

이 논문은 이러한 방법들이 현재 다음과 같은 분야에서 테스트되고 사용되고 있다고 지적합니다:

• 로보틱스: 드론, 자율주행차, 로봇 팔.
• 산업 시스템: 화학 공장 및 전력망 (폭발이나 정전을 방지하기 위해).
• 의료 기기: 자동 인슐린 펌프 (혈당이 안전한 범위에 있도록 보장하기 위해).
• 교통: 신호등 최적화 및 철도 안전.

요약

이 논문은 "안전한 강화 학습"의 현재 지형을 보여주는 지도입니다. 이 논문은 학습하는 로봇을 위한 보호 울타리 역할을 할 수 있는 강력한 수학적 도구 (라이아푸노프 함수와 배리어 함수) 를 가지고 있지만, 너무 제한적이지 않으면서도 복잡하고 현실적인 상황에서 완벽하게 작동하도록 만드는 방법을 아직 찾고 있다는 점을 알려줍니다. 목표는 로봇이 결코 추락하지 않으면서 빠르고 똑똑하게 학습할 수 있도록 하는 것입니다.