Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control

이 논문은 부분 관측성 하의 안전-목표 도달 문제를 해결하기 위해, 정보 수집을 제어 리아푸노프 함수로, 안전성을 컨포멀 예측 기반 제어 장벽 함수로 모델링하여 실시간으로 계산 가능한 계층적 제어 아키텍처를 제안합니다.

핵심

이 논문은 **"불확실한 세상에서 로봇이 안전하게 목표에 도달하는 방법"**에 대한 획기적인 해결책을 제시합니다.

상상해 보세요. 로봇이 안개 낀 미로에서 길을 찾고 있습니다. 로봇은 자신의 정확한 위치를 알 수 없고 (불완전한 관측), 주변 환경도 완벽하게 이해하지 못합니다. 이런 상황에서 로봇은 세 가지 일을 동시에 해야 합니다:

1. **목표 지점 (초록색)**으로 가야 합니다.
2. **위험 구역 (빨간색)**에 들어가지 않아야 합니다.
3. **안개 (불확실성)**를 걷어내기 위해 주변을 탐색하고 정보를 수집해야 합니다.

기존의 로봇 제어 방식은 이 세 가지 일을 **하나의 거대한 두뇌 (단일 계획 알고리즘)**로 처리하려 했습니다. 하지만 이는 마치 "운전하면서 동시에 내비게이션을 설정하고, 사고를 피하고, 새로운 길을 찾아야 한다"고 해서 운전자가 너무 많은 일을 동시에 하려다 차를 멈추게 하거나, 너무 보수적으로만 운전하게 만드는 것과 같습니다.

이 논문은 이 문제를 해결하기 위해 **"층별 제어 아키텍처 (Layered Control Architecture)"**라는 새로운 방식을 제안합니다. 마치 로봇에게 세 명의 전문가 팀을 붙여주는 것과 같습니다.

---

🤖 로봇의 새로운 3 인 팀: "정보 수집가", "안전 요원", "내비게이션"

이 논문은 로봇의 두뇌를 세 개의 전문 부서로 나누어 각자 가장 잘하는 일을 하게 합니다.

1. 정보 수집가 (BCLF: Belief Control Lyapunov Function)

• 역할: "안개를 걷어내는 사람"입니다.
• 비유: 로봇이 안개 속에서 길을 잃었을 때, 이 사람은 "어디로 가야 안개가 빨리 걷힐까?"를 계산합니다. 로봇이 목표 지점까지 가는 것보다 먼저 정확한 위치를 파악하는 것이 중요하다고 판단하면, 로봇을 목표에서 잠시 멀어지게 하더라도 벽에 부딪히거나 (충돌 감지) 특정 지점을 지나가며 정보를 모으게 합니다.
• 특징: 이 사람은 **강화학습 (RL)**을 통해 배웠습니다. 마치 게임을 플레이하며 "어떤 행동을 하면 불확실성이 줄어드는가?"를 스스로 학습한 것입니다. 이 학습된 지식은 다른 미로에서도 다시 쓸 수 있어 매우 효율적입니다.

2. 안전 요원 (BCBF: Belief Control Barrier Function)

• 역할: "방패를 든 수호자"입니다.
• 비유: 정보 수집가나 내비게이션이 "저기로 가자!"라고 해도, 안전 요원이 "아니야, 저쪽은 위험해!"라고 말리면 로봇은 즉시 멈춥니다. 이 안전 요원은 단순히 "지금 위험한가?"만 보는 게 아니라, **"앞으로 T 초 동안 위험하지 않을 확률"**을 계산합니다.
• 기술적 특징: '합의 예측 (Conformal Prediction)'이라는 통계 도구를 사용하여, 로봇이 위험한 지역에 들어설 확률을 수학적으로 보장합니다. 마치 "이 길로 가면 99% 확률로 사고가 나지 않는다"라고 보증하는 것입니다.

3. 내비게이션 (Reference Controller)

• 역할: "목표 지점을 가리키는 나침반"입니다.
• 비유: 로봇이 정확한 위치를 알 수 있을 때, 가장 짧은 경로로 목표 (초록색 영역) 로 가라고 지시합니다. 하지만 로봇이 아직 안개 속에서 정확한 위치를 모르면, 이 나침반은 정보 수집가의 도움을 기다립니다.

---

🚀 이 방식이 왜 혁신적인가요?

1. 역할 분담으로 인한 효율성 (Layered Approach)
기존 방식은 모든 일을 한 번에 해결하려다 보니 계산이 너무 복잡해져서 실시간으로 작동하기 어려웠습니다. 하지만 이 방식은 안전 요원은 매순간 (매 0.02 초마다) 빠르게 반응하게 하고, 정보 수집가는 조금 더 느리게 (측정 데이터가 들어올 때) 계획을 수정하게 합니다. 각자가 자신의 속도에 맞춰 일하므로 로봇이 훨씬 빠르고 유연하게 움직입니다.

2. "학습된 지식"의 재사용
정보 수집가 (BCLF) 는 특정 미로에서만 작동하는 게 아니라, 어떤 미로든 "안개를 걷는 법"을 알고 있습니다. 목표 지점이나 위험 구역이 바뀌어도, 정보 수집가는 다시 배울 필요가 없습니다. 마치 "길을 찾는 법"을 배운 사람이 새로운 도시에서도 그 지식을 활용하는 것과 같습니다.

3. 실제 우주 로봇에서 성공!
이론만 있는 게 아닙니다. 연구진은 실제 **우주 공간에서 작동하는 로봇 플랫폼 (공기 베어링을 이용해 무중력을 모방한 실험대)**에서 이 기술을 테스트했습니다. 로봇은 벽에 부딪혀서 자신의 위치를 파악하고 (정보 수집), 안전 요원의 보호를 받으며 좁은 통로를 지나 목표 지점에 성공적으로 도달했습니다.

💡 요약: 이 논문이 우리에게 주는 메시지

로봇이 불확실한 세상에서 안전하고 똑똑하게 움직이려면, 모든 일을 한 두뇌로 처리하려 하지 말고, 전문적인 팀으로 나누어 협력하게 해야 한다는 것입니다.

• 정보 수집가가 안개를 걷어내고,
• 안전 요원이 위험을 막아주며,
• 내비게이션이 목표를 향해 이끕니다.

이 세 가지가 조화롭게 작동할 때, 로봇은 비로소 복잡한 현실 세계에서도 안전하게 임무를 완수할 수 있습니다. 이 논문은 바로 그 조화로운 협력 시스템을 수학적으로 증명하고 실제 로봇에 적용한 성공 사례입니다.

기술 요약

이 논문은 불완전 관측 하의 안전-중요 (Safety-critical) 제어 문제를 해결하기 위해 제안된 새로운 계층적 제어 아키텍처에 관한 연구입니다. 저자들은 부분 관측 마코프 결정 과정 (POMDP) 에서 목표 도달, 안전 유지, 불확실성 감소를 위한 정보 수집이라는 세 가지 상충되는 목표를 동시에 처리하는 기존 방법의 한계를 극복하기 위해 신념 공간 (Belief Space) 에서 직접 작동하는 계층적 제어 프레임워크를 제안했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 실제 로봇 시스템은 노이즈가 있는 센서와 불완전한 모델로 인해 시스템의 정확한 상태를 알 수 없으며, 이를 확률 분포 (신념, Belief) 로 추론해야 합니다.
• 목표: 로봇이 불확실한 초기 상태에서 시작하여 안전하지 않은 영역 (Avoid Set) 을 피하면서 목표 영역 (Goal Set) 에 도달해야 하는 Reach-Avoid POMDP 문제를 다룹니다.
• 기존 방법의 한계: 기존 온라인 POMDP 솔버 (예: MCTS 기반) 는 목표 도달, 안전, 정보 수집을 단일 신념 트리 탐색 내에서 통합하여 처리하려 합니다. 그러나 이 세 가지 목표는 서로 다른 시간 척도 (Safety 는 고주파수 반응이 필요하고, 정보 수집/목표 도달은 장기 계획이 필요함) 를 요구하여 단일 최적화 문제로 통합 시 확장성 문제와 안전성 보장의 어려움을 초래합니다.

2. 제안 방법론 (Methodology)

저자는 신념 공간에서 직접 작동하는 계층적, 인증서 기반 (Certificate-based) 제어 아키텍처를 제안하며, 세 가지 모듈로 문제를 분해합니다.

A. 신념 제어 리아푸노프 함수 (BCLF, Belief Control Lyapunov Functions) - 정보 수집

• 개념: 정보 수집을 신념 공간에서의 리아푸노프 수렴 문제로 공식화합니다. 즉, 로봇이 상태를 정확히 추정할 수 있는 "정보성 있는 (Localized)" 영역으로 신념이 수렴하도록 유도합니다.
• 학습: 고차원 신념 공간에서 수동으로 함수를 설계하기 어렵기 때문에, **강화 학습 (RL)**을 통해 BCLF 를 학습합니다.
  • RL 의 가치 함수 (Value Function) 가 특정 조건 하에서 확률적 리아푸노프 함수의 역할을 할 수 있음을 이론적으로 증명했습니다.
  • 파티클 필터의 순열 불변성 (Permutation Invariance) 을 처리하기 위해 파티클 엔코더와 최대 집계 (Max Aggregation) 를 사용하는 신경망 아키텍처를 도입했습니다.
• 동작: BCLF 는 정보 수집을 수행하는 컨트롤러로 작용하며, 목표 도달을 위한 참조 제어 입력 (Reference Controller) 에서 최소한의 편차만 허용하면서 불확실성을 줄이는 방향으로 로봇을 이동시킵니다.

B. 신념 제어 배리어 함수 (BCBF, Belief Control Barrier Functions) - 안전 보장

• 개념: 기존 점별 (Pointwise-in-time) 안전 보장을 넘어, 유한 시간 구간 (Finite Horizon) 동안 안전할 확률을 보장합니다.
• 기술: 합의 예측 (Conformal Prediction) 기법을 활용하여 파티클 기반의 비가우시안 신념에 대해 확률적 안전 보장을 제공합니다.
  • 파티클의 이력 (History) 을 추적하여 경로 전체에 대한 안전성을 평가합니다.
  • 가장 위험한 상위 파티클들 (Top-p particles) 에 대해 확률적 배리어 조건을 만족하도록 제어 입력을 수정하는 안전 필터 (Safety Filter) 역할을 합니다.
• 동작: BCLF 나 참조 컨트롤러가 생성한 제어 입력이 안전 영역을 위반할 가능성이 있을 때, BCBF 는 최소한의 수정을 통해 안전한 제어 입력을 생성합니다.

C. 통합 제어 아키텍처

• 구조:
  1. 참조 컨트롤러: 평균 상태를 기반으로 목표 지점을 향해 이동합니다.
  2. BCLF (정보 수집): 불확실성이 높은 상태일 때, 목표에 도달하기 위해 필요한 정보 수집 행동을 수행합니다.
  3. BCBF (안전 필터): 위의 두 컨트롤러가 생성한 입력을 실시간으로 모니터링하며, 안전 위반 가능성이 감지되면 제어 입력을 보정합니다.
• 장점: 각 모듈이 서로 다른 주파수 (안전 필터는 고주파수, 정보 수집은 측정 주기에 맞춰 저주파수) 로 작동할 수 있어 계산 효율성이 높고, 모듈 간 재사용이 가능합니다.

3. 주요 기여 (Key Contributions)

1. BCLF 및 BCBF 제안: Reach-Avoid POMDP 를 해결하기 위해 신념 공간에서 정보 수집을 리아푸노프 수렴 문제로, 안전을 배리어 함수 문제로 각각 공식화했습니다.
2. RL 기반 학습 이론: 강화 학습의 가치 함수가 확률적 및 유한 시간 BCLF 로서 유효한 이론적 조건을 제시했습니다.
3. 유한 시간 안전 보장: 기존 점별 보장을 넘어, 합의 예측을 활용한 유한 시간 구간 내 확률적 안전 보장을 가능하게 했습니다.
4. 모듈형 아키텍처: 목표 도달, 정보 수집, 안전을 분리하여 설계함으로써 기존 POMDP 솔버보다 우수한 성능과 확장성을 입증했습니다.
5. 하드웨어 검증: 10,000 개 이상의 파티클을 가진 비가우시안 신념을 실시간으로 처리하여 우주 로봇 플랫폼 (Space Robotics Platform) 에서 성공적으로 검증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션:
  • Constrained Lightdark, Antenna, Bumper 환경에서 수행된 실험 결과, 제안된 방법은 기존 MCTS 기반 솔버 (CPOMCPOW, CPFT-DPW) 보다 **성공률 (Success Rate)**과 **안전성 (Avoid Rate)**이 모두 우수했습니다.
  • 특히, 정보 수집과 목표 도달이 상충되는 환경에서도 BCLF 를 통해 효율적인 경로 탐색이 가능했으며, BCBF 를 통해 안전 위반을 거의 방지했습니다.
  • 학습된 BCLF 는 새로운 작업 (예: 원형 추적) 에도 재학습 없이 적용 가능한 일반화 능력을 보였습니다.
• 하드웨어 실험:
  • 실제 우주 로봇 플랫폼 (Air-bearing platform) 에서 IMU 충격 감지를 이용한 국소화 및 항법을 수행했습니다.
  • 좁은 통로 통과 및 다양한 초기 조건에서 실시간으로 제어 입력을 생성하며 목표 도달과 안전을 동시에 달성했습니다.
  • 8,000 개의 파티클을 사용하여 10Hz(정보 수집) 및 50Hz(안전 필터) 의 제어 주기를 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 안전이 중요한 로봇 시스템에서 불완전 관측 하의 의사결정 문제를 해결하기 위한 실용적이고 이론적으로 엄밀한 프레임워크를 제시했습니다.

• 실시간성: 복잡한 비가우시안 신념을 다루면서도 경량화된 2 차 계획 (Quadratic Programming) 으로 실시간 제어가 가능합니다.
• 모듈성: 정보 수집 (BCLF) 과 안전 (BCBF) 을 분리함으로써 각 모듈을 독립적으로 개선하거나 다른 작업에 재사용할 수 있습니다.
• 확장성: 기존 단일 트리 탐색 방식의 한계를 극복하고, 고차원 및 비선형 동역학을 가진 실제 로봇 시스템에 적용 가능한 새로운 패러다임을 제시했습니다.

결론적으로, 이 연구는 불확실성 하의 로봇 제어에서 안전성과 과업 수행 능력의 균형을 맞추는 새로운 표준을 제시하며, 실제 하드웨어에서의 성공적인 적용을 통해 그 유효성을 입증했습니다.