Safe Learning Predictive Control for Ego-World Robotic Systems

기술 요약: 안전한 온라인 월드 정책 학습 모델 예측 제어 (SOWL-MPC)

문제 정의
본 논문은 제어 정책이 알려져 있지 않고 비정상성(non-stationary)을 가질 수 있는 '월드(world)' 로봇과 공유 환경에서 작동하는 '에고(ego)' 로봇의 안전한 자율 주행 문제를 다룹니다. 이 시나리오는 EGO–WORLD 프레임워크로 명명되며, 에고 로봇이 월드 로봇의 노이즈가 섞인 상태 측정값($\tilde{z}_t = z_t + w_t$)에만 접근할 수 있고, 월드 로봇의 명목 역학(drift vector $g(z)$ 및 control matrix $H(z)$)에 대한 사전 지식은 갖추고 있으나, 월드 로봇의 실제 제어 정책 $\pi(z)$는 알지 못한다고 가정합니다. 기존의 반응형 방법(예: Dynamic Window Approach, Control Barrier Functions)은 종종 근시안적인 반면, 기존의 예측 기반 접근 방식은 관찰되지 않은 행동에 적응하지 못하는 오프라인 학습 모델이나 고정된 운동 가정을 사용하는 경향이 있습니다. 핵심 문제는 스트리밍 데이터로부터 잠재적인 월드 정책을 반복적으로 학습하고, 이 학습을 활용하여 모델 예측 제어(MPC)를 통해 안전하고 충돌 없는 기동을 수행할 수 있는 온라인 제어 프레임워크를 설계하는 것입니다.

방법론
제안된 솔루션인 SOWL-MPC는 세 가지 주요 단계를 통해 온라인 학습과 재귀적 호라이즌 제어 체계를 통합합니다:

1. 정책 모델링 및 오프라인 사전 학습:
   알려지지 않은 월드 정책 $\pi(z)$는 정책 벡터의 각 성분에 대해 독립적인 희소 변분 가우시안 프로세스(Sparse Variational Gaussian Processes, SVGP) 세트로 모델링됩니다. 초기에는 노이즈가 포함된 상태-입력 쌍의 데이터셋을 통해 오프라인 사전 학습을 거쳐 하이퍼파라미터를 선택합니다. 입력 데이터(월드 제어 입력)는 알려진 명목 역학에 기반한 최소제곱법을 사용하여 연속적인 노이즈 섞인 상태 관측으로부터 온라인으로 재구성됩니다.

2. 온라인 변분 조건화(OVC)를 통한 온라인 학습:
   재학습의 과도한 계산 비용 없이 실시간으로 새로운 데이터에 적응하기 위해, 저자들은 **온라인 변분 조건화(Online Variational Conditioning, OVC)**를 채택합니다. OVC는 전체 데이터 이력을 저장하는 대신, 유도 지점(inducing locations), 변분 평균 및 공분차를 유지하여 SVGP 파라미터를 재귀적으로 업데이트합니다. 이 알고리즘은 현재의 사후 확률을 "의사 데이터(pseudo-data)"로 투영하고, 이를 새로운 관측값과 결합하여 유도 지점과 변분 파라미터를 업데이트합니다. 이를 통해 시스템은 스트리밍되는 노이즈 섞인 측정값으로부터 잠재 정책을 직접 학습할 수 있습니다.

3. 불확실성을 고려한 궤적 예측 및 제어:
   학습된 정책은 1차 가우시안 모멘트 전파 방식(Extended Kalman Filter의 예측 단계와 유사)을 통해 비선형 월드 역학을 통해 전파됩니다. 이는 예측 불확실성(공분차의 Trace)을 포함한 월드 로봇의 미래 궤적에 대한 다단계 확률적 예측을 생성합니다.
   이러한 예측값은 비선형 MPC 컨트롤러로 전달됩니다. MPC 정식화에는 다음이 포함됩니다:

   • 비용 함수: 제어 노력 및 입력 평활도에 대한 페널티를 포함한 표준 추적 비용.
   • 안전 제약 조건: 로봇 간의 안전 거리를 팽창시켜 충돌 회피를 강제합니다. 안전 마진은 사용자 정의 안전 파라미터 $n_\sigma$에 의해 스케일링된 예측 불확실성(공분차의 trace)을 기반으로 동적으로 조정됩니다. 하드 제약 조건은 즉각적인 다음 단계에 적용되며, 슬랙 변수(slack variables)를 사용하여 이후의 예측 호라이즌 동안 일시적인 완화를 허용함으로써 타당성(feasibility)을 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

1. SOWL-MPC 프레임워크: 월드 로봇의 역학을 학습하거나 오프라인 예측기에 의존하는 대신, 협력하지 않는 월드 로봇의 잠재 상태 피드백 정책을 온라인으로 학습하는 EGO–WORLD 시스템을 위한 새로운 제어 전략입니다. 이 정식화는 데이터 효율성을 위해 상태 공간에 비해 차원이 낮은 입력 공간을 활용합니다.
2. 로보틱스에 대한 OVC 적용: 온라인 정책 식별 및 궤적 예측을 위해 온라인 변분 조건화(OVC)를 로봇 시스템에 처음으로 적용했습니다. 이를 통해 SVGP 모델이 고정된 계산 복잡도($O(M^3)$, 여기서 $M$은 유도 지점의 수)로 스트리밍 데이터에 대해 지속적으로 업데이트될 수 있도록 합니다.
3. 실시간 검증: ROS 2(CHOIRBOT 툴박스와 통합)에서의 풀스택 구현을 통해 실시간 실행 가능성을 입증했습니다. 이 접근 방식은 광범위한 몬테카를로 가상 실험과 추월 및 교차 기동을 포함한 실제 하드웨어 테스트를 통해 검증되었습니다.

실험 결과
전략은 가상(Webots/ROS 2) 및 실제 환경(NVIDIA JetRacer 카를 이용한 실내 경기장) 모두에서 평가되었습니다:

• 예측 정확도: ETHZ MOBIL 및 LEMNISCATE 트랙에서의 가상 실험에서, SOWL-MPC는 오프라인 학습된 GP 베이스라인 및 Constant Velocity(CV) 베이스라인보다 성능이 크게 뛰어났습니다. SOWL-MPC의 평균 변위 오차(ADE)는 초기 학습 단계 이후 약 0.05 m에서 안정화된 반면, CV 베이스라인은 0.4 m를 초과했고 오프라인 베이스라인은 0.7 m 이상으로 주기적인 급증을 보였습니다.
• 안전 보장: 몬테카를로 시뮬레이션은 안전 파라미터 $n_\sigma$를 튜닝함으로써 공격성과 안전성 사이의 트레이드오프가 가능하다는 것을 보여주었습니다. $n_\sigma = 3$일 때, 이 방법은 50회의 시행 중 충돌 회피에서 100% 성공률을 달이트한 반면, 결정론적 접근 방식($n_\sigma = 0$)은 36%의 시행에서 실패했습니다.
• 실시간 성능: 제어 단계당 평균 계산 시간은 예측 호라이즌이 $T=40$인 경우에도 50 ms 샘플링 시간보다 훨씬 낮게 유지되어 실시간 실행 가능성을 확인했습니다.
• 실제 환경 검증: 물리적 하드웨어에서 시스템은 선제적인 회피 기동을 성공적으로 수행하였으며, ADE가 약 0.05 m에서 안정화되어 가상 실험 결과가 실제 역학으로 전이됨을 확인했습니다.

의의 및 주장
본 논문은 SOWL-MPC가 알려지지 않은 적응형 에이전트가 존재하는 환경에서 반응형 안전성과 예측형 계획 사이의 간극을 메움으로써 중요한 진전을 이루었다고 주장합니다. 월드 로봇의 역학만을 학습하는 것이 아니라 그 정책을 명시적으로 모델링하고 학습하며, 효율적인 온라인 업데이트를 위해 OVC를 활용함으로써, 관찰된 월드 로봇의 행동에 따라 적응하는 안전 보장을 달성합니다. 저자들은 OVC를 이 특정 로봇 문제에 적용하여 불확실성을 고려한 제어 루프에 직접 통합될 수 있는 데이터 효율적인 잠재 정책 학습을 가능하게 한 첫 번째 사례임을 강조합니다. 이 연구는 월드 로봇의 제어 로직이 완전히 알려져 있지 않고 노이즈가 섞인 상태 관측값만 사용 가능한 상황에서도 안전하고 선제적인 항해가 가능하다는 것을 보여줍니다.