Bayesian Optimization for Learning Nonlinear MPC in Autonomous Agent Navigation

기술 요약: 자율 에이전트 내비게이션을 위한 비선형 MPC 학습용 베이지안 최적화

문제 정의
동적이고 미지의 환경에서 실시간 자율 내비게이션은 이동 로봇, 특히 복잡한 접촉 역학으로 인해 매끄럽고 동역학적으로 일관된 움직임이 필요한 보행 플랫폼에 있어 근본적인 과제로 남아 있다. 전역 계획(Global Planning)과 저수준 제어(Low-level Control)를 분리하는 전통적인 디커플링 구조는 계획과 동적 실행 가능성 사이의 결합 관계를 포착하지 못해, 실행 시 움직임이 끊기거나 일반화 성능이 떨어지는 문제를 야기한다. 또한, 모델 예측 제어(MPC)의 배포는 역사적으로 두 가지 요인에 의해 저해되어 왔다: 효율적인 환경 표현 방식의 필요성과 비용 함수 가중치 튜닝의 어려움이다. 수동 튜닝은 시간이 많이 소요되고 환경 의존적이며, 다양한 작업과 설정에 걸쳐 일반화되는 데 실패하는 경우가 많다.

방법론
저자들은 반응형 롤링 호라이즌(Rolling-horizon) 계획과 비선형 MPC를 긴밀하게 통합한 맵 프리(Map-free) 계층적 내비게이션 프레임워크를 제안한다. 이 시스템은 로봇 불가지론적(Robot-agnostic)이며 Unitree Go2 사족보행 로봇을 통해 검증되었다. 아키텍처는 다섯 개의 상호 연결된 모듈로 구성된다:

1. 매핑 및 인지 (Mapping and Perception): 현재 포인트 클라우드로부터 각 제어 주기마다 LiDAR 기반 가우시안 점유 격자(Gaussian occupancy grid)가 구축된다. 각 셀은 LiDAR 반사 지점까지의 최소 유클리드 거리에 기반하여 점유 확률을 인코딩한다. 추가로, 방문한 영역 간의 고수준 연결성을 인코딩하기 위해 지속적인 토폴로지컬 내비게이션 그래프(WildOS에서 영감을 받음)가 사용되어 전역 계획을 지원한다.
2. 롤링 호라이즌 경로 계획 (Rolling-Horizon Path Planning): 전역-지역 전략이 채택된다. 토폴로지컬 그래프가 점유 격자 상에서 작동하는 로컬 A* 플래너에 웨이포인트를 제공한다. A* 플래너는 임계값 미만 셀에는 소프트 장애물 페널티를, 점유된 셀에는 하드 제약 조건을 적용하여 충돌 없는 궤적을 생성한다. 생성된 경로는 격자 아티팩트를 제거하기 위해 리샘플링 및 스무딩 과정을 거친다.
3. 비선형 MPC 트래커 (Nonlinear MPC Tracker): A*로부터 생성된 참조 궤적은 CasADi로 정식화되고 IPOPT로 해결되는 비선형 MPC에 의해 추적된다. MPC는 홀로노믹 운동학 모델을 사용하여 5초의 호라이즌(10Hz에서 50단계) 동안 작동한다. 결정적으로, 장애물 회피는 가장 가까운 LiDAR 반사 지점에 대해 평가되는 매끄럽고 미분 가능한 시그모이드 배리어 함수(Sigmoid barrier function)를 통해 강제되며, 이를 통해 비선형 프로그래밍 문제의 희소성(Sparsity)을 유지한다.
4. 베이지안 최적화(BO) 파이프라인: 파라미터 민감도 문제를 해결하기 위해 오프라인 베이지안 최적화 기법이 도입된다. 시스템은 다양한 시뮬레이션 환경을 대상으로 11차원 파라미터 벡터 $\theta$(추적 가중치, 제어 노력, 저크 정규화, 장애물 배리어 파라미터 포함)를 튜닝한다.
   • 획득 전략 (Acquisition Strategy): 프레임워크는 복합 성능 점수를 기반으로 근사 최적 설정을 식별하기 위해 트리 구조 파젠 추정기(Tree-structured Parzen Estimators, TPE)를 사용한다. 이 점수는 목표 진행도, 경로 효율성, 제어 부드러움(Jerk), 장애물 회피, 시간 효율성 등의 지표를 집계한다.
   • 민감도 분석 (Sensitivity Analysis): 최적화 결과에 가우시안 프로세스(GP) 대리 모델을 적합시켜 파라미터 민감도를 분석하고 최적화 지형을 시각화한다.

주요 기여

• 통합 프레임워크: 가우시안 점유 매핑, 토폴로지컬 그래프 계획, A* 로컬 계획, 그리고 미분 가능한 비선형 MPC를 결합한 모듈형 맵 프리 내비게이션 스택.
• 자동 파라미터 튜닝: 다양한 시뮬레이션 시나리오 전반에서 MPC 하이퍼파라미터를 최적화하기 위해 TPE를 사용하는 오프라인 BO 파이프라인을 도입하여 수동의 환경별 튜닝 필요성을 제거함.
• Sim-to-Real 검증: 시뮬레이션에서 튜닝된 파라미터가 추가적인 온라인 튜닝 없이 물리적 하드웨어로 효과적으로 전이됨을 입증하는 광범한 실험적 검증.
• 미분 가능한 장애물 회피: MPC 비용 함수 내에 매끄러운 시그모이드 배리어를 구현하여, 안전 제약을 유지하면서도 효율적인 NLP 솔빙을 가능하게 함.

결과
시스템은 세 가지 시뮬레이션 환경(Open, Indoor Office, 그리고 별도로 분리된 Warehouse)에서 평가되었으며, 실제 실험실의 물리적 Unitree Go2에 배치되었다.

• 성능 향상: 수동으로 튜닝된 베이스라인과 비교했을 때, BO로 튜닝된 구성은 시뮬레이션 환경 전반에서 평균 경로 길이 38.7% 감소 및 MPC 솔빙 시간 25.3% 감소를 달oc했다.
• 효율성: 협소한 실내 사무실 환경에서 경로 길이는 32.3%, 솔빙 시간은 49.2% 감소했다. 미학습된 창고(Warehouse) 환경에서는 경로 길이가 44.5% 감소하여 강력한 분포 외(Out-of-distribution) 일반화 성능을 보여주었다.
• 성공률: 시뮬레이션 튜닝된 파라미터를 사용하여 물리 로봇에서 90.0%의 내비게이션 성공률(10회 중 8회 성공)을 달성하였으며, 이는 베이스라인의 성공률 50%(10회 중 5회)에 비해 유의미한 개선이다.
• 파라미터 민감도: GP 대리 모델을 통한 민감도 분석 결과, 동적 정규화(Jerk)와 제어 노력 가중치가 가장 결정적인 파라미터였으며, 추적 가중치는 상대적으로 낮은 민감도를 보였다. BO 과정은 평균 파라미터 민감도를 42.3% 감소시켜 더 매끄러운 최적화 지형을 형성했다.

의의 및 주장
본 논문은 이 프레임워크가 보행 로봇의 MPC 튜닝에 있어 '심투리얼(Sim-to-Real)' 간극에 대한 원칙적인 해결책을 제공한다고 주장한다. 베이지안 최적화를 통해 튜닝 과정을 자동화함으로써, 저자들은 다양한 환경 복잡도에 걸쳐 견고하게 작동하며 물리적 하드웨어로 직접 전이될 수 있는 단일 파라미터 세트를 시뮬레이션에서 도출할 수 있음을 입증했다. 이 연구는 대조적인 난이도의 환경들을 가로질러 최적화를 수행하는 것이 수동으로 튜닝된 베이스라인보다 더 효율적일 뿐만 아니라, 분포 변화(Distribution shifts)에 더 강건한 파라미터 구성을 산출한다는 것을 강조한다. 저자들은 이를 광범적인 수동 개입 없이 다양한 로봇 플랫폼에 배포할 수 있는 범용 맵 프리 내비게이션 스택을 향한 단계로 규정한다.