Online Structure Learning and Planning for Autonomous Robot Navigation using Active Inference

기술 요약: 능동적 추론(Active Inference)을 이용한 자율 로봇 내비게이션을 위한 온라인 구조 학습 및 계획

문제 정의

낯선 환경에서 작동하는 자율 이동 로봇은 사전 정의된 지도, 광범위한 오프라인 학습, 또는 인간의 감독 없이도 위치 추정, 매핑, 그리고 계획을 동시에 수행해야 하는 과제에 직면해 있습니다. 기존 방식들은 종종 다음과 같은 특정 트레이드오프를 겪습니다:

• 메트릭 SLAM 시스템(예: ORB-SLAM3, FAST-LIO2)은 정확한 포즈 추정을 제공하지만, 크거나 구조화되지 않은 환경에서 드리프트(drift)에 취약하며 내재적인 탐사 정책이 부족합니다.
• **경로 계획기(Path planners)**는 높은 계산 비용을 초기 비용으로 발생시키거나, 중복된 백트래킹(backtracking)을 유발하는 탐욕적 휴리스틱(예: 프런티어 기반 탐사)에 의존하는 경우가 많습니다.
• 학습 기반 접근 방식(예: Neural-SLAM, ViKiNG, NoMaD)은 유연성을 개선하지만, 일반적으로 타겟 환경에 대한 광범적인 오프라인 데이터 수집, 사전 학습, 또는 원격 조종 시연을 필요로 하므로 진정으로 새로운 설정에 대한 적응력이 제한됩니다.

해결하고자 하는 핵심 과제는 사전 학습이나 수작업으로 설계된 사전 지식 없이도, 센서 노이즈, 오도메트리 드리프트, 환경 변화에 탄력적으로 대응하며 온라인 구조 학습과 계획을 수행하는 통합 시스템을 구축하는 것입니다.

방법론: AIMAPP 프레임워크

저자들은 능동적 추론 프레임워크(AIF)에 기반한 단일 생성 모델 내에서 매핑, 위치 추정, 의사결정을 통합하는 AIMAPP(Active Inference MAPping and Planning) 프레임워크를 제안합니다.

1. 상태 표현 및 인지 매핑

AIMAPP은 잠재 상태(latent state)가 두 가지 구성 요소로 분해된 **희소 위상적 지도(sparse topological map)**를 유지합니다:

• $s_t$ (이산 상태): 그래프의 별도 노드를 나타내는 위상적 인덱스 (하나의 "장소").
• $p_t$ (연속적 메트릭 위치): 공간적 추론에 사용되는 로컬 2D 메트릭 좌표.
  이러한 분해는 생물학적 항법 시스템(장소 세포의 정체성과 격자 세포의 경로 적분 분리)을 모방합니다. 지도는 적응적으로 성장합니다. 새로운 노드는 기존 상태의 "영향 반경"을 넘어서는 움직임 예측이 발생할 때 생성되며, 이는 자유 에너지 비교를 통해 결정됩니다. 관측값은 노드와 연관된 360° 파노라마 이미지(또는 추상화된 센서 데이터)로 저장됩니다.

2. 생성 모델 및 추론

시스템은 부분 관측 마르코프 결정 과정(POMDP)으로 작동합니다. 생성 모델은 다음을 포함합니다:

• 상태 전이 ($B_s$): 위상적 상태 간의 이동 가능성.
• 위치 전이 ($B_p$): 메트릭 위치 간의 이동 가능성.
• 관측 가능도 ($A_o$): 특정 상태에서 특정 파노라마를 관측할 확률.
• 위치 가능도 ($A_p$): 특정 상태에서 특정 메트릭 위치를 점유할 확률.

위치 추정은 **신념 기반(belief-driven)**입니다. 에이전트는 예측된 움직임과 감각적 증거를 결합하여 **변분 자유 에너지(Variational Free Energy, VFE)**를 최소화함으로써 현재 상태를 추론합니다. 이를 통해 시스템은 오도메트리 드리프트에 강건하게 유지될 수 있습니다. 즉, 드리프트가 발생하면 에이전트는 순수 오도메트리에만 의존하는 대신, 예측과 관측된 결과 사이의 일관성을 우선시하여 익숙한 관측을 찾는 방식으로 재위치 추정(re-localization)을 수행합니다.

3. 계획 및 의사결정

행동 선택은 기대 자유 에너지(Expected Free Energy, EFE) ($G$)의 최소화에 의해 구동됩니다. 탐사와 활용(exploration and exploitation)이 별개의 목표로 분리되는 전통적인 강화 학습과 달리, AIMAPP은 이 두 가지를 동일한 EFE 항에서 도출합니다:

• 인식적 가치 (Epistemic Value, 탐사): 환경(상태 및 파라미터)에 대한 불확실성을 줄이기 위한 정보 획득량.
• 실용적 가치 (Pragmatic Value, 활용): 선호하는 관측(예: 목표 도달 또는 충돌 회피)과의 예상 일치도.

후보 정책은 행동 공간의 조합적 복잡성을 처리하기 위해 **몬테카를로 트리 탐색(MCTS)**을 사용하여 평가됩니다. 정책 $\pi$에 대한 EFE는 상태/파라미터에 대한 정보 획득, 예상 충돌 회피, 그리고 관측/위치/상태에 대한 효용 항으로 분해됩니다.

4. 온라인 학습 및 지도 확장

시스템은 내부 파라미터를 지속적으로 업데이트합니다. 지도 확장은 "확장된 모델"(새로운 상태를 포함하는 모델)이 현재 모델보다 더 낮은 자유 에너지($\Delta F < 0$)를 생성할 때 트리거됩니다. 전이 모델($B_s$)과 관측 가능도($A_o$)는 경험된 전이와 예측된 전이를 기반으로 디리클레 유사 계수(Dirichlet pseudo-counts)를 사용하여 업데이트되며, 이를 통해 에이전트는 사전 학습 없이 센서-운동 피드백으로부터 세계 모델을 정교화할 수 있습니다.

주요 기여

1. 통합된 능동적 추론 프레임워크: AIMAPP은 매핑, 위치 추정, 계획을 단일 생성 모델로 통합하여, 별도의 모듈이나 탐사와 목표 달성 사이의 수작업 조정이 필요한 트레이드오프를 제거합니다.
2. 완전 자가 지도 온라인 학습: 에이전트는 사전 학습, 오프라인 데이터 수집, 또는 원격 조종 시연 없이 첫 번째 상호작용부터 위상적 지도를 구축하고 정교화합니다.
3. 드리프트 및 노이즈에 대한 강건성: 예측된 신념을 순수 오도메트리보다 우선시함으로써, 시스템은 센서 드리프트가 발생하는 환경과 지각적 유사성(perceptual aliasing) 및 중간 정도의 변화가 있는 환경에서도 견고하게 작동합니다.
4. 모듈성 및 불가지론적 특성: 아키텍처는 센서 불가지론적(RGB, Depth, LiDAR 지원 가능)이며 플랫폼 불가지론적(ROS 호환)으로, 인지 계층과 인지/운동 제어를 분리합니다.
5. 확장 가능한 평가: 시스템은 이전의 능동적 추론 내비게이션 시스템이 다루지 못했던 규모인 최대 325 m²의 환경에서 평가되었습니다.

실험 결과

저자들은 네 개의 시뮬레이션 및 세 개의 실제 환경에서 AIMAPP을 최신 베이스라인(Frontier-based, GBPlanner, FAEL) 및 인간 원격 조종과 비교 평가했습니다.

• 탐사 효율성: 시뮬레이션 환경에서 AIMAPP은 최신 방식(FAEL, GBPlanner)과 대등하거나 이를 상회하는 커버리지 효율성을 달성했습니다. 구체적으로, AIMAPP은 평균적으로 인간 원격 조종 성능의 **90.3%**에 달하는 커버리지 효율성에 도달했습니다. 실제 환경 테스트에서도 AIMAPP은 커버리지 속도와 성공률 측면에서 Frontier 기반 탐사보다 일관되게 우수한 성능을 보였습니다.
• 강건성: AIMAPP은 오도메트리 기반 베이스라인(예: Nav2를 사용하는 Frontiers)이 실패하는 조건(예: 모래가 깔린 주차장이나 심한 드리프트가 발생하는 카펫 바닥)에서도 성공적으로 작동했습니다. 또한 시뮬레이션에서의 움직이는 장애물과 실제 환경의 센서 노이즈에 대한 탄력성을 입증했습니다.
• 목표 도달: 시스템은 모든 테스트 환경에서 작업별 재조정 없이 인간 원격 조종 성능의 74% 이내의 목표 도달 성능을 달성했습니다.
• 성공률: AIMAPP은 환경당 5회의 성공적인 탐사 시도를 얻는 데 있어 **79%**의 성공률을 기록하여, Frontiers(52%)와 FAEL(48%)을 능가했으나, GBPlanner(87%)보다는 약간 낮았습니다. 실패의 주요 원인은 대규모 미탐사 영역에서의 심각한 드리프트로 인한 복구 불가능한 지도 중첩 또는 미감지된 장애물과의 물리적 충돌 때문이었습니다.

의의 및 주장

본 논문은 능동적 추론(컴퓨터 신경과학의 이론)이 실제 로봇을 위한 모듈식이고 강건한 내비게이션 전략으로 성공적으로 적응될 수 있음을 입과 함께 입증한다고 주장합니다. 그 의의는 내비게이션을 가설 검정으로 취급한다는 점에 있습니다. 즉, 미래 상태에 대한 예측을 생성하고, 행동을 통해 이를 평가하며, "놀라움(surprise, 예측 오차)"을 바탕으로 이를 수정하는 것입니다.

저자들은 AIMAPP이 구조화되지 않은 환경에서 확장 가능한 내비게이션을 위한 모듈식, 자가 지도 솔루션을 제공한다고 강조합니다. 탐사와 목표 달치를 단일 목적 함수(기대 자유 에너지 최소화) 내에 통합함으로써, 시스템은 작업별 튜닝이나 사전 지식 없이도 작동할 수 있습니다. 이 연구는 에이전트가 첫 번째 상호작용으로부터 환경의 구조를 발견하고, 전통적인 메트릭 매핑이나 사전 학습된 학습 모델이 어려움을 겪는 동적이고 구조화되지 않은 낯선 공간에서 효과적으로 작동할 수 있는 방향을 제시합니다.