기술 요약: 미지의 다중 실내 가구 환경 내 다중 객체 탐색을 위한 인터리브드(Interleaved) POMDP 계획법

문제 정의

본 논문은 미지의 복잡한 다중 실내 가구 환경에서 작동하는 이동 로봇의 다중 객체 탐색(multi-object search) 과제를 다룹니다. 결정론적 환경과 달리, 이러한 환경은 광범위한 불확실성을 내포하고 있습니다: 대상 객체의 위치를 알 수 없으며, 장애물(예: 의자, 테이블)은 관찰되지 않았고, 여러 객체와 장애물의 조합으로 인해 상태 공간(state space)이 매우 방대합니다.

핵심적인 어려움은 부분 관측 마르코프 결정 과정(POMDP) 계획에 있습니다. POMDP는 불확실성 하에서의 순차적 의사결정을 위한 원칙적인 프레임워크를 제공하지만, 규모가 큰 도메인에서는 계산적으로 다루기 매우 어렵습니다. 믿음 공간(belief space)의 차원은 객체 수에 따라 기하급수적으로 증가하며, 장애물 위치에 대한 사전 지식의 부재는 장기적인 계획(long-horizon planning)을 특히 어렵게 만듭니다. 기존 방식들은 계획의 품질과 효율성 사이의 균형을 맞추는 데 실패하는 경우가 많습니다. 즉, 기하학적 내비게이션 제약 조건을 무시하거나, 물리적 세계의 불확실성에 대한 강건성이 부족한 단순 재계획(replanning) 전략에 의존하곤 합니다.

방법론: Inter-POMDP

저자들은 복잡성을 관리하면서도 강건성을 유지하기 위해 문제를 두 개의 상호작용하는 수준으로 분해하는 새로운 인터리브드 POMDP 계획 알고리즘(interleaved POMDP planning algorithm) 인 Inter-POMDP를 제안합니다.

1. 계층적 분해 (Hierarchical Decomposition)

이 프레임워크는 계획 작업을 다음과 같이 분리합니다:

• 상위 수준 계획기 (Semantic Reasoning): 시맨틱 맵($M_s$) 상에서 작동하여 어디를 탐색할지 결정합니다. 객체 분포를 기반으로 추상적 행동(Navigate, Search, Sense, Declare)을 선택합니다.
• 하위 수준 계획기 (Geometric Reasoning): 토폴로지컬 맵($M_p$)과 점유 격자(occupancy grid, $M_o$) 상에서 작동하여 어떻게 안전하게 이동할지 결정합니다. 기본 동작(move, turn)을 처리하며, 미관측 장애물로 인한 궤적 수준의 불확실성을 모델링합니다.

2. 주요 구성 요소

• 믿음 표현 (Belief Representations):
  • 상위 수준: 이산화된 가구 위치에 대한 **히스토그램 믿음(histogram beliefs)**을 사용합니다. 이는 탐색을 유망한 영역(예: 컵은 테이블 위에 있을 가능성이 높음)으로 유도하기 위해 LLM 기반 시맨틱 사전 지식(객체-객체 및 객체-가구 관계)을 사용하여 정교화됩니다.
  • 하위 수준: 장애물 구성에 대한 가설을 나타내기 위해 **파티클 믿음(particle beliefs)**을 사용합니다. 이를 통해 계획기는 후보 궤적을 따라 충돌 위험을 추론할 수 있습니다.
• LLM 통합: 복잡한 관계 모델을 학습시키는 대신, 시스템은 LLM을 활용하여 시맨틱 관계(예: "주방 테이블 위의 커피 컵")를 추론하고 메모리 맵을 통해 도메인 특화 지식을 온라인으로 축적합니다.
• 인터리브드 통신 (핵심 혁신):
  • 상위 수준 계획기가 실행 비용을 인지하지 못하는 순차적 계층 구조 방식과 달리, Inter-POMDP는 양방향 피드백 루프를 구축합니다.
  • 하위 수준 계획기는 관찰되거나 가설로 설정된 장애물을 기반으로 내비게이션 비용을 계산합니다.
  • 이 비용은 도메인 지식으로서 상위 수준의 POUCT (Partially Observable Upper Confidence Tree) 탐색을 초기화하기 위해 상위로 전달됩니다.
  • 구체적으로, 상위 수준 트리 탐색의 Q-값($Q(s,a)$)은 0이 아닌 하위 수준의 내비게이션 비용으로 초기화됩니다. 이는 탐색이 시맨틱적으로 유망할 뿐만 아니라 기하학적으로도 실행 가능한 방향으로 편향되도록 하여, 경로가 막혀 있거나 비용이 많이 드는 경로를 선택하는 것을 방지합니다.

3. 알고리즘 흐름

알고리즘은 지도와 믿음을 반복적으로 업데이트합니다:

1. 상위 수준 계획기는 LLM 사전 지식과 하위 수준 비용 피드백에 의해 유도되어 POUCT를 사용하여 시맨틱 서브태스크를 선택합니다.
2. 하위 수준 계획기는 LiDAR/카메라 관측을 바탕으로 파티클 믿음과 토폴로지컬 맵을 업데이트하며 동작 프리미티브를 실행합니다.
3. 하위 수준 실행에서 도출된 내비게이션 비용은 상위 수준 계획기로 피드백되어 중복되는 탐색 브랜치를 제거하고 미래의 행동 선택을 정교화합니다.

주요 기여

1. 새로운 인터리브드 프레임워크: 본 논문은 미지의 다중 실내 환경 내 다중 객체 탐색을 위한 최초의 인터리브드 POMDP 계획 알고리즘을 소개합니다. 시맨틱 상위 수준 계획기와 기하학적 하위 수준 계획기 간의 원칙적인 상호작용을 설계했습니다.
2. 도메인 지식 통합: 이 방법은 LLM 기반의 시맨틱 추론과 접지된(grounded) 내비게이션 피드백을 효과적으로 결합합니다. 불확실성을 순수하게 시맨틱한 것이 아니라 물리적인 것(파티클 믿음을 통해)으로 취급함으로써, 내비게이션 비용을 상위 수준의 의사결정 과정에 직접 통합합니다.
3. 강건성 및 효율성: 이 프레임워크는 장애물 회피를 위한 파티클 믿음과 탐색 방향을 위한 LLM 사전 지식을 사용하여 계획의 품질과 효율성 사이의 균형을 맞춤으로써, 결합된 상태 공간 계획의 계산적 난해함을 피합니다.

실험 결과

저자들은 시뮬레이션(8~12개 방이 있는 ProcTHOR 환경)과 실제 배치(듀얼 암 모바일 로봇) 모두에서 Inter-POMDP를 두 가지 베이스라인인 CSG-TL 및 COSPOMDP와 비교 평가했습니다.

• 충돌 감소: Inter-POMDT는 베이스라인 대비 충돌 횟수를 최대 63% 감소시켰습니다. 많은 실험에서 두 번째 및 세 번째 객체를 찾을 때 충돌 0을 달지만, 베이스라인은 더 높고 체계적이지 않은 충돌률을 보였습니다.
• 내비게이션 효율성: 이 알고리즘은 내비게이션 단계를 최대 35% 줄였습니다. 복잡한 장면(예: 세 번째 객체를 찾는 경우)에서는 CSG-TL 대비 단계를 90% 이상 단축했습니다.
• 센싱 경제성: 탐지 횟수가 최대 32% 감소했는데, 이는 로봇이 단순 탐색적 센싱을 하는 대신 타겟 위치로 센서를 더 정밀하게 향했음을 나타냅니다.
• 일반화 능력: 이 방법은 장면별 튜닝 없이도 다양한 장면에서 안정적인 성능을 유지한 반면, 베이스라인은 환경 레이아웃에 따라 성능 편차가 컸습니다.

의의 및 주장

본 논문은 Inter-POMDP가 대규모 미지 환경에서 계획의 품질과 효율성 사이의 트레이드오프에 대한 원칙적인 해결책을 제공한다고 주장합니다. 접지된 내비게이션 정보를 믿음 업데이트 과정에 체계적으로 포함함으로써, 불확실성 하에서의 계획을 더욱 강건하게 만듭니다.

저자들은 이 접근 방식이 단순한 재계획이나 LLM 기반의 행동 재선택을 넘어, 글로벌 계획의 **지속적이고 반복적인 공동 정교화(co-refinement)**를 생성한다는 점을 강조합니다. 이 연구의 의의는 저수준의 기하학적 제약(장애물 불확실성)이 고수준의 시맨틱 결정(탐색 순서)에 정보를 제공해야 하며, 이것이 현실적인 가구 환경에서 더 안전하고 효율적인 자율 탐색으로 이어진다는 점을 입증한 데 있습니다. 이 작업은 불확실성을 순수하게 시맨틱한 것이 아닌 물리적인 것으로 취급하는 것이 완전 자율 가구 로봇을 배치하는 데 필수적임을 시사합니다.