Effective Task Planning with Missing Objects using Learning-Informed Object Search

1. 문제 정의 (Problem Definition)

이 연구는 이동 로봇이 작업 수행에 필수적인 객체의 위치를 알지 못하는 환경에서 작업을 계획하는 문제를 다룹니다.

• 기존 접근법의 한계: 전통적인 작업 계획 (Task Planning) 도구 (예: PDDL, FASTDOWNWARD) 는 환경에 대한 완전한 지식 (Full Knowledge) 을 가정합니다. 따라서 객체가 누락되었거나 위치가 불확실한 경우 계획을 수립할 수 없습니다.
• 불확실성과 계산 비용: 객체 탐색 (Object Search) 은 본질적으로 확률적 (Stochastic) 인 행동입니다. 불확실성을 직접적으로 고려하는 POMDP(부분 관측 마르코프 의사결정 과정) 같은 프레임워크는 환경 크기와 작업 복잡도가 증가함에 따라 계산 비용이 기하급수적으로 늘어나 실용성이 떨어집니다.
• 학습 기반 방법의 통합 부재: 최근 학습 기반의 객체 탐색 기법은 효과적이지만, 독립적인 모듈로 작동하여 상위 수준의 작업 계획기 (High-level Planner) 와 통합하기 어렵습니다. 계획기는 "어떤 객체를 찾아야 하는지 (What)", "언제 찾아야 하는지 (When)"를 결정해야 하지만, 기존 학습 모델은 이러한 결정에 필요한 '기대 비용 (Expected Cost)' 정보를 제공하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 **학습 기반 객체 탐색 (Learning-Informed Object Search, LIOS)**을 기반으로 한 새로운 계획 프레임워크를 제안합니다. 핵심 아이디어는 불확실성을 내포한 탐색 행동을 상위 계획기가 다루기 쉬운 결정론적 (Deterministic) 행동으로 추상화하는 것입니다.

A. 고수준 'find' 행동의 추상화 (High-level 'find' Action Abstraction)

• 결정론적 행동으로의 변환: PDDL 과 같은 결정론적 계획 언어를 사용하면서도 불확실성을 처리하기 위해, '객체 찾기'를 단일 행동 (find) 으로 정의합니다.
• 행동의 정의: find(object, start, target) 행동은 로봇이 start 위치에서 출발하여 객체를 찾고, 들어올린 후 target 위치로 이동하는 전체 과정을 하나의 행동으로 간주합니다.
• 효과: 이 행동은 내부적으로 확률적 탐색을 수행하지만, 계획기 관점에서는 "객체가 발견되고 로봇이 목표 위치에 도달한다"는 결정론적 결과로 처리됩니다.

B. 학습 기반 객체 탐색 (LIOS) 정책 및 기대 비용 계산

• 학습된 확률 추정: 학습 모델 (Sentence-BERT 및 신경망) 을 사용하여 각 미탐색 컨테이너에서 특정 객체를 찾을 확률 ($P_{FOUND}$) 을 예측합니다.
• 모델 기반 계획 (Model-based Planning): 벨만 방정식 (Bellman Equation) 을 기반으로 각 컨테이너 탐색 순서를 최적화하는 LIOS 정책 ($\pi_o$) 을 생성합니다.
  • 기대 비용 ($Q_{\pi_o}$): 객체를 찾을 확률, 이동 비용, 검색 비용, 물체 집기/이동 비용을 종합하여 해당 탐색 행동의 **기대 비용 (Expected Cost)**을 계산합니다.
  • 수식 (Eq. 1): $Q_{\pi_o} = \text{이동/검색 비용} + P_{FOUND} \times (\text{집기/이동 비용}) + (1-P_{FOUND}) \times Q_{\pi_o}(\text{다음 상태})$

C. 계획 및 재계획 (Planning and Replanning)

• 고수준 계획: 계산된 기대 비용을 사용하여 PDDL 솔버가 "어떤 객체를 먼저 찾아야 전체 작업 비용이 최소화되는지"를 결정합니다.
• 동적 재계획: 로봇이 실제 환경을 탐색하며 새로운 객체를 발견하면, 환경 정보가 업데이트되고 계획기가 필요 시 재계획 (Replanning) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 불확실성 캡슐화 추상화: 확률적 객체 탐색을 결정론적 'find' 행동으로 추상화하여, 기존 최적화된 PDDL 솔버와의 호환성을 유지하면서 불확실성 하의 계획을 가능하게 했습니다.
2. 학습 기반 정보와 모델 기반 계획의 통합: 객체 위치 확률을 학습하고, 이를 모델 기반 계획에 통합하여 효율적인 탐색 정책 (LIOS) 과 정확한 기대 비용을 동시에 생성합니다.
3. 3 가지 핵심 질문에 대한 해결:
   • 어떻게 (How): 학습된 모델을 기반으로 한 효율적인 탐색 정책.
   • 무엇을 (What): 기대 비용을 기반으로 가장 비용 효율적인 탐색 대상 객체 선정.
   • 언제 (When): 작업 수행 중 언제 탐색을 개시할지 결정하는 고수준 계획 통합.

4. 실험 결과 (Results)

연구팀은 시뮬레이션 환경 (PROCTHOR) 과 실제 로봇 (Boston Dynamics Spot) 을 사용하여 다양한 가정용 작업 (커피 제조, 아침 식사 준비, 물품 배달 등) 을 수행했습니다.

• 객체 탐색 성능: 단순 그리디 (Greedy) 전략 대비 LIOS 정책이 59.9% 더 낮은 비용으로 객체를 찾았습니다. 학습된 확률 예측이 탐색 경로를 최적화하여 불필요한 검색을 줄였습니다.
• 작업 계획 성능 (100 회 시도 기준):
  • ModelLIOS (제안 방식): 모든 작업 시나리오에서 가장 낮은 평균 비용과 높은 성공률을 보였습니다. 특히 복잡한 장기 작업 (Breakfast+Coffee) 에서도 다른 방법론보다 우월한 성능을 발휘했습니다.
  • 비교 대상:
    • OptGreedy/PesGreedy: 학습 없이 그리디하거나 낙관/비관적 비용을 사용하는 기존 방식.
    • OptLIOS/PesLIOS: LIOS 를 사용하지만 기대 비용 추정이 단순한 방식.
  • 결과: 제안된 ModelLIOS는 "어떤 객체를 먼저 찾아야 하는지"를 기대 비용으로 판단하여, 불필요한 탐색을 줄이고 전체 작업 시간을 단축했습니다. (예: Deliver 3-Object 시나리오에서 3 개 물체를 모두 찾는 순서를 최적화하여 비용 절감).
• 실제 로봇 실험: Spot 로봇을 사용한 실험에서도 제안 방식이 9 개의 컨테이너를 모두 검색하는 그리디 방식보다 **약 2 배 빠른 시간 (174s vs 311s)**에 작업을 완료하는 등 효율성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 불확실한 환경에서의 이동 로봇 작업 계획에 있어 중요한 진전을 이루었습니다.

• 실용성: 복잡한 확률적 계획 (POMDP 등) 을 수행하지 않고도, 기존에 널리 쓰이는 결정론적 PDDL 솔버를 활용하여 불확실성 하의 작업을 해결할 수 있는 방법을 제시했습니다.
• 지능적 의사결정: 단순히 "찾는 것"을 넘어, "무엇을, 언제, 어떻게 찾을지"를 학습된 지식과 모델 기반 계산으로 통합하여 최적의 의사결정을 내립니다.
• 확장성: 시뮬레이션과 실제 로봇 환경 모두에서 검증되었으며, 다양한 가정용 작업에 적용 가능한 범용적인 프레임워크를 제공합니다.

결론적으로, 이 연구는 학습 기반 예측과 전통적 계획 알고리즘을 효과적으로 결합하여, 로봇이 미지의 환경에서도 빠르고 정확하게 작업을 수행할 수 있도록 하는 새로운 패러다임을 제시합니다.