Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

이 논문은 부분 관측 가능한 환경에서 작업 및 운동 계획 문제를 해결하기 위해 대규모 언어 모델 (LLM) 의 상식 추론 능력을 활용하여 상태 추정을 개선한 'CoCo-TAMP' 프레임워크를 제안하며, 이를 통해 시뮬레이션 및 실제 환경에서 계획 및 실행 시간을 크게 단축하는 성과를 입증했습니다.

핵심

이 논문은 **"로봇이 눈이 가리지 않는 곳에서 물건을 찾을 때, 어떻게 하면 더 똑똑하고 빠르게 찾을 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 로봇은 "보이지 않으면 그 물건의 위치를 전혀 모른다"거나 "무작위로 돌아다니며 찾아야 한다"는 식으로 행동했습니다. 하지만 이 연구는 **LLM(거대 언어 모델, 즉 AI 챗봇)**의 상식적인 지식을 활용해 로봇의 '추리력'을 키워주는 새로운 방법 COCO-TAMP를 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 비유: "어리석은 탐정 vs 똑똑한 탐정"

상상해 보세요. 친구가 "내 집 구석구석에 숨겨진 토스터를 찾아줘"라고 요청했다고 합시다.

1. 기존 로봇 (어리석은 탐정):

   • 이 로봇은 집의 모든 방을 무작위로 돌아다닙니다.
   • "아마도 화장실에 있을지도?"라고 생각하며 화장실 문을 열고, "거실에 있을지도?" 하며 거실을 뒤집니다.
   • 문제점: 토스터는 절대 화장실에 없습니다. 하지만 로봇은 그 사실을 모르고 시간과 에너지를 낭비하며 헤매다 결국 실패하거나 매우 느리게完成任务합니다.

2. COCO-TAMP (똑똑한 탐정):

   • 이 로봇은 **AI 비서 (LLM)**에게 먼저 물어봅니다. "토스터는 보통 어디에 있을까?"
   • AI 비서의 조언 (상식 1): "물론 부엌에 있을 확률이 99% 지요. 거실이나 침실은 아닐 거예요."
   • AI 비서의 조언 (상식 2): "그리고 토스터와 커피머신은 보통 같은 부엌 counter 위에 함께 있는 경우가 많아요. 만약 커피머신을 봤다면 토스터도 그 근처일 거예요."

이제 로봇은 부엌으로 바로 직행하고, 커피머신 주변을 먼저 살핍니다. 덕분에 시간을 60~70%나 절약하고 물건을 찾아냅니다.

---

🧠 이 기술의 핵심 원리 3 가지

이 논문에서 제안한 방법은 크게 두 가지 '상식'을 로봇에게 심어주는 것입니다.

1. "물건은 제자리에 있어요" (위치 상식)

• 내용: 로봇이 물건을 찾을 때, 모든 방을 다 뒤질 필요 없이 "아, 이 물체는 부엌에 있을 확률이 높아"라고 미리 추측합니다.
• 방법: AI 챗봇에게 "토스터는 어디에 있을까?"라고 여러 가지 선택지 (부엌, 화장실, 차고 등) 를 주고 가장 그럴듯한 답을 고르게 합니다. 이를 통해 로봇은 찾을 확률이 높은 곳부터 검색을 시작합니다.

2. "비슷한 물건은 곁에 있어요" (동행 상식)

• 내용: 비슷한 물건들은 보통 함께 있는 경향이 있습니다. (예: 커피와 설탕, 스테인리스 스푼과 포크) 반면, 전혀 다른 물건들은 멀리 떨어져 있습니다. (예: 전구와 생선)
• 방법: 로봇이 '커피머신'을 발견하면, AI 는 "아, 커피머신이 여기 있으니 토스터도 저기 근처에 있을 거야"라고 판단합니다. 반대로 '전구'를 봤을 때는 "전구는 방마다 하나씩 흩어져 있으니, 다른 방의 전구를 찾으러 가야겠다"라고 판단합니다.
• 효과: 한 물건을 찾았을 때, 그 주변에 숨겨진 다른 물건의 위치를 미리 예측할 수 있어 탐색 범위를 좁힐 수 있습니다.

3. "실수하지 않는 안전장치" (검증)

• 주의할 점: AI 가 항상 옳은 것은 아닙니다. 가끔 "토스터가 화장실에 있을지도 몰라"라고 엉뚱한 상식을 말하기도 합니다.
• 해결: 이 시스템은 AI 의 조언을 맹신하지 않습니다. 로봇이 직접 눈으로 확인하고, 만약 AI 의 추측이 틀렸다면 (예: 부엌에 없다면) 즉시 계획을 수정하여 다시 계산합니다. 이를 통해 AI 의 상식과 실제 눈으로 본 사실을 적절히 섞어 사용합니다.

---

📊 실제 결과는 어땠나요?

연구진은 시뮬레이션과 실제 로봇 실험을 통해 이 방법을 검증했습니다.

• 결과: 기존의 방법보다 계획 수립과 실행 시간이 약 60~70% 단축되었습니다.
• 의미: 로봇이 헤매는 시간이 줄어들고, 물건을 훨씬 더 빠르게 찾아냈다는 뜻입니다. 마치 "무작위로 방을 뒤지는 것"보다 "상식을 이용해 가장 유력한 장소를 먼저 찾는 것"이 얼마나 효율적인지를 보여준 셈입니다.

💡 결론

이 논문은 **"로봇에게 눈 (센서) 만 주는 게 아니라, 뇌 (상식) 도 함께 주자"**는 아이디어입니다.

인공지능의 상식적인 지식을 로봇의 계획에 활용하면, 로봇은 보이지 않는 물건을 찾을 때도 더 똑똑하게 행동할 수 있습니다. 이는 앞으로 로봇이 우리 가정이나 복잡한 환경에서 더 자연스럽게 일할 수 있는 중요한 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Description)

• 배경: 로봇이 장기적 (long-horizon) 인 조작 작업을 수행할 때, 불완전한 관측 (partial observability) 환경은 큰 도전 과제입니다. 모든 물체가 보이지 않거나 (가려짐), 위치가 불확실한 상황에서 로봇은 불확실성 하에서 추론해야 합니다.
• 핵심 문제: 기존의 결정론적 TAMP(작업 및 운동 계획) 솔버는 불확실성이 있는 환경에서 실패하기 쉽습니다. 특히, 로봇이 계획 실행 중 예상치 못한 '작업과 무관한 물체'를 관측했을 때, 이를 단순히 무시하는 기존 방식은 비효율적입니다.
• 목표: 부분 관측 가능한 작업 및 운동 계획 (PO-TAMP) 문제를 해결하여, 로봇이 직접 보이지 않는 물체를 효과적으로 찾고 조작할 수 있도록 하는 것입니다. 이를 위해 상식 (Common-sense) 지식을 활용하여 상태 추정 (State Estimation) 의 정확도를 높이고 계획 효율성을 개선하는 것이 목표입니다.

2. 방법론 (Methodology: COCO-TAMP)

저자들은 COCO-TAMP라는 새로운 프레임워크를 제안합니다. 이는 대규모 언어 모델 (LLM) 의 상식 추론 능력을 활용하여 작업 관련 물체의 믿음 (Belief) 을 형성하고 업데이트하는 계층적 상태 추정 시스템을 포함합니다.

A. 핵심 구성 요소

1. LLM 기반 초기 믿음 생성 (Initial Belief Generation):

   • LLM 의 상식 지식을 활용하여 특정 물체가 특정 장소 (방, 표면) 에 있을 확률적 사전 지식 (Prior) 을 생성합니다.
   • MCQA (Multiple-Choice Question Answering) 방식을 사용합니다. 예를 들어, "토스터의 위치는?"이라는 질문에 대해 (A) 주방, (B) 욕실 등 옵션을 제시하고 LLM 이 가장 확률 높은 답을 선택하도록 유도합니다.
   • LLM 의 다음 토큰 예측 확률 (Logit scores) 을 Softmax 함수에 통과시켜 방과 표면에 대한 초기 확률 분포를 도출합니다.

2. 계층적 베이지안 필터 (Hierarchical Bayesian Filter):

   • 물체의 상태 (방, 표면, 연속적인 자세) 에 대한 믿음을 계층적으로 업데이트합니다.
   • 방 (Room) 및 표면 (Surface): 이산형 베이지안 필터를 사용합니다.
   • 자세 (Pose): 파티클 필터 (Particle Filter) 를 사용하여 연속적인 공간에서의 위치를 추정합니다.
   • 관측 모델 (Observation Model): 부분 관측성을 고려하기 위해 '가시성 (Visibility)' 변수를 도입합니다. 시야가 가려진 경우 물체가 없는 것이 아니라 관측되지 않은 것임을 인식하도록 설계되었습니다.

3. 공위치 모델 (Co-location Model) 및 LLM 임베딩:

   • 원리: "유사한 물체는 함께 있고, 다른 물체는 떨어져 있다"는 상식을 적용합니다.
   • 구현: LLM 을 사용하여 각 물체의 용도를 설명하는 문장을 생성하고, 이를 임베딩 (Embedding) 하여 코사인 유사도 (Cosine Similarity) 를 계산합니다.
   • 적용: 한 물체를 관측했을 때, 유사도가 높은 다른 물체의 존재 확률을 높이고, 유사도가 낮은 물체의 확률을 낮춥니다.
   • 코위치 토글러 (Co-location Toggler): 모든 물체에 대해 무조건 공위치를 적용하는 것이 아니라 (예: 스위치는 방마다 분산될 수 있음), LLM 을 통해 해당 물체의 의미적 특성에 따라 공위치 모델을 활성화할지 여부를 동적으로 결정합니다.

4. 계획 및 실행 프레임워크:

   • PDDLStream: TAMP 솔버로 사용되며, 기호적 행동과 연속 변수 (자세, 궤적) 샘플링을 결합합니다.
   • 재계획 (Replanning): 실행 중 관측 (detect) 액션 수행 후 상태 믿음이 업데이트되면, 비용 함수를 기반으로 재계획을 수행합니다.
   • 비용 함수: 관측 행동의 비용은 해당 물체의 상태에 대한 믿음 (검출 확률) 에 반비례하도록 설정되어, 정보 수집에 유리한 관점을 우선시하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 PO-TAMP 프레임워크 제안: LLM 의 상식 지식 (물체 배치 패턴, 물체 간 유사성) 을 PO-TAMP 문제에 통합하여, 불확실성 하에서 더 정확한 상태 추정이 가능하도록 했습니다.
2. 효율적인 정보 수집 및 실행: LLM 이 제공하는 유익한 사전 지식 (Priors) 과 믿음 업데이트를 통해, 로봇이 불필요한 탐색을 줄이고 장기적 작업 계획을 현실적으로 수행할 수 있게 했습니다.
3. 광범위한 실험 검증: 대규모 가정용 시뮬레이션 (Housekeep 데이터셋) 과 실제 로봇 (Toyota HSR) 실험을 통해 프레임워크의 유효성을 입증했습니다.
4. 강건성 입증: 상식적 사전 지식이 오해의 소지가 있는 적대적 환경 (Adversarial settings) 에서도 베이지안 업데이트 기반의 접근법이 LLM 만을 의존하는 방법보다 더 강건하게 작동함을 보였습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과:

  • LLM 사전 지식과 공위치 모델을 모두 활용한 COCO-TAMP는 베이스라인 (상식 지식 없음) 대비 평균 62.7% 의 계획 및 실행 시간 단축을 달성했습니다.
  • 재계획 (Replanning) 횟수도 크게 감소하여 문제 해결 효율성이 향상되었습니다.
  • GPT-4o가 다른 모델들보다 초기 믿음 생성 및 전체 성능에서 가장 우수한 결과를 보였습니다.
  • 비교 분석: 단순히 LLM 예측만 믿고 업데이트하는 방식 (LGBU) 은 베이지안 필터를 사용하는 방식보다 재계획 횟수가 많고 실패율이 높았으며, 특히 적대적 환경에서는 실패했습니다. 이는 LLM 의 상식만으로는 충분하지 않으며, 확률적 필터링이 필수적임을 시사합니다.

• 실제 로봇 실험 (Real-world):

  • Toyota HSR 로봇을 사용하여 실제 아파트 환경 (거실, 주방) 에서 사과를 이동하는 작업을 수행했습니다.
  • 베이스라인 대비 72.6% 의 계획 및 실행 시간 단축 효과를 확인했습니다.
  • 코위치 모델 (Co-Model) 과 MCQA 를 결합한 방식이 가장 빠른 시간 (100 초) 에 작업을 완료했습니다.

5. 의의 및 결론 (Significance)

• 상식 추론의 실용화: LLM 을 단순한 계획 생성기가 아닌, 불확실성 하의 상태 추정을 위한 지식 소스로 활용하는 새로운 패러다임을 제시했습니다.
• 효율성 극대화: 로봇이 환경을 탐색하는 데 소요되는 시간과 에너지를 획기적으로 줄여, 실제 가정 환경이나 복잡한 작업 공간에서의 로봇 적용 가능성을 높였습니다.
• 하이브리드 접근법의 중요성: LLM 의 유연한 상식 추론과 전통적인 확률론적 필터링 (베이지안 필터) 의 강건함을 결합함으로써, LLM 만의 한계 (할루시네이션, 비일관성) 를 보완하고 신뢰할 수 있는 로봇 행동을 가능하게 했습니다.

이 논문은 부분 관측 환경에서 로봇의 자율성을 높이기 위해 LLM 과 전통적인 로봇 계획 기법을 융합한 성공적인 사례로 평가받습니다.