Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning

이 논문은 노이즈가 있는 3D 환경에서 고전적 계획과 LLM 을 융합하여 목표의 실현 가능성을 점진적으로 완화하는 'ContextMatters' 프레임워크를 제안함으로써, 기존 방법론 대비 성공률을 52.45% 향상시키고 실제 로봇 (TIAGo) 에 적용 가능한 효율적인 3D 장면 계획을 가능하게 합니다.

핵심

이 논문은 "Context Matters (상황이 중요해요!)" 라는 제목의 연구로, 로봇이 실제 세계에서 일을 할 때 겪는 난관을 해결하는 새로운 방법을 제안합니다.

간단히 말해, "로봇이 계획대로 일을 못 할 때, 포기하지 않고 상황에 맞춰 목표를 살짝 바꿔서라도 일을 성공적으로 끝내는 지능적인 방법" 을 개발했다는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🍳 비유: "요리사 로봇과 냉장고"

상상해 보세요. 당신은 로봇 요리사에게 "냉장고에서 달걀 3 개를 꺼내서 프라이팬에 튀겨줘" 라고 명령했습니다.

1. 기존의 문제점 (두 가지 실패 패턴)

   • 너무 낙관적인 로봇 (LLM 만 사용): 로봇은 "네, 알겠습니다!"라고 대답하며 달걀을 꺼내려 합니다. 하지만 냉장고에 달걀이 없거나, 달걀이 깨져 있다면 로봇은 "아직도 달걀이 있어야지!"라며 계속 시도하다가 결국 실패하거나 엉뚱한 행동을 합니다. (할루시네이션: 없는 것을 있는 것처럼 착각)
   • 너무 엄격한 로봇 (전통적 계획 알고리즘만 사용): 로봇은 "냉장고에 달걀이 없습니다. 조건이 충족되지 않았으므로 작업을 중단합니다."라고 딱 잘라 말합니다. 로봇은 지시받은 대로만 움직일 뿐, "그럼 달걀 대신 계란후라이를 만들 수 있는 다른 재료가 있을까?"라고 생각하지 못합니다.

2. 이 연구의 해결책: "Context Matters (상황에 맞춰 유연하게)"
   이 논문에서 개발한 'Context Matters' 는 위 두 로봇의 장점을 합친 현명한 요리사입니다.

   • 상황 파악: 로봇은 먼저 냉장고를 꼼꼼히 봅니다. "아, 달걀이 없네? 그런데 사과와 바나나가 있구나."
   • 목표의 유연한 조정 (Relaxation): 로봇은 사용자의 진짜 의도가 "아침에 먹을 건강한 간식을 준비하는 것"임을 파악합니다.
     • 원래 목표: "달걀 3 개" (불가능)
     • 새로운 목표: "과일 3 개" (가능)
   • 실행: 로봇은 "죄송합니다, 달걀이 없네요. 대신 사과와 바나나를 준비해 드릴까요?"라고 제안하며, 실제로 과일을 꺼내서 성공적으로 작업을 마칩니다.

---

🛠️ 이 기술이 어떻게 작동할까요? (두 가지 축)

이 시스템은 목표를 수정할 때 두 가지 방향을 동시에 고려합니다.

1. 기능적 축 (무엇을 할 것인가?):
   • "달걀"이 없다면, "과일"이나 "우유"처럼 같은 역할을 하는 다른 물건으로 대체합니다. (예: 커피가 없으면 주스로 대체)
2. 현실적 축 (어디서 어떻게 할 것인가?):
   • "서랍이 잠겨서 못 열면?" -> "서랍 대신 선반에 있는 물건을 가져옵니다."
   • 로봇이 볼 수 있는 실제 환경 (3D 장면 그래프) 에 맞춰 계획을 수정합니다.

이 과정을 LLM(거대 언어 모델, 창의적인 두뇌) 이 제안하고, 전통적 계획 알고리즘(엄격한 검사관) 이 "그게 실제로 가능한가?"를 검증하는 방식으로 작동합니다.

---

📊 실제 성과는 어떨까요?

• 성공률 대폭 상승: 기존 최신 기술들보다 약 52% 더 많은 작업을 성공적으로 완료했습니다.
• 실제 로봇 테스트: 이탈리아의 TIAGo 로봇을 실제 집 환경에 투입해 실험했습니다.
  • 실험 상황: "아이들을 위해 스낵 4 개를 테이블로 가져와라"는 명령을 내렸습니다.
  • 문제: 스낵이 3 개밖에 없었습니다.
  • 해결: 로봇은 "스낵 4 개"라는 목표를 고집하지 않고, "스낵 3 개 + 콜라 캔 1 개"로 목표를 살짝 변경 (Relaxation) 했습니다. (아이들에게 콜라가 적합하지 않다는 상식도 고려했지만, 스낵이 부족하므로 대체재를 찾은 것입니다.)
  • 결과: 로봇은 성공적으로 물건을 옮겼습니다.

💡 핵심 메시지

이 연구는 "로봇이 완벽하지 않은 현실 세계에서, 실패를 반복하기보다 상황을 읽고 목표를 지혜롭게 조정할 때 비로소 진정한 자율성을 가질 수 있다" 는 것을 보여줍니다.

마치 우리가 여행 중 비행기가 지연될 때, "기다리는 것"만 고집하지 않고 기차나 버스로 경로를 바꾸는 것처럼, 로봇도 상황에 맞춰 유연하게 대처하는 능력을 갖추게 된 것입니다.

기술 요약

1. 문제 정의 (Problem)

로봇 및 신체화된 에이전트 (Embodied Agents) 가 실제 복잡한 3D 환경에서 작업을 수행할 때, 기존의 계획 (Planning) 접근법은 다음과 같은 한계를 가집니다.

• 전통적 계획 (PDDL 등): 구조화된 논리와 보장을 제공하지만, 노이즈가 있는 지각 (Perception) 이나 부정확한 술어 (Predicate) 그라운딩 (Grounding) 에 취약합니다. 목표가 환경에서 달성 불가능할 경우 (예: 필요한 물품 부재), 계획이 실패하고 에이전트는 아무런 대안 없이 중단됩니다.
• 대형 언어 모델 (LLM) 기반 계획: 상식 추론 능력을 활용하지만, 종종 존재하지 않는 전제 조건을 가정하거나 (할루시네이션), 실행 불가능하거나 위험한 행동을 제안합니다.
• 핵심 문제: 기존 방법들은 환경의 제약으로 인해 원래 목표가 달성 불가능할 때, 사용자의 의도 (Intent) 를 유지하면서 상황에 맞게 목표를 유연하게 수정 (Relaxation) 하거나 대체할 수 있는 메커니즘이 부족합니다.

2. 제안 방법론: ContextMatters (Methodology)

저자들은 ContextMatters라는 새로운 프레임워크를 제안합니다. 이는 LLM 의 상식 추론과 고전적 계획 (Classical Planning) 을 결합하여, 달성 불가능한 목표를 기능적으로 동등하지만 실행 가능한 목표로 점진적으로 완화 (Relax) 하는 이차원적 완화 (Bidimensional Relaxation) 아키텍처를 사용합니다.

핵심 구성 요소 및 작동 원리

1. 3D 씬 그래프 (3DSG) 기반 표현:

   • 환경을 3D 씬 그래프로 표현하여 객체, 속성, 공간적/의미적 관계를 구조화합니다.
   • 이를 PDDL(Planning Domain Definition Language) 도메인으로 매핑하여 고전적 계획기에 입력합니다.

2. 이차원 완화 전략 (Bidimensional Relaxation):

   • 상황 이동 (Situation Shifting, $\Gamma_{shift}$): 환경의 제약 (예: 서랍이 잠겨 있음) 을 반영하여 계획 도메인 (Domain) 을 수정합니다. 목표는 그대로 두되, 환경 표현을 현실에 맞게 조정합니다.
   • 목표 완화 (Goal Relaxation, $\Delta_{rel}$): 도메인 수정으로도 해결이 안 될 경우, 목표 자체를 완화합니다.
     • 예: "식탁에 포크 2 개 놓기" $\rightarrow$ "식탁에 수저 2 개 놓기" (객체 대체)
     • 예: "과일 3 개와 커피" $\rightarrow$ "과일 3 개와 물" (부족한 음료 대체)
     • 예: "정확히 3 개" $\rightarrow$ "최소 2 개" (수치 조건 완화)
   • 이 과정은 **기능성 (무엇을 달성할 것인가)**과 실행 가능성 (어디서/어떻게 달성할 것인가) 두 축을 동시에 탐색하며 수행됩니다.

3. 반복적 개선 루프 (Iterative Refinement Loop):

   • 도메인 생성: LLM 이 3DSG 와 목표를 기반으로 PDDL 도메인을 생성합니다.
   • 계획 시도 및 검증: 고전적 계획기로 계획을 수립하고, 심볼릭 검증기 (Symbolic Validator, VAL) 와 그라운딩 체크 (Grounding Check) 를 통해 실행 가능성을 검증합니다.
   • 피드백 및 수정: 계획 실패 시, 검증기로부터 얻은 피드백을 LLM 에게 전달하여 PDDL 문법 오류나 할루시네이션을 수정합니다.
   • 목표 전환: 수정으로도 해결되지 않으면, LLM 이 새로운 대체 목표를 제안하고 (Goal Shifting) 완화 (Relaxation) 를 적용하여 다시 계획합니다.

4. 아키텍처 흐름:

   • 입력 (3DSG + 자연어 목표) $\rightarrow$ 도메인 생성 $\rightarrow$ 계획 시도 $\rightarrow$ 실패 시 피드백 기반 수정 $\rightarrow$ (여전히 실패 시) 목표 완화/전환 $\rightarrow$ 재시도 $\rightarrow$ 실행 가능한 계획 산출.

3. 주요 기여 (Key Contributions)

1. 새로운 목표 완화 형식화: 사용자의 의도를 유지하면서도 실행 가능한 목표를 도출하기 위해 기능성과 실행 가능성 두 축을 따라 추론하는 새로운 형식적 프레임워크를 제안했습니다.
2. ContextMatters 프레임워크: LLM 의 상식 (목표 제안) 과 고전적 계획 (실행 가능성 검증) 을 결합한 하이브리드 시스템 구현.
3. 새로운 데이터셋: 3D 환경에서 목표 완화 (Relaxation) 가 필요한 141 개의 태스크를 포함하는 새로운 벤치마크 데이터셋을 구축하고 공개했습니다.
4. 실제 로봇 검증: TIAGo 로봇을 이용한 실제 환경에서의 성공적인 배포 및 실험을 통해 이론적 프레임워크의 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 최신 LLM+PDDL 기반 베이스라인 (DELTA 등) 대비 성공률 (Success Rate) 이 52.45% 향상되었습니다.
  • ContextMatters (완화 포함): 91.73% (그라운딩 포함)
  • DELTA (SOTA): 39.28% (그라운딩 포함)
• 비교 분석:
  • 목표 완화 (Relaxation) 기능을 제거한 버전은 성공률이 크게 하락하여, 완화 메커니즘이 실패를 극복하는 데 핵심임을 입증했습니다.
  • 단순 LLM 계획기 (LLMAsPlanner, SayPlan) 는 실행 가능한 심볼릭 계획을 생성하는 데 한계가 있음을 보였습니다.
• 실제 로봇 실험: TIAGo 로봇을 사용하여 "식탁에 어린이 간식 4 개 가져오기"라는 작업을 수행했습니다. 실제 환경에 간식이 3 개만 있을 때, 시스템은 "콜라 캔 1 개 + 간식 3 개"로 목표를 자동 완화하여 성공적으로 작업을 완료했습니다.

5. 의의 및 중요성 (Significance)

• 실제 세계 적용성: 이상적인 시뮬레이션 환경이 아닌, 불완전한 정보와 물리적 제약이 존재하는 실제 세계 (Unstructured Environments) 에서 로봇이 자율적으로 작동할 수 있는 핵심 기술입니다.
• 실패의 재해석: 계획 실패를 단순히 "작업 종료"가 아닌, "목표 수정을 위한 신호"로 활용하여 에이전트의 견고성 (Robustness) 을 극대화합니다.
• 의도 보존: 환경의 제약에 맞춰 목표를 변경하더라도, 사용자의 원래 의도 (예: "식탁을 차리다", "간식을 제공하다") 는 최대한 유지하는 지능적인 적응 능력을 보여줍니다.

이 논문은 embodied AI 의 계획 분야에서 LLM 의 유연성과 고전적 계획의 엄격함을 조화시켜, 실제 환경에서의 자율성을 한 단계 발전시킨 중요한 연구로 평가됩니다.