SG-CoT: An Ambiguity-Aware Robotic Planning Framework using Scene Graph Representations

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 을 로봇 계획가 (Planner) 로 활용할 때 가장 큰 장애물은 **모호성 (Ambiguity)**입니다. 기존 LLM 기반 로봇 시스템은 다음과 같은 두 가지 주요 모호성 상황에서 실패하거나 위험한 행동을 취하는 경향이 있습니다.

• 환경적 모호성 (Environment-induced Ambiguity):
  • 부재 (Absence): 지시된 객체가 환경에 존재하지 않는 경우.
  • 다중성 (Multiplicity): 지시된 객체가 여러 개 존재하여 어느 것을 선택해야 할지 불분명한 경우.
  • 부분 관측성 (Partial Observability): 멀티 에이전트 환경에서 로봇이 전체 환경을 볼 수 없어 필요한 정보가 누락된 경우.
• 지시 불명확성 (Underspecification): 사용자의 명령어가 구체적이지 않은 경우 (예: "컵을 들어라" vs "빨간 컵을 들어라").

기존 방법론들은 주로 지시문 자체의 불확실성만 다루거나, 비구조화된 객체 목록만 인식하여 복잡한 관계 (예: "사과 왼쪽에 있는 객체") 나 특정 속성 (예: "초록색 버튼이 있는 객체") 을 정확히 식별하는 데 한계가 있었습니다. 또한, LLM 의 과도한 자신감 (Overconfidence) 으로 인해 모호한 상황에서 명확한 질문을 하지 않고 잘못된 행동을 수행하는 문제가 있었습니다.

2. 제안 방법론: SG-CoT (Methodology)

저자들은 **Scene Graph-Chain-of-Thought (SG-CoT)**라는 2 단계 프레임워크를 제안하여 위 문제를 해결합니다. 이 프레임워크는 LLM 의 추론 능력을 환경의 구조화된 표현인 **Scene Graph(장면 그래프)**와 결합합니다.

A. 핵심 구성 요소

1. Scene Graph 생성 (Scene Graph Generation):

   • 시각적 관찰 (이미지) 을 기반으로 VLM(시각 - 언어 모델) 을 사용하여 환경의 구조화된 그래프를 생성합니다.
   • 노드 (Nodes): 감지된 객체들 (색상, 크기, 상태 등 속성 포함).
   • 에지 (Edges): 객체 간의 공간적 (위, 아래, 왼쪽 등) 및 의미적 관계.
   • VLM 을 프롬프팅하여 JSON 형식으로 일관된 그래프 구조를 생성하며, 계산 효율성을 위해 모든 객체 쌍을 한 번에 처리합니다.

2. 반복적 추론 및 질의 (Iterative Reasoning & Querying):

   • LLM 은 단순히 한 번의 추론이 아니라, 반복적인 루프를 통해 작업을 수행합니다.
   • 과정:
     1. 사용자의 지시와 관찰을 입력받음.
     2. LLM 이 사고 과정 (Chain-of-Thought) 을 시작하고, 필요한 정보가 Scene Graph 에 있는지 판단.
     3. 정보가 부족하거나 모호성이 감지되면, **검색 함수 (API)**를 호출하여 그래프의 특정 노드나 에지를 질의 (Query).
     4. 검색 결과 (Rt) 를 대화 기록 (History) 에 추가하고, 이를 바탕으로 다시 추론.
     5. 이 과정을 최대 반복 횟수 (max turns) 에 도달하거나 명확한 결정 (행동 시퀀스 또는 질문) 을 내릴 때까지 반복.

3. 모호성 해결 및 질문 생성:

   • LLM 이 Scene Graph 를 통해 객체의 부재나 다중성을 정확히 파악하면, 단순히 행동을 수행하는 대신 **사용자나 다른 로봇에게 명확한 질문 (Clarification Question)**을 생성하여 모호성을 해소합니다.

3. 주요 기여 (Key Contributions)

1. SG-CoT 프레임워크 제안: Scene Graph 생성과 LLM 의 반복적 Chain-of-Thought 추론을 통합하여, 환경적 모호성과 지시 불명확성 모두에 강건한 로봇 계획 시스템을 구축했습니다.
2. 모호성 유형에 대한 체계적 분류: 기존 연구가 간과했던 '환경에 의해 유발된 모호성 (Environment-induced ambiguities)'을 포함하여 3 가지 유형 (다중성, 부재, 부분 관측성) 으로 분류하고 이를 해결하는 방법을 제시했습니다.
3. 정확한 질문 생성 평가 지표 도입: 로봇이 모호성을 올바르게 식별하고 적절한 질문을 했는지를 평가하는 'Correct Question Rate (CQR)' 지표를 도입하여 기존 방법론 대비 성능을 정량화했습니다.

4. 실험 결과 (Results)

두 가지 시나리오 (단일 에이전트, 멀티 에이전트) 에서 SayCan 및 LEMMA 벤치마크를 기반으로 실험을 수행했습니다. 비교 대상은 CLARA, Inner Monologue, ProgPrompt 등 기존 최첨단 방법론들입니다.

• 단일 에이전트 환경 (Single-Agent):

  • 성공률 (SR): SG-CoT 는 모호한 상황에서 기존 최상위 방법론 (Inner Monologue) 대비 최소 4% 이상의 성공률 향상을 보였습니다. 특히 환경적 모호성 (부재/다중성) 에서 80% 이상의 높은 성공률을 기록했습니다.
  • 정확한 질문률 (CQR): 모호한 상황에서 올바른 질문을 생성하는 비율이 기존 방법론 대비 최소 10% 이상 향상되었습니다. 이는 LLM 이 Scene Graph 를 통해 모호성의 근본 원인을 정확히 파악했음을 의미합니다.
  • Ablation Study: 반복적 질의 (Iterative retrieval) 와 Scene Graph 의 에지 (관계) 정보가 성능 향상에 결정적임을 입증했습니다.

• 부분 관측성 멀티 에이전트 환경 (Multi-Agent):

  • 로봇 간 통신을 통해 관측되지 않는 정보를 공유하는 시나리오에서 SG-CoT 는 15% 이상의 성공률 향상을 보였습니다.
  • 다른 로봇에게 관찰 정보를 요청하는 'ask_robot' 행동을 적절히 수행하여, 환경 정보를 착각 (Hallucination) 하지 않고 정확한 결정을 내렸습니다.

• 계산 비용: Scene Graph 생성과 반복적 질의로 인해 토큰 사용량과 호출 횟수가 증가했으나, 환경 크기 증가에 비례하여 추론 반복 횟수가 급증하지 않아 확장성 (Scalability) 은 유지되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 기반 로봇 계획의 핵심 난제인 모호성 처리에 대한 획기적인 접근법을 제시합니다.

• 현실 기반 추론 (Grounded Reasoning): LLM 이 환각 (Hallucination) 을 줄이고 실제 환경 데이터 (Scene Graph) 에 기반하여 추론하도록 강제함으로써, 안전하지 않거나 비효율적인 행동을 방지합니다.
• 능동적 상호작용: 로봇이 단순히 명령을 수행하는 것을 넘어, 모호한 상황에서 능동적으로 질문을 통해 상황을 명확히 하는 인간 중심의 자동화 (Human-Centered Automation) 를 실현합니다.
• 향후 과제: 현재는 시뮬레이션 환경에서 검증되었으며, 실제 물리적 환경에서의 VLM 기반 그래프 생성 정확도 향상과 더 복잡한 실세계 작업 (Vision-Language Navigation 등) 으로 확장하는 것이 향후 연구 과제로 남았습니다.

요약하자면, SG-CoT는 로봇이 불완전한 정보와 모호한 명령 하에서도 Scene Graph 를 통해 환경을 정확히 이해하고, 필요한 경우 질문을 통해 작업을 성공적으로 완수할 수 있도록 하는 강력한 프레임워크입니다.