ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

이 논문은 시각적 계획과 심볼릭 예측을 결합한 방법 (VLM-as-grounder) 과 직접적인 VLM 계획 방법 (VLM-as-planner) 을 비교 평가하기 위한 최초의 오픈소스 벤치마크인 'ViPlan'을 제안하고, 블록월드와 가정용 로봇 환경에서의 실험을 통해 각 접근법의 장단점과 현재 VLM 의 시각적 추론 한계를 규명했습니다.

핵심

1. 배경: AI 는 왜 계획을 세우기 어려울까요?

우리가 AI 에게 "책장을 정리해 줘"라고 말하면, AI 는 그 명령을 듣고 어떻게 해야 할지 생각해야 합니다.

• 문제점: AI 는 언어는 잘하지만, 눈으로 본 실제 사물의 위치나 상태를 정확히 파악하는 데는 약점이 있습니다.
• 해결책 제안: 연구자들은 두 가지 방법을 시도했습니다.
  1. 직관형 요리사 (VLM-as-planner): AI 가 눈으로 보고 "이제 이걸 집어서 저기 놓자"라고 바로 계획을 세웁니다. (AI 가 모든 것을 다 결정)
  2. 도구형 요리사 (VLM-as-grounder): AI 는 눈으로 보고 "책이 책장 위에 있는가?", "손이 비어있는가?" 같은 사실 확인 질문만 답합니다. 그 답을 받아서 **수학적인 계산기 (기호 계획기)**가 최종 계획을 세웁니다. (AI 는 눈만 감고, 계산기는 논리를 짠다)

2. 실험장: 두 가지 다른 세상

연구진은 이 두 방식을 비교하기 위해 두 가지 다른 환경을 만들었습니다.

• 세상 1: 블록 쌓기 놀이 (Blocksworld)

  • 상황: 깔끔하게 정렬된 블록들을 쌓는 게임입니다. 모든 것이 눈에 잘 보이고 규칙이 명확합니다.
  • 결과: **도구형 요리사 (사실 확인 + 계산기)**가 압도적으로 이겼습니다. (46% 성공 vs 9% 성공)
  • 이유: 이 게임은 "정확한 사실 확인"이 핵심입니다. AI 가 "저 블록이 위에 있나?"를 정확히 말해주면, 계산기가 완벽한 계획을 세우기 때문입니다.

• 세상 2: 가정집 로봇 (Household Robotics)

  • 상황: 실제 집처럼 어지럽고, 가구가 많고, 로봇이 이동해야 하는 복잡한 환경입니다.
  • 결과: **직관형 요리사 (AI 가 직접 계획)**가 훨씬 잘했습니다. (34% 성공 vs 5% 성공)
  • 이유: 집은 너무 복잡해서 "모든 사물의 상태를 하나하나 확인"하는 방식은 시간이 너무 걸리고 실수가 쌓입니다. 대신 AI 가 "아, 이 책상은 보통 여기 있겠지"라는 **상식 (언어적 지식)**을 활용해서 대략적인 계획을 세우는 게 더 효과적이었습니다.

3. 핵심 발견: "생각하기 (Chain-of-Thought)"는 항상 도움이 될까?

최근 AI 는 "생각하는 과정 (Chain-of-Thought)"을 거치면 더 똑똑해진다고 알려져 있습니다. 하지만 이 연구에서는 그렇지 않다는 놀라운 결과가 나왔습니다.

• 비유: AI 에게 "생각하는 시간을 더 줘"라고 했더니, 오히려 생각하다가 지쳐서 (토큰 한도 초과) 아무것도 못 한 경우가 많았습니다.
• 결론: 시각적 추론 (눈으로 보고 판단) 에는 복잡한 생각 과정이 오히려 방해가 되거나, 별 도움이 되지 않는다는 것입니다.

4. 실패 원인 분석: 왜 실패할까?

• 직관형 (AI 가 직접 계획): AI 가 "이건 가능해!"라고 착각하고 불가능한 행동을 하거나, 계획 형식을 잘못 써서 실패했습니다. (가상 세계를 잘못 상상함)
• 도구형 (사실 확인 + 계산기): AI 가 "책이 책장 위에 있나?"라고 물었을 때, **실제로는 없는데 있다고 거짓말 (할루시네이션)**하거나, 반대로 있는데 없다고 하는 실수를 했습니다. 이 작은 오류가 쌓여서 전체 계획이 무너졌습니다.

5. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"하나의 만능 해결책은 없다"**고 말합니다.

• 규칙이 명확하고 정확한 게 중요한 곳 (블록 쌓기): AI 가 눈으로 확인하고, 논리적인 계산기가 계획을 세우는 도구형이 좋습니다.
• 복잡하고 상식이 필요한 곳 (가정집 정리): AI 가 언어적 상식을 활용해서 대략적인 방향을 잡는 직관형이 더 나을 수 있습니다.

결국, AI 가 인간처럼 눈으로 보고 현실 세계에서 계획을 세우려면, 상황에 따라 두 방식을 섞어서 쓰거나, AI 의 시각적 판단 능력을 더 발전시켜야 한다는 교훈을 줍니다.

한 줄 요약:

"AI 에게 계획을 세우게 할 때, **정확한 눈 (사실 확인)**이 필요한 곳과 **상식 (언어 지식)**이 필요한 곳은 다르며, 무조건 '생각하게' 하는 것은 항상 정답이 아니다!"

기술 요약

ViPlan: 심볼릭 술어와 비전 - 언어 모델을 활용한 시각적 계획 (Visual Planning) 을 위한 벤치마크

이 논문은 ViPlan이라는 새로운 오픈소스 벤치마크를 소개하며, 비전 - 언어 모델 (VLM) 을 기반으로 한 두 가지 주요 계획 접근법, 즉 VLM-as-grounder(심볼릭 계획기 기반) 와 VLM-as-planner(직접 계획) 의 성능을 체계적으로 비교 분석합니다.

1. 문제 정의 (Problem)

자동화된 계획 (Automated Planning) 은 에이전트가 환경에 대한 지식을 바탕으로 목표 달성을 위한 행동 시퀀스를 생성하는 핵심 능력입니다. 최근 대형 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 의 등장으로 계획 작업에 대한 연구가 활발해졌으나, 다음과 같은 한계가 존재합니다:

• 비교의 부재: VLM 을 직접 계획기에 사용하는 방법 (VLM-as-planner) 과 VLM 을 사용하여 환경 상태를 심볼릭 표현 (PDDL 등) 으로 변환한 후 심볼릭 계획기를 사용하는 방법 (VLM-as-grounder) 을 동일한 환경과 프로토콜 하에 비교할 수 있는 공개된 벤치마크가 없었습니다.
• 현실적 제약: VLM 은 객체 감지 및 관계 파악에 어려움을 겪을 수 있으며, 심볼릭 계획기만으로는 실제 환경의 관측 불가능성 (partial observability) 을 처리하기 어렵습니다.
• 근거 부족: 기존 연구들은 주로 직접 계획에 집중하거나 비공개 벤치마크를 사용하여 어떤 접근법이 어떤 시나리오에 적합한지 명확히 규명하지 못했습니다.

2. 방법론 (Methodology)

2.1 ViPlan 벤치마크 도메인

ViPlan 은 서로 다른 추론 요구사항을 가진 두 가지 시각적 도메인으로 구성됩니다:

1. ViPlan-Blocksworld (ViPlan-BW): 고전적인 블록 쌓기 문제의 시각적 변형입니다. 완전 관측 가능 (fully observable) 하며, 블록의 색상과 위치만 고려하는 명확하고 추상적인 환경입니다.
2. ViPlan-Household (ViPlan-HH): iGibson 2.0 시뮬레이터 기반의 가정용 로봇 환경입니다. 탐색 (navigation) 과 조작 (manipulation) 이 포함되며, 부분 관측 가능 (partially observable) 하고 언어적 지식이 필요한 복잡한 현실적 시나리오입니다.

• 각 도메인은 25 개의 작업으로 구성된 3 단계 (Simple, Medium, Hard) 난이도로 나뉘어 총 150 개의 태스크를 제공합니다.

2.2 평가된 방법론 (Method Classes)

두 가지 주요 접근법과 그 변형들을 평가했습니다:

• VLM-as-planner: VLM 이 직접 현재 상태 이미지와 목표를 바탕으로 다음 행동이나 전체 계획 (JSON 형식) 을 생성합니다.
  • 변형: Plan (전체 계획 생성), Action (다음 행동 선택), CoT 포함 여부.
• VLM-as-grounder: VLM 이 PDDL 술어 (predicates) 의 참/거짓 값을 이미지 기반으로 판별하여 심볼릭 계획기 (Fast Downward) 에 입력합니다. 계획 실행 전후로 전제 조건 (preconditions) 과 효과 (effects) 를 검증합니다.
  • 변형: Ground (직접 질문), CoT 포함, 메모리 기반 재계획 (Ground + Mem).

2.3 모델 선정

21 개의 오픈소스 VLM 과 3 개의 폐쇄형 모델 (GPT-4.1, GPT-5.2 등) 을 초기 평가하여, 두 도메인과 두 방법론에서 평균 성능이 가장 높은 상위 5 개의 오픈소스 모델 (InternVL3.5 38B, InternVL3 78B, Qwen3-VL 32B, Qwen2.5-VL 72B, Gemma-3 27B) 을 선정하여 본 벤치마크의 주 실험에 사용했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오픈소스 비교 벤치마크: VLM-as-planner 와 VLM-as-grounder 접근법을 동일한 조건에서 비교할 수 있는 ViPlan 을 공개했습니다.
2. 상호 보완적 도메인 설계: 추상적/완전 관측 (Blocksworld) 과 현실적/부분 관측 (Household) 환경을 통해 각 방법론의 강점과 약점을 명확히 드러냈습니다.
3. 방법론 간 트레이드오프 규명:
   • ViPlan-BW: 정밀한 시각적 근거 (grounding) 가 중요한 경우 VLM-as-grounder가 압도적으로 우세함 (성공률 46% 대 9%).
   • ViPlan-HH: 언어적 사전 지식 (linguistic priors) 이 도움이 되는 경우 VLM-as-planner가 훨씬 우수함 (성공률 34% 대 5%).
4. Chain-of-Thought (CoT) 효과 분석: 시각적 계획 작업에서 CoT 프롬프팅이 일관된 성능 향상을 가져오지 못함을 발견했습니다. 오히려 복잡한 계획 생성 시 토큰 예산 소모나 반복적 사고 패턴으로 인해 성능이 저하되는 경우가 많았습니다.
5. 실패 사례 분석: 각 방법론의 고유한 실패 모드 (grounding 할루시네이션, 계획 불일치, 파싱 오류 등) 를 정성적으로 분석하여 향후 개선 방향을 제시했습니다.

4. 결과 (Results)

• 성능 비교:
  • Blocksworld (ViPlan-BW): VLM-as-grounder 가 평균 46% 성공률을 기록한 반면, VLM-as-planner 는 9% 에 그쳤습니다. 이는 명확한 시각적 상태 추적이 필요한 환경에서 심볼릭 계획기의 정확성이 VLM 의 직접 추론보다 우월함을 보여줍니다.
  • Household (ViPlan-HH): VLM-as-planner 가 34% 성공률을 기록한 반면, VLM-as-grounder 는 5% 로 극도로 낮았습니다. 부분 관측과 복잡한 객체 관계로 인해 VLM-as-grounder 는 오류가 누적되어 실패하게 되며, VLM-as-planner 는 언어적 맥락을 통해 모호성을 극복하는 데 더 유리했습니다.
• CoT 의 영향: 대부분의 방법론에서 CoT 는 성능 향상을 가져오지 못했습니다. 특히 VLM-as-planner 의 경우, 긴 계획 생성 시 CoT 가 토큰 한계를 초과하거나 논리적 일관성을 잃게 만들어 성능을 저하시켰습니다.
• 모델별 성능: InternVL3.5 38B 와 InternVL3 78B 와 같은 대형 모델들이 전반적으로 우수한 성능을 보였으나, 도메인과 방법에 따라 성능 편차가 컸습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLM 기반 계획 분야에서 다음과 같은 중요한 시사점을 제공합니다:

• 상황에 맞는 접근법 선택: "어떤 방법이 더 좋은가?"라는 질문에 대한 답은 작업의 특성에 달려 있습니다. 정밀한 상태 추정이 필요한 명확한 환경에서는 심볼릭 계획기를 활용한 VLM-as-grounder가, 복잡하고 모호한 현실 환경에서는 VLM-as-planner가 더 효과적입니다.
• VLM 의 시각적 추론 한계: 현재 VLM 들은 Chain-of-Thought 를 통해 복잡한 시각적 추론 능력을 획기적으로 개선하지 못하며, 여전히 할루시네이션과 일관성 부족에 시달리고 있음을 보여줍니다.
• 향후 연구 방향: 두 접근법의 장점을 결합한 하이브리드 방법론이나, 부분 관측과 불확실성을 효과적으로 처리할 수 있는 새로운 계획 프레임워크의 필요성을 강조합니다.

ViPlan 은 이러한 연구들을 위한 표준 벤치마크로서, 오픈소스로 제공되어 새로운 모델과 방법론의 평가를 가능하게 합니다.