Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences

이 논문은 Qwen2.5-VL 등 최신 비전 - 언어 모델 (VLM) 이 로봇 운동 계획에서의 공간 추론 및 사용자 선호도 반영 능력을 평가하여, 미세 조정 시 75% 의 정확도를 달성함으로써 로봇 계획 파이프라인과의 통합 가능성을 입증했습니다.

핵심

이 논문은 **"로봇이 사람의 말을 듣고, 원하는 대로 움직이는 길을 스스로 고를 수 있을까?"**라는 질문에 답하기 위해 진행된 실험 결과입니다.

간단히 비유하자면, 로봇은 '운전하는 차'이고, 우리는 '내비게이션에 목적지를 입력하는 사람'입니다. 하지만 여기서 중요한 건 목적지뿐만 아니라 "창문 쪽으로 가라", "소파와 테이블 사이를 지나가라", "지그재그로 구불구불 가라" 같은 운전 스타일이나 선호도도 로봇이 이해해야 한다는 점입니다.

이 연구는 최신 AI 기술인 VLM(비전 - 언어 모델, 즉 눈과 귀를 가진 AI) 이 이 일을 잘해낼 수 있는지 테스트한 것입니다.

---

🚗 핵심 내용: "로봇 운전사 AI" 테스트

1. 실험 상황: 수많은 길 중에서 하나를 고르세요

연구진은 로봇이 집 안을 돌아다니거나 물건을 들어 올리는 상황을 시뮬레이션했습니다. 그리고 로봇이 목적지에 도달할 수 있는 수십 가지의 다른 길 (경로) 을 미리 만들어냈습니다.

• 예시: "창문에서 멀리 떨어진 길", "소파와 테이블 사이를 지나는 길", "지그재그로 구불구불한 길" 등.

그리고 AI 에게 **"이 그림을 보고, 사용자가 말한 조건 (예: '창문에서 멀리') 에 가장 잘 맞는 길을 골라줘"**라고 요청했습니다.

2. AI 의 능력: "눈"과 "머리"를 동시에 쓰다

연구진은 최신 AI 모델들 (Qwen2.5-VL, GPT-4o 등) 에게 이 과제를 시켰습니다. AI 는 그림 속의 여러 가지 점선으로 표시된 길들을 보고, 사람의 지시를 분석해 가장 적합한 길을 선택해야 했습니다.

• 결과: AI 중에서는 Qwen2.5-VL이라는 모델이 가장 잘했습니다.
  • 성공률: 약 71% 정도를 맞췄습니다. (무작위로 고르는 것보다 훨씬 좋습니다.)
  • 특이점: GPT-4o 같은 유명한 모델은 예상보다 성적이 낮았습니다.
  • 학습 효과: 작은 모델이라도 적은 양의 데이터로 학습 (파인튜닝) 시키면 성적이 60% 이상이나 급상승했습니다. 마치 운전 연습을 조금만 해도 초보 운전자가 급격히 실력이 늘어난 것과 같습니다.

3. 어떤 방식이 가장 좋을까? (질문하는 법)

AI 에게 그림을 보여주는 방식에 따라 성적이 달랐습니다.

• 최고의 방법: 모든 길들을 하나의 그림에 색깔별로 한꺼번에 보여주는 방식이 가장 잘 작동했습니다.
  • 비유: 모든 길들을 나란히 놓고 "이 중 가장 창문에서 먼 길은?"이라고 물으면 AI 가 비교해서 쉽게 답을 찾습니다.
• 나쁜 방법: 길 하나하나를 따로따로 보여주고 점수를 매기게 하면, AI 는 다른 길과 비교할 수 없어서 혼란을 겪고 실수를 많이 했습니다.
  • 비유: "이 길은 창문에서 멀어?"라고 하나하나 물어보면, AI 는 "아, 저기 다른 길들이 있었나?"를 기억하지 못해 엉뚱한 답을 할 수 있습니다.

4. AI 의 약점: "가장 짧은 길"은 못 찾는다

AI 는 "창문에서 멀리"나 "소파 사이로" 같은 상대적인 위치를 잘 이해했지만, **"가장 짧은 길"**이나 **"가장 긴 길"**을 찾는 것은 서툴렀습니다.

• 이유: 길이의 길이를 계산하는 것은 전통적인 수학 알고리즘이 훨씬 빠르고 정확하기 때문입니다. AI 는 인간의 언어적 뉘앙스 (스타일, 분위기) 를 이해하는 데는 강하지만, 순수한 기하학적 계산에는 아직 약점이 있습니다.

---

💡 결론: 로봇은 이제 "스타일"도 이해한다?

이 연구는 **"로봇이 사람의 말로 된 복잡한 선호도 (스타일, 거리, 모양) 를 이해하고, 그에 맞는 길을 고르는 AI 기술을 로봇에 쓸 수 있다"**는 가능성을 보여줍니다.

• 기대: 앞으로 로봇은 "소파에 부딪히지 않게 부드럽게 가라"거나 "창문 쪽으로 구불구불 가라"는 말만으로도 원하는 대로 움직일 수 있게 될 것입니다.
• 과제: 아직 AI 가 길을 잘못 고르는 실수 (약 30%) 가 있고, 계산 비용 (비용) 과 정확도 사이의 균형도 맞춰야 합니다. 하지만 작은 데이터로 학습시키면 성능이 크게 좋아진다는 점은 매우 희망적입니다.

한 줄 요약:

"AI 가 이제 로봇에게 '창문에서 멀리, 구불구불하게 가라'는 말만으로도 적절한 길을 골라주는 '스마트한 운전 코치' 역할을 할 수 있다는 것을 확인했다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 로봇 계획 (Motion Planning) 시스템은 주로 주어진 작업 (Task) 을 수행하는 경로 생성에 집중해 왔으나, 사용자가 운동의 **스타일 (Style)**이나 **구체적인 공간적 제약 (Constraints)**을 자연어로 지시할 때 이를 효과적으로 반영하는 데는 한계가 있었습니다.

• 핵심 문제: 사용자가 "물체 A 에서 멀리 떨어진 경로로 이동하라"거나 "지그재그 형태의 부드러운 경로로 이동하라"는 것과 같은 **운동 선호도 (Motion Preferences)**를 표현할 때, 현재 Vision-Language Models (VLM) 가 얼마나 정확한 공간 추론 능력을 가지고 있는지 명확히 규명되지 않았습니다.
• 목표: 자연어 지시와 시각적 정보를 결합하여 로봇이 다양한 경로 후보 중에서 사용자의 선호도에 가장 부합하는 경로를 선택할 수 있는 VLM 의 능력을 평가하고, 이를 로봇 운동 계획 파이프라인에 통합하는 방안을 모색하는 것입니다.

2. 방법론 (Methodology)

A. 데이터셋 구축 및 경로 생성

• 시뮬레이션 환경: iGibson 시뮬레이터 (실제 가정 환경을 재구성한 3D 장면) 를 사용했습니다.
• 경로 후보 생성: BiRRT (Bidirectional Rapidly-exploring Random Trees) 와 PRM (Probabilistic RoadMaps) 알고리즘을 결합하여 각 작업 (내비게이션 및 조작) 에 대해 50 개의 다양한 기하학적/위상학적 특성을 가진 경로 후보를 생성했습니다.
• 클러스터링: 생성된 경로들을 K-means 알고리즘으로 군집화하여, 각 군집의 중심에 가장 가까운 경로를 대표 경로로 선정했습니다.
• 데이터셋 구성: 총 558 개의 문제 (내비게이션 126 개, 조작 432 개) 로 구성된 데이터셋을 제작했습니다. 각 문제는 가상 장면, 시작/목표 위치, 그리고 운동의 공간적 관계 (물체 근접성) 나 경로 스타일 (직선, 곡선, 지그재그 등) 을 설명하는 텍스트 지시로 구성되었습니다.

B. VLM 기반 경로 선택 전략 (4 가지 쿼리 방법)

논문은 VLM 이 이미지 내의 경로 후보를 평가하고 선택하는 4 가지 방법을 비교 평가했습니다:

1. 단일 이미지 경로 (Single-image trajectory): 모든 후보 경로를 하나의 이미지 내의 서로 다른 색상 점선으로 표시.
2. 멀티 이미지 경로 (Multi-image trajectory trail): 각 경로를 개별 이미지로 분리하여 VLM 에게 각각 점수를 매김.
3. 시각적 컨텍스트 포함 단일 이미지 (Single-image with visual context): 이미지 내용을 구조화된 데이터 (객체, 관계 등) 로 먼저 설명한 후, 이를 VLM 에게 제공하여 경로 선택.
4. 스크린샷 갤러리 (Screenshot gallery): 로봇이 경로를 따라 움직이는 시퀀스 이미지를 행렬 형태로 제공.

C. 평가 모델

• Qwen2.5-VL (72B 및 7B): 시각적 위치 파악 (Visual Grounding) 능력이 뛰어난 모델.
• GPT-4o: 최첨단 시각 지각 성능을 가진 모델.
• LLaVa1.5: 대화형 시각 질문 답변에 특화된 모델.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 벤치마크: 로봇 운동 선호도 (물체 근접성 및 경로 스타일) 를 텍스트로 지시하고 VLM 이 이를 시각적 경로와 매칭하는 능력을 평가하는 대규모 데이터셋과 프로토콜을 제안했습니다.
2. 쿼리 방법론 비교: 단일 이미지 내 모든 경로를 비교하게 하는 방식이 개별 경로를 점수 매기는 방식보다 훨씬 효과적임을 입증했습니다.
3. 파인튜닝의 효과 검증: 소규모 모델 (7B 파라미터) 에도 소량의 데이터 (98 개 예시) 로 파인튜닝을 수행하면 정확도가 크게 향상됨을 보였습니다.
4. 정확도 - 비용 트레이드오프 분석: 토큰 수 (계산 비용) 와 정확도 간의 선형적인 상관관계를 규명하여, 이미지 크기 조절을 통한 비용 최적화 가능성을 제시했습니다.

4. 실험 결과 (Results)

A. 쿼리 방법별 성능

• 최고 성능: 단일 이미지 쿼리 (Single-query) 방식이 가장 높은 정확도를 보였습니다.
  • Qwen2.5-VL-72B는 제로샷 (Zero-shot) 상태에서 **71.4%**의 평균 정확도를 달성했습니다.
  • 반면, 개별 경로를 점수 매기는 멀티 쿼리 방식은 일관된 상대적 비교가 어려워 성능이 저하되었습니다.
  • 스크린샷 갤러리 방식은 이미지 크기가 작아져 디테일이 손실됨에 따라 무작위 선택 수준에 가까운 성능을 보였습니다.

B. 선호도 유형별 성능

• 물체 근접성 (Object Proximity): "물체 A 에서 멀리 떨어져라"와 같은 지시는 74.4% (Qwen2.5-VL 기준) 로 높은 정확도를 보였습니다.
• 경로 스타일 (Path Style): "지그재그로 이동하라"와 같은 추상적인 스타일 지시는 **63.9%**로 상대적으로 낮은 정확도를 보였습니다.
• 모델 비교: Qwen2.5-VL 이 GPT-4o 보다 전반적으로 우수한 성능을 보였으며, 특히 객체 위치 파악 (Grounding) 능력에서 우위를 점했습니다.

C. 파인튜닝 효과

• LLaVa1.5-7B와 Qwen2.5-VL-7B를 소량의 데이터로 파인튜닝한 결과, 정확도가 크게 향상되었습니다.
  • Qwen2.5-VL-7B: 약 20% 이상 향상.
  • LLaVa1.5-7B: 60% 이상의 큰 폭으로 향상되어, 소규모 모델도 적은 데이터로 새로운 사용자 지시 유형에 적응할 수 있음을 보였습니다.

D. 계산 비용 (Token) 분석

• 단일 이미지 쿼리 방식이 가장 적은 토큰 수 (평균 약 687~721 토큰) 를 사용하면서도 최고 성능을 냈습니다.
• 이미지 크기 (토큰 수) 를 줄이면 정확도가 선형적으로 감소하는 경향이 관찰되었습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 이 연구는 VLM 이 단순한 작업 계획 (Task Planning) 을 넘어, 운동의 스타일과 제약 조건을 이해하고 적용할 수 있는 잠재력을 입증했습니다.
• 인간 중심의 로봇 계획 파이프라인을 구축할 때, 자연어 지시를 통해 로봇의 움직임을 세밀하게 제어할 수 있는 새로운 접근법을 제시했습니다.
• 파인튜닝을 통해 소규모 모델도 높은 성능을 낼 수 있음을 보여줌으로써, 실제 로봇 시스템에 VLM 을 통합하는 데 있어 비용 효율적인 솔루션을 제안했습니다.

한계 및 향후 과제

• 실패 사례: VLM 은 "가장 짧은 경로"나 "가장 긴 경로"를 판단하는 데 실패하는 경우가 많았으며, 이는 기존 최적화 계획기 (RRT*, PRM*) 가 해결하는 문제입니다.
• 할루시네이션: 존재하지 않는 경로 (예: 빨간색 경로가 없는데 빨간색을 선택) 를 선택하는 할루시네이션 현상이 발생했습니다.
• 향후 방향: 정확도를 더욱 높이고, 사용자를 루프에 포함시키는 적절한 인터페이스를 개발하여 로봇 운동 계획 파이프라인에 견고하게 통합하는 것이 향후 목표입니다.

요약

이 논문은 VLM 이 로봇 운동 계획에서 사용자의 자연어 선호도 (물체와의 거리, 경로 모양 등) 를 이해하고 적합한 경로를 선택할 수 있음을 실증했습니다. 특히 단일 이미지 내 모든 경로를 비교하는 방식과 소규모 모델의 파인튜닝이 핵심 성공 요인이며, 이는 인간과 로봇 간의 더 직관적이고 유연한 상호작용을 위한 중요한 기초 작업입니다.