💬 NLP

SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes

이 논문은 시뮬레이터에 기반한 벤치마크인 SpatialAct를 소개하며, 현재의 시각-언어 모델들이 고립된 공간 추론 작업에서는 강력한 성능을 보임에도 불구하고 3D 장면 내 다회차 상호작용 동안 일관된 공간 이해를 유지하고 신뢰할 수 있는 행동을 실행하는 데 무능함을 보여줌으로써, 현재의 모델들이 심각한 추론-행동 간극을 가지고 있음을 밝힌다.

원저자: Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianhui Liu, Jie Feng, Zhiheng Zheng, Shengyuan Wang, Yiming Guo, Yanxin Xi, Hangyu Fan, Yong Li, Pan Hui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 거실의 가구를 재배치하는 법을 가르치려 한다고 상상해 보세요. 단순히 로봇이 방을 보고 "저 의자가 벽에 너무 가깝다"라고 말하는 것만을 원하는 게 아닙니다. 당신은 로봇이 실제로 의자를 움직이고, 다시 살펴보고, 만약 제대로 되지 않았다면 방이 제대로 보일 때까지 다시 움직이는 것을 원합니다.

이것이 바로 SpatialAct라는 논문이 다루고 있는 내용입니다. 이것은 현대적인 AI 시각 모델(보고 말할 수 있는 로봇)이 실제로 이런 '보고-생각하고-행동하는' 루프에 능숙한지, 아니면 그저 자신이 보는 것에 대해 말하는 데만 능숙한지를 확인하기 위해 설계된 새로운 "테스트"입니다.

다음은 이 논문의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "말 잘하는 똑똑이" vs "행동하는 실천가"

연구진은 현재의 AI 모델들이 붓을 한 번도 잡아본 적 없는 천재 미술 평론가와 같다는 것을 발견했습니다.

좋은 소식: AI에게 지저한 방 사진을 보여주고 "램프가 소파에 닿아 있나요?"라고 물으면, 대개 정확하게 대답할 수 있습니다. AI는 정적인 질문에 대해서는 좋은 "눈"과 "두뇌"를 가지고 있습니다.
나쁜 소식: 하지만 AI에게 램프를 움직여서 방을 고쳐보라고 요청하면 혼란에 빠집니다. AI는 종종 램프를 엉뚱한 방향으로 움직이거나, 문제를 해결했다고 생각하지만 실제로는 상황을 더 악화시키기도 합니다. AI는 변화가 일어난 후의 방 상태를 추적하는 데 어려움을 겪습니다.

2. 테스트: "SpatialAct"

이를 증명하기 위해 연구팀은 SpatialAct라는 3D 비디오 게임 시뮬레이터를 구축했습니다. 이것은 다음과 같은 디지털 샌드박스입니다:

장면: 세 가지 유형의 방이 있습니다: 단순한 기하학적 모양(레고 블록 같은), 건물이 있는 도시 거리, 그리고 가구가 있는 현실적인 실내 방.
과업: AI에게는 "버그"(오류)가 있는 방이 보여집니다. 예를 들어 건물이 도로를 침범하거나, 캐비닛이 벽에 끼어 있는 등의 상황입니다.
목표: AI는 디지털 인테리어 디자이너처럼 행동해야 합니다. AI는 다음 과정을 거쳐야 합니다:
1. 오류를 포착한다.
2. 명령을 내린다 (예: "캐비닛을 북쪽으로 1미터 이동하라").
3. 시뮬레이터 내에서 방이 업데이트되는 것을 관찰한다.
4. 방이 완벽해질 때까지 이 과정을 반복한다.

3. 난이도의 계층

이 테스트는 단순히 하나의 큰 도전 과제가 아니라, AI가 정확히 어느 지점에서 무너지는지 확인하기 위한 난이도 사다리였습니다:

레벨 1 (기초 기술): AI가 의자의 개수를 셀 수 있는가? 어느 쪽이 북쪽인지 알 수 있는가? (AI는 이 부분에서 꽤 뛰어납니다).
레벨 2 (단일 단계 수정): AI가 하나의 오류를 포착하고 단 한 번의 움직임으로 고칠 수 있는가? (AI는 이 부분에서 괜찮지만, 아주 뛰어나지는 않습니다).
레벨 3 (보스전 - 다회차 정교화 작업): AI가 실수로부터 배우며 엉망인 방을 반복해서 고쳐나가야 합니다. 이 지점에서 AI는 처참하게 실패합니다.

4. 결과: 거대한 격차

논문은 AI를 인간과 비교하였으며, 엄청난 격차를 발견했습니다:

인간: 이 과업을 수행할 때, 인간은 약 **91%**의 확률로 방을 성공적으로 고쳤습니다. 공간을 시각화하고 자신이 방금 무엇을 했는지 기억할 수 있기 때문에 인간에게는 쉬운 일이었습니다.
최고 수준의 AI 모델: 최고의 AI 모델들도 방을 고치는 데 성공한 비율은 약 **20%**에 불과했습니다.
"부정적" 점수: 일부 AI 모델은 방을 시작할 때보다 오히려 더 나쁘게 만들기도 했습니다. 충돌을 해결하려고 시도하다가 실수로 새로운 충돌을 만들어내곤 했습니다.

5. AI는 왜 실패하는가?

논문은 몇 가지 핵심적인 이유를 유용한 비유를 통해 설명합니다:

"건망증" 효과: AI는 스냅샷을 보는 데는 뛰어나지만, 일단 행동을 취하고 나면 새로운 현실을 추적하는 데 어려움을 겪는 듯합니다. 벽이 움직였다는 사실을 잊어버려서 계속 벽에 부딪히는 식입니다.
"진단" 오류: 때때로 AI는 무엇이 잘못되었는지조차 파악하지 못합니다. 건물이 기울어져 있다고 생각하지만 실제로는 멀쩡하거나, 충돌을 아예 놓치기도 합니다.
"행동" 오류: AI가 무엇이 잘못되었는지 알더라도 잘못된 명령을 내립니다. "90도 회전"이라고 말해야 할 상황에서 "1미터 이동"이라고 말하는 식입니다.
복잡성 과부하: 방에 오류가 한꺼번에 너무 많으면 AI는 압도당합니다. 이는 열 개의 서로 다른 줄이 엉킨 매듭을 푸는 것과 같습니다. 줄 하나를 당기면 나머지 세 줄이 더 팽팽해지는 것과 같습니다.

6. 시사점

논문은 AI가 공간에 대해 "보고" "말하는" 데는 점점 나아지고 있지만, 공간에서 "행동하는" 데는 여전히 서툴다고 결론짓습니다.

현재 상태: AI는 도시를 완벽하게 묘사할 수는 있지만, 길을 걷기 시작하자마자 길을 잃는 관광객과 같습니다.
격차: 여기에는 거대한 "추론-실행 간의 격차"가 존재합니다. AI가 방에 관한 수학 문제를 풀 수 있다고 해서, 실제로 그 방의 가구를 재배치할 수 있다는 뜻은 아닙니다.

요약하자면: 우리는 훌륭한 관찰자를 구축했지만, 아직 신뢰할 수 있는 실행가를 구축하지 못했습니다. 이 "기억과 행동" 문제를 해결하기 전까지, 이 로봇들은 우리의 실제 3D 공간을 정리하는 데 투입될 준비가 되지 않았습니다.

기술 요약: SpatialAct

문제 정의

시각-언어 모델(VLM)은 수동적인 공간 지각 및 추론(예: 정적 이미지에 대한 질문 답변)에서 유망한 능력을 보여주었으나, 동적인 3D 환경 내에서 신뢰할 수 있고 반복적인 행동으로 공간 추론을 변환하는 능력에는 결정적인 격차가 존재합니다. 기존 벤치마크는 주로 모델을 관찰자로 평가하며, 모델의 출력이 이후 모델이 추론해야 할 환경을 변화시키지 않습니다. 반대로, 체화된(embodied) 벤치마크는 고수준의 공간 추론을 저수준 제어(내비게이션, 조작)와 혼동하여 공간 지능을 분리하여 평가하기 어렵게 만듭니다.

해결하고자 하는 핵심 문제는 **행동 조건부 공간 추론(action-conditioned spatial reasoning)**입니다. 즉, 에이전트가 현재의 공간 상태를 이해할 뿐만 아니라, 자신의 행동이 어떻게 상태를 변화시키는지 추론하고, 그 결과로 나타나는 전이를 관찰하며, 상호작용의 여러 턴에 걸쳐 일관된 공간적 신념(spatial beliefs)을 유지할 수 있는 능력입니다. 현재의 VLM은 고립된 추론 작업과 안정적인 장기적 공간 정교화(long-horizon spatial refinement) 사이의 간극을 메우는 데 어려움을 겪고 있습니다.

방법론: SpatialAct 벤치마크

이 격차를 해소하기 위해 저자들은 VLM 에이전트의 추론-대-행동 능력을 조사하기 위해 설계된 시뮬레이터 기반 벤치마크인 SpatialAct를 소개합니다. 이 벤치마크는 계층적 진단 프레임워크와 제어 가능한 3D 시뮬레이션 환경을 기반으로 구축되었습니다.

1. 벤치마크 구성

시나리오: SpatialAct는 세 가지 뚜렷한 3D 레이아웃 유형을 다룹니다:
- 추상 기하학(Abstract Geometric): 5~7개의 기하학적 원형(큐브, 실린더, L-자형 등)이 포함된 절차적으로 생성된 장면.
- 도시 건축(Urban Architectural): 최대 20개의 건물이 포함된 혼합 도시 장면을 특징으로 하는 RAISECity에서 파생됨.
- 실내 장면(Indoor Scene): 다양한 실내 환경에 5~15개의 이동 가능한 가구 객체가 포함된 InternScenes에서 구축됨.
데이터 규모: 이 벤치마크는 333개의 장면과 4,355개의 QA 쌍으로 구성됩니다.
시각적 입력: 각 장면은 보완적인 공간 정보를 제공하기 위해 **탑 뷰(Top-view)**와 **아이소메트릭 뷰(Isometric-view)**의 두 가지 관점에서 렌더링됩니다.
오류 주입: 정교화 능력을 테스트하기 위해, 시스템은 충돌, 경계 위반(벽/도로 충돌), 방향 불일치 등을 포함하여 깨끗한 장면에 공간적 오류를 절차적으로 주입합니다.

2. 계층적 작업 설계

SpatialAct는 세 가지 단계로 높아지는 복잡도를 통해 에이전트를 평가합니다:

레벨 1: 기초 공간 능력: 기초적인 공간 인지력을 진단하기 위해 심리 측정 이론에서 채택한 다섯 가지 기본 작업:
1. 객체 의미(Object Meaning): 개수 세기, 식별, 위치, 거리.
2. 공간 관계(Spatial Relation): 방향, 관계, 측면 세기.
3. 공간 방향(Spatial Orientation): 뷰 일관성 및 회전.
4. 정신적 회전(Mental Rotation): 객체 중심 및 장면 중심 회전.
5. 공간 시각화(Spatial Visualization): 이동, 교체, 충돌의 결과 예측.
레벨 2: 단일 단계 오류 탐지 및 수정: 모델은 장면 내의 특정 공간 오류를 식별하고 단일 교정 행동(이동, 회전 또는 크기 조절)을 제안해야 합니다.
레벨 3: 다회차 상호작용 정교화 (핵심 작업): 모델은 시뮬레이터와 폐쇄 루프 상호작용을 수행합니다.
- 워크플로우: 모델은 오류가 있는 장면의 탑/아이소메트릭 뷰를 받고, 오류를 식별한 후 고수준의 시맨틱 명령(예: Move(Object_2, North, 0.7))을 출력합니다.
- 실행: 시뮬레이터는 이러한 명령을 파싱하고 실행하여 업데이트된 뷰를 렌더링합니다.
- 반복: 모델은 새로운 뷰와 행동 이력을 함께 전달받으며, 장면이 오류가 없거나 최대 턴 제한(30회)에 도달할 때까지 이 과정을 반복합니다.

3. 평가 지표

이 벤치마크는 정확도와 효율성을 모두 평가하기 위해 다음과 같은 지표 세트를 사용합니다:

수리율(Repair Rate): 감소된 오류의 비율 ( $E_{before} - E_{after} / E_{before}$ ).
장면 성공률(Scene Success Rate): 모든 오류가 완전히 해결된 장면의 비율.
유효 수리 턴 비율(Effective Repair Turn Ratio): 오류 수를 성공적으로 줄이는 데 기여한 턴의 빈도.
조기 중단율(Premature Stop Rate): 오류가 남아 있는 상태에서 중단하는 빈도.
토큰 비용(Token Cost): 장면당 평균 완료 토큰 수.

주요 기여

행동 조건부 추론의 공식화: 논문은 고수준의, 시뮬레이터 실행 가능한 행동이 3D 환경 상태를 직접 변화시켜 모델이 동적인 상태 전이에 대해 추론하도록 요구하는 VLM 에이전트를 위한 새로운 평가 축을 정의합니다.
SpatialAct 벤치마크: 기초적인 지각부터 복잡한 다회차 정교화까지 실패를 진단할 수 있도록 계층적으로 구성된, 333개 장면과 4,355개 QA 쌍을 가진 포괄적인 시뮬레이터 기반 데이터셋입니다.
체계적 평가 및 격차 분석: 선도적인 독점 및 오픈 소스 VLM을 엄격하게 평가하여 상당한 "추론-대-행동 격차"를 드러내며, 향후 에이전트 개발을 위한 진단 프레임워크를 제공합니다.

실험 결과

저자들은 7개의 최첨단 VLM(GPT-5.4, Gemini-3.1 Pro, GLM-5V-Turbo, Kimi-K2.5, Qwen3.6 변형 모델 포함)과 인간 참가자를 평가했습니다.

추론-대-행동 격차: 모델은 고립된 공간 작업에서는 우수한 성능을 보이지만(기초 카테고리에서 약 80% 정확도 달성), 다회차 정교화에서는 성능이 급격히 떨어집니다.
- 인간 베이스라인: 인간은 0.911의 수리율과 0.763의 장면 성공률을 달성했습니다.
- 최고의 VLM (Gemini-3.1 Pro): 0.411의 수리율과 0.206의 장면 성공률만을 달성했습니다.
- 기타 모델: 많은 오픈 소스 모델과 GLM-5V-Turbo는 수리율이 0에 가깝거나 음수를 기록했는데, 이는 오류를 수정하지 못하거나 오히려 새로운 오류를 유발했음을 나타냅니다.
실패 모드: 분석(그림 4)에 따르면 모델은 두 가지 결합된 문제로 인해 실패합니다:
1. 진단 오류(Diagnosis Errors): 공간 위반이 존재하는지 여부를 잘못 식별함.
2. 추론-대-행동 오류(Reasoning-to-Action Errors): 올바른 진단을 하더라도 잘못된 교정 행동(예: 물체를 잘못된 방향이나 잘못된 크기로 이동)을 수행함.
컨텍스트 및 복잡성:
- 컨텍스트 윈도우: 컨텍스트 윈도우 크기를 늘리는 것은 더 상세한 추론과 상호작용 턴을 유도했지만, 수리율을 개선하지는 못했습니다. 이는 토큰 예산보다는 교차 턴 제어 품질의 병목 현상을 시사합니다.
- 장면 복잡도: 초기 오류 수가 증가함에 따라 성능이 저하되었으며, 이는 결합된 여러 오류를 추적하는 데 어려움이 있음을 강조합니다.
- 오류 유형: 방향 오류는 수정하기 가장 쉬웠던 반면, 충돌 및 벽/도로 위반과 같은 충돌 오류는 가장 어려웠습니다. 이는 제약 조건 인지 계획(constraint-aware planning)의 취약성을 나타냅니다.

의의 및 주장

본 논문은 SpatialAct가 현재 VLM 에이전트의 근본적인 한계, 즉 행동에 의한 환경 변화 속에서 일관된 공간적 신념을 유지하고 신뢰할 수 있는 행동을 생성하는 능력을 드러낸다고 주장합니다.

핵심 병목 현상: 주요 실패 원인은 지각이나 기초적인 추론이 아니라, 교차 턴 상태 유지(cross-turn state maintenance), 제약 조건 인지 계획(constraint-aware planning), 그리고 안정적인 추론-대-행동 실행에 있습니다.
시사점: 결과는 현재의 VLM이 에이전트의 행동에 반응하여 환경이 변하는 실제 세계의 에이전트 작업에 필요한 견고성이 부족함을 시사합니다.
향อน 방향: 저자들은 SpatialAct를 더 강력한 공간 상태 추적 및 피드백 루프 간의 조율 능력을 갖춘 VLM 에이전트 개발을 가이드할 수 있는 실행 가능한 진단 프레임워크로 제시합니다. 벤치마크, 시뮬레이터 워크플로우 및 툴킷은 연구 지원을 위해 오픈 소스로 공개되었습니다.

논문은 독점 모델들이 고무적인 진전을 보이고 있음에도 불구하고, 모든 현재 시스템이 반복적인 공간 교정에서 인간의 신뢰성에 훨씬 미치지 못하며, 이 격차가 분야의 중요한 과제로 남아 있다고 언급하며 겸허하게 결론을 맺습니다.