🤖 machine learning

SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models

이 논문은 시각적 기초 모델(Visual Foundation Models)의 공간 추론 능력을 평가하기 위해 설계된 합성 벤치마크인 SpaRRTa를 소개하며, 이는 객체의 상대적 위치를 식별하는 능력을 테스트함으로써 현재 모델들의 공간 인지력에 나타나는 상당한 격차를 드러내고 향후 발전을 안내한다.

원저자: Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 어질러진 방을 지나가는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 의자 위에 앉아 있는 고양이와 그 옆에 있는 램프가 찍힌 사진을 보여줍니다. 똑똑한 로봇는 두 가지를 알아야 합니다. 즉, 그것들이 '무엇'인지(고양이, 의자, 램프)와 그것들이 서로에 대해 '어디에' 있는지(고양이는 램프의 왼쪽에 있다)입니다. 오랫동안 컴퓨터는 첫 번째 부분, 즉 사진 속의 물체를 식별하는 데 매우 능숙해졌습니다. 하지만 두 번째 부분인 3D 레이아웃과 방향을 이해하는 것은, 마치 평면적인 그림을 보고 공이 어디에 있는지 눈을 가린 채 추측하려는 사람과 같았습니다.

이것이 바로 "시각 기초 모델(Visual Foundation Models)"의 세계입니다. 이들은 수백만 장의 사진을 읽고 패턴을 학습한 초지능형 AI 뇌라고 생각하면 됩니다. 이들은 현대적인 이미지 도구들의 엔진 역할을 합니다. 그러나 연구자들은 이 뇌들이 가진 결함을 발견했습니다. 이들은 "저것은 나무다!"라고 말하는 데는 뛰어나지만, "나무가 자동차의 왼쪽에 있나, 오른쪽에 있나?"라는 질문에는 종종 비틀거립니다. 이는 우리가 집 안을 돌아다니거나 자동차를 운전하고 싶을 때, 단순히 라벨을 붙이는 것이 아니라 공간을 이해해야 하기 때문에 매우 중요합니다. 큰 질문은 이것입니다. 이 AI 뇌들이 실제로 3D 세상을 "보는" 것일까요, 아니면 특정 수학 문제의 정답을 맞히기 위해 속임수를 암기하고 있는 것일까요?

이 미스터리를 해결하기 위해, 연구팀은 SpaRRTa(공간 관계 인식 작업)라는 새로운 테스트를 만들었습니다. SpaRRTa는 AI에게 정확한 거리를 측정하거나 3D 지도를 그리는 것과 같은 복잡한 수학을 요구하는 대신, 더 단순하고 근본적인 질문을 던집니다. "이 특정 관점에서 볼 때, 물체 A는 물체 B의 왼쪽, 오른쪽, 앞, 또는 뒤 중 어디에 있는가?"

이 테스트를 공정하고 매우 정밀하게 만들기 위해, 연구자들은 인터넷에서 가져온 실제 사진을 사용하지 않았습니다. 대신 그들은 하이엔드 게임 엔진(Unreal Engine 5)을 사용하여 가상 세계를 구축했습니다. 그들은 숲, 사막, 눈 내리는 마을, 다리, 번화한 도시와 같은 극사실적인 장면을 만들고 자동차, 나무, 개와 같은 물체들을 배치했습니다. 그들은 카메라를 움직이거나, 심지어 '관점'을 장면 속의 한 사람으로 설정하여, AI에게 단순히 카메라의 시선이 아닌 그 사람의 눈으로 세상을 상상하도록 요청할 수 있었습니다. 이것은 "내가 자동차 뒤에 서 있다면, 나무가 나의 왼쪽에 있을까, 오른쪽에 있을까?"라고 묻는 것과 같습니다.

연구자들은 사진만 보고 학습한 모델부터 3D 기하학을 구체적으로 학습한 모델까지 다양한 종류의 AI 뇌들을 테스트했습니다. 그들은 "프로빙(probing)"이라는 영리한 기술을 사용했습니다. AI의 뇌를 정보가 담긴 잠긴 상자라고 상상해 보세요. 전체 상자를 다시 훈련시키는 대신, 그 안에 공간 정보가 이미 들어있는지 확인하기 위해 작고 단순한 열쇠(프로브)를 만들었습니다. 그들은 세 가지 다른 열쇠를 시도했습니다. 전체 이미지를 한 번에 보는 단순한 열쇠, 중요한 지점을 골라낼 수 있는 더 똑똑한 열쇠, 그리고 여러 특정 대상에 동시에 집중할 수 있는 초지능형 열쇠입니다.

그 결과는 다음과 같으며, 이는 다소 놀랍습니다. 첫째, 단순한 열쇠는 자주 실패했습니다. AI의 "전역적(global)" 시야(이미지를 하나의 커다란 덩어리로 보는 것)가 실제로 공간적 세부 사항을 숨겨버린다는 것이 밝혀졌습니다. 사물의 위치에 대한 정보는 이미지의 작은 국소적 패치들, 즉 개별 퍼즐 조각들 안에 저장되어 있습니다. 이 조각들을 하나의 요약본으로 뭉쳐버리면 방향 정보는 사라지게 됩니다. 그러나 더 똑똑하고 집중된 열쇠를 사용했을 때, AI 뇌들은 훨씬 더 나은 성능을 보였습니다.

이 연구는 이러한 모델들이 공간 인지 능력을 갖추고 있기는 하지만, 그 능력이 아주 세밀한 디테일 속에 숨겨져 있다는 것을 시사합니다. 3D 데이터(예를 들어 정확히 얼마나 떨어져 있는지 아는 것)로 특별히 훈련된 모델들이 가장 좋은 성과를 냈지만, 평면적인 2D 사진만 본 모델들조차 올바른 방식으로 질문한다면 방향을 이해할 수 있음을 보여주었습니다. 흥고하게도, AI는 카메라의 시점에서 보는 것보다 장면 속 인물의 관점(알로센트릭/allocentric 뷰)을 취하는 것을 훨씬 더 어려워했습니다. 이것은 우리가 사진을 보고 "나무가 자동차의 왼쪽에 있다"라고 말하는 것은 쉽지만, "우리가 자동차 뒤에 서 있다면 나무가 나의 오른쪽에 있다"라고 상상하는 것은 훨씬 더 어렵다는 것과 같습니다.

연구자들은 꽃이나 비행기를 잘 식별하는 것이 공간을 잘 이해하는 것과 관련이 있는지도 확인했습니다. 답은 '아니오'였습니다. AI는 사물의 이름을 맞히는 데는 달인이 될 수 있지만, 그것들이 어디에 있는지는 전혀 모를 수 있습니다. 이는 SpaRRTa가 단순히 물체 인식과는 완전히 다른 기술을 측정하고 있음을 증명합니다.

요약하자면, 이 논문은 현대의 AI 뇌들이 공간에 대해 "눈먼" 것이 아니라, 공간 지식을 큰 그림의 요약본이 아닌 이미지의 미세한 디테일 속에 숨기고 있다는 점을 시사합니다. 로봇이 우리 세상 속을 실제로 항해할 수 있게 만들려면, 단순히 물체를 인식하도록 요구하는 것을 넘어, SpaRRTa와 같은 도구를 사용하여 물체 사이의 관계를 이해하도록 가르쳐야 합니다.

기술 요약: SpaRRTa – 시각적 파운데이션 모델의 공간 지능 평가를 위한 합성 벤치마크

문제 정의

DINO 및 CLIP과 같은 시각적 파운데이션 모델(Visual Foundation Models, VFMs)은 분류, 객체 인식, 장면 분석 등의 응용 분야를 주도하며 놀라운 의미론적 이해 능력을 입증해 왔습니다. 그러나 이들의 로보틱스/임보디드 시스템(embodied systems) 배치는 제한적인 공간 추론 능력으로 인해 제약을 받고 있습니다. 최근 3D 작업(예: 깊이 추정, 표면 법선 예측)을 VFM 학습에 통합하려는 노력이 있었으나, 다양한 공간 작업 전반에 걸친 성능은 일관되지 않습니다. 이는 근본적인 질문을 던집니다. 현대의 VFM들이 일반적인 공간 인지 개념을 보유하고 있는 것인가, 아니면 단순히 인간과 같은 공간 이해에 필요한 추상화를 포착하지 못한 채 특정적이고 정량화 가능한 기하학적 목표에 과적합(overfit)된 것인가? 기존 벤치마크들은 공간 추론을 의미론적 인식과 혼동하거나, 모델의 관계적 공간 구조 인코딩 능력을 반영하지 못하는 정밀한 메트릭 예측에 의존하는 경향이 있습니다.

방법론: SpaRRTa 벤치마크

이러한 격차를 해소하기 위해 저자들은 지정된 관점으로부터 가시적인 객체들 사이의 정적인 방향 관계를 식별하는 능력을 평가하도록 설계된 벤치마크인 **SpaRRTa (Spatial Relation Recognition Task)**를 소개합니다.

1. 합성 데이터 생성

SpaRRTa는 Unreal Engine 5를 활용하여 포토리얼리스틱한 합성 유도 데이터셋을 생성합니다. 이 접근 방식은 다음과 같은 이점을 제공합니다:

완전한 제어: 객체 배치, 장면 레이아웃, 관점의 정밀한 조작 가능.
다양성: 유기적인 자연 경관부터 밀집된 도시 환경에 이르기까지 다섯 가지의 고충실도 환경(숲, 사막, 겨울 마을, 다리, 도시) 구성.
그라운드 트루스(Ground Truth): 실제 세계의 데이터에 내재된 노이즈 없이 완벽한 공간 주석 자동 생성.
In-Distribution: 일반적인 ImageNet 상위 카테고리와 정렬된 에셋을 사용하여 데이터가 표준 VFM의 분포 내에 머물도록 함으로써, 기하학적 이해와 의미론적 인식 실패를 분리함.

2. 작업 정의

핵심 작업은 소스(source) 객체로부터 타겟(target) 객체로의 상대적 방향을 결정하는 4지 분류 문제입니다. 벤치마크는 참조 관점에 따라 두 가지 변형을 정의합니다:

자기중심적 (Egocentric, SpaRRTa-ego): 카메라가 관점이 됩니다. 모델은 카메라의 관점을 기준으로 방향을 예측합니다.
타자중심적 (Allocentric, SpaRRTa-allo): 제3의 객체(예: 사람 형체)가 관점 역할을 합니다. 모델은 이 제3의 객체의 관점에서 공간 관계를 추론해야 하며, 이는 "관점 취하기(perspective-taking)"와 시각적 입력으로부터 공간 관계를 분리하는 능력을 요구합니다.

엄격함을 보장하기 위해, 파이프라인은 **절차적 거부 샘플링(procedural rejection sampling)**을 채택하여 기하학적 모호성(예: 타겟이 '왼쪽'과 '앞'의 경계에 위치하는 경우)을 제거함으로써, 모든 선택된 샘플이 명확한 그라운드 트루스 라벨을 갖도록 합니다.

3. 평가 프로토콜

저자들은 다양한 VFM 제품군(자기 지도 학습 기반 결합 임베딩 아키텍처, 마스크 이미지 모델링, 지도 학습 및 시각-언어 모델 포함)을 **동결된 백본(frozen backbones)**을 사용하여 평가합니다. 공간 정보를 탐색하기 위해 세 가지 별도의 디코딩 메커니즘이 사용됩니다:

선형 프로빙 (Linear Probing, GAP): 패치 토큰의 전역 평균 풀링(Global Average Pooling).
AbMILP: 어텐션 기반 다중 인스턴스 학습 풀링(Attention-Based Multiple Instance Learning Pooling)으로, 패치들에 대한 스칼라 가중치를 학습합니다.
효율적 프로빙 (Efficient Probing): 특정 공간 엔티티에 주의를 기울이기 위해 멀티 쿼리 교차 어텐션 메커니즘을 활용합니다.

주요 기여

도구: 방향적 공간 관계 인식을 조사하기 위해 Unreal Engine 5를 기반으로 구축된 포토리얼리스틱 합성 평가 환경.
벤치마크: 공간 논리를 의미론적 인식으로부터 분리하도록 설계된 두 가지 표준화된 챌린지 세트(Egocentric 및 Allocentric).
통찰: 서로 다른 VFM 계열이 공간 정보를 어떻게 인코딩하는지에 대한 포괄적인 특성화. 이는 공간 지식이 존재하더라도 전역 표현(global representation) 내에서 구조적으로 가려져 있을 수 있음을 밝혀냅니다.

주요 결과

1. 패치 레벨 인코딩 vs. 전역 풀링

연구 결과 일관된 성능 계층 구조가 나타났습니다: Linear Probing < AbMILP < Efficient Probing.

공간 정보는 전역 표현보다는 주로 **로컬 패치 특징(local patch features)**에 인코딩되어 있습니다.
전역 평균 풀링(GAP)은 특히 혼잡한 장면에서 공간 신호를 크게 희석시킵니다.
패치 정보를 선택적으로 집계하는 프로빙 메커니즘(AbMILP, Efficient Probing)은 상당한 성능 향상을 보여주며, 이는 VFM 내에 공간 인지 능력이 존재하지만 표준 선형 프로브로는 접근하기 어렵다는 것을 시사합니다.

2. 3D 감독(Supervision)의 영향

VGGT(카메라 파라미터, 깊이, 트랙에 대한 명시적 3D 감독으로 학습된 모델)는 공간 선택적 프로브(AbMILP 및 Efficient Probing)를 사용할 때 부모 모델인 **DINO-v2 (+reg)**보다 우수한 성능을 보입니다.
그러나 전역 평균 풀링(GAP) 하에서는 VGGT가 DINO-v2보다 우수하지 않으며, 때로는 더 낮은 성능을 보이기도 합니다.
결론: 명시적인 3D 감독은 패치 레벨의 기하학적 구조를 풍부하게 하지만, 공간 관계 인식을 위한 전역 이미지 레벨 표현을 반드시 개선하는 것은 아닙니다.

3. 자기중심적 vs. 타자중심적 난이도

모든 모델과 환경에서 **타자중심적 인식(Allocentric recognition)**이 자기중심적 인식보다 일관되게 더 어렵습니다.
상위 모델들이 자기중심적 작업에서는 포화 상태에 도달하는 반면, 타자중심적 작업에서는 상당한 성능 격차가 지속됩니다. 이는 현재의 VFM들이 관점 취하기(perspective-taking)를 수행하는 데 어려움이 있음을 강조합니다.

4. 환경 복잡도

모델들은 시각적으로 균질한 환경(사막, 숲)에서 더 잘 작동하며, 의미론적으로 혼잡한 장면(도시, 겨울 마을)에서는 성능이 저하됩니다.
이는 시각적 노이즈가 공간 추론을 위한 관련 패치를 식별하는 데 방해가 됨을 시사하며, 이는 현재의 시각적 표현 모델에서 공통적으로 나타나는 한계입니다.

5. 의미론적 작업과의 직교성

상관관계 분석 결과, SpaRRTa 성능과 3D 기하학적 작업(깊이 추정, 카메라 포즈) 사이에 양의 상관관계( $R^2 \approx 0.40$ )가 나타났습니다.
반면, SpaRRTa와 고수준 의미론적 분류 작업(예: 미세 분류된 꽃 또는 항공기 인식) 사이에는 무시할 만한 상관관계( $R^2 \approx 0.00$ )가 있었습니다.
이는 SpaRRTa가 강력한 의미론적 특징으로부터 자동으로 발현되는 것이 아닌, 별개의 능력(공간 인지 능력)을 측정함을 확인시켜 줍니다.

6. 표현의 메커니즘

어텐션 흐름(Attention flow) 분석은 3D 감독(VGGT의 경우)이 심층 레이어에서의 정보 흐름을 재구성함을 보여줍니다. [CLS] 토큰이 객체에 대해 높은 어텐션을 유지하는 DINO-v2와 달리, VGGT는 어텐션을 **레지스터 토큰(register tokens)**으로 이동시키고 공간적 세부 사항을 로컬 패치 토큰에 분산시킵니다. 이것이 왜 VGGT가 전역 [CLS] 프로빙에서는 실패하면서도 효율적인 패치 인식 프로빙에서는 탁월한 성능을 보이는지를 설명합니다.

의의 및 주장

저자들은 SpaRRTa가 공간 표현을 연구하기 위한 진단 도구이자, 더 강력한 공간 인지 능력을 갖춘 미래의 비전 모델을 개발하기 위한 가이드 역할을 한다고 주장합니다.

독립적 능력: 본 논문은 3D 인지가 기존의 의미론적 벤치마크가 포착하지 못하는 근본적이고 독립적인 능력 축이라고 주장합니다.
평가의 필요성: 표준 선형 평가는 공간 인지 능력을 상당히 과소평가하며, 공간 지식을 드러내기 위해서는 구조화된 집계가 필요합니다.
임보디드 AI (Embodied AI): 로봇 에이전트가 효과적으로 탐색하고 상호작용하기 위해서는, 모델이 수동적인 의미론적 인식을 넘어 관점 의존적 추론과 공간 관계 디코딩을 지원할 수 있어야 합니다.
미래 방향: 저자들은 SpaRRTa가 "공간 인지적이며 행동 조건부인 월드 모델(action-conditioned world models)"의 개발을 가이드하여, 다운스트림 임보디드 작업에 대한 학습 과정을 단순화할 수 있다고 제안합니다.

논문은 SpaRRTa가 공간 추론의 근본적인 구성 요소를 다루고 있지만, 아직 거리 추정, 폐쇄(occlusion) 추론, 또는 시간적 이해와 같은 다른 측면들을 평가하는 것은 아니라고 언급하며 겸허하게 마무리합니다.