기술 요약: 야생에서의 공간 초감각(Spatial Supersensing)을 향하여 (VSI-SUPER-WILD)

문제 정의

현재의 멀티모달 대규모 언어 모델(MLLM)은 정적 이미지 이해와 단기 비디오 이해 측면에서 상당한 진전을 이루었습니다. 그러나 연속적인 감각 스트림으로부터 암시적인 3D 세계 모델을 구축, 업데이트 및 예측하는 능력인 공간 초감각(spatial supersensing) 능력은, 특히 제약이 없는 실제 환경(in-the-wild)에서 여전히 미개척 영역으로 남아 있습니다.

VSI-SUPER와 같은 기존 벤치마크는 다음과 같은 세 가지 주요 한계점을 가집니다:

1. 장면 다양성 부족: 주로 가정용 장면에 의존하며, "야생(in-the-wild)" 환경의 복잡성이 결여되어 있습니다.
2. 인위적인 데이터 구축: 긴 비디오가 무작위 짧은 클립을 연결하거나 프레임 내 편집을 통해 합성되는 경우가 많아, 자연스럽고 연속적인 감각 스트림을 제대로 표현하지 못합니다.
3. 협소한 세계 상태(World-State) 범위: 평가는 객체 중심에 치우쳐 있으며, 인지 과학에서 영감을 받은 통합된 세계 모델의 핵심 구성 요소인 **에이전트(관찰자)**와 **환경(전역 레이아웃 및 장소)**을 간과하고 있습니다.

결과적으로, 현재의 MLLM이 다양한 실제 시나리오에서 긴 시간 지평(temporal horizons) 동안 일관되고 회상 가능한 세계 상태를 유지할 수 있는지 여부는 불분명합니다.

방법론: VSI-SUPER-WILD 벤치마크

이러한 격차를 해소하기 위해, 저자들은 에이전트, 객체, 환경이라는 세 가지 앵커를 통해 공간 초감각을 평가하도록 설계된 대규모 벤치마크인 VSI-SUPER-WILD를 도입합니다.

1. 데이터셋 구축

이 벤치마크는 YouTube에서 가져온 8가지 장면 카테고리(예: 거리 뷰, 교통 허브, 상업적 소매점, 의료 시설)를 아우르는 442개의 실제 롱폼 파노라마 비디오(총 약 285시간)로 구축되었습니다.

• 데이터 무결성: 이전 연구와 달리, 이 비디오들은 생성적 편집이나 클립 연결 없이 가공되지 않은 자연스럽고 연속적인 영상입니다.
• 전처리: 파노라마 비디오는 네 개의 직교하는 투영 뷰(전방, 후방, 좌측, 우측)로 투영됩니다.
• 메타데이터 생성: 인간 참여형 검증(human-in-the-loop)이 포함된 반자동 파이프라인을 통해 다음을 생성합니다:
  • 시간적 메타데이터: 인간/MLLM 제안, YOLO-World 필터링, SAM3 인스턴스 분할을 통한 객체 등장 타임스탬프.
  • 공간적 메타데이터: Depth-Anything-3 (DA3)를 사용하여 추정한 시변 카메라 포즈(Time-varying camera poses).

2. 태스크 스위트(Task Suite)

벤치마크는 세계 상태의 다양한 측면을 조사하기 위해 인지적으로 근거를 둔 네 가지 태스크를 정의합니다:

• VMR (Motion Orientation Recall): 에이전트를 조사합니다. 모델은 특정 질의 프레임에서의 시야 방향에 대한 카메라의 운동 방향을 추론해야 하며, 이는 프레임 수준의 매칭이 아닌 잠재적 세계 상태의 회상을 요구합니다.
• VPO (Place Temporal Ordering): 환경을 조사합니다. 모델은 서로 다른 장소에서 샘플링된 네 개의 질의 프레임의 시간적 순서를 결정합니다. 이때 각 프레임은 단순 매칭을 방지하기 위해 서로 다른 시야 방향으로 Yaw 회전되어 있습니다.
• VOO (Object Temporal Ordering): 객체를 조사합니다. 모델은 특정 객체의 첫 등장 또는 마지막 등장을 기준으로 객체의 시간적 순서를 출력하며, 이는 연속적인 스트림 내에서 발생 유형을 구분하기 위한 자기 업데이트형 세계 모델링을 요구합니다.
• VOC (Continuous Object Counting): 모든 앵커를 통합합니다. 모델은 비디오 전체에서 질의된 객체 카테고리의 고유 인스턴스 수를 세며, 지속적인 추적과 상태 업데이트를 테스트합니다.

3. 평가 프로토콜

저자들은 13개의 주요 MLLM(GPT-5.4 및 Gemini-3.1-Pro와 같은 독점 모델과 Cambrian-S 및 Qwen-VL 시리즈와 같은 오픈 소스 모델 포함)을 평가했습니다.

• 입력: 1080P로 균일하게 샘플링된 128개 프레임(또는 특정 모델을 위한 스트리밍 입력).
• 지표: 다지선다형 태스크(VMR, VPO, VOO)를 위한 정확도(%) 및 카운팅 태스크(VOC)를 위한 평균 상대 정확도(MRA).

주요 결과

평가는 현재의 MLLM 능력과 야생에서의 공간 초감각 요구 사항 사이의 근본적인 단절을 드러냅니다:

1. 전반적인 성능: 모델들은 낮은 성능을 보이며, 종종 무작위 확률에 근접합니다. 가장 우수한 성능을 보인 모델은 Gemini-3.1-Pro로 전체 점수 **44.36%**를 기록했으며, GPT-5.4는 **34.52%**를 기록했습니다. 오픈 소스 모델들은 일반적으로 더 낮았으며, 가장 우수한 Cambrian-S-7B는 **34.22%**를 기록했습니다.
2. 태스크 간 격차: 성능은 세계 상태 앵커에 따라 크게 다릅니다. 모델들은 객체 중심(VOO) 질의에는 비교적 신뢰할 만한 모습을 보였으나, 더 강력한 3D 공간 인지를 요구하는 에이전트 중심(VMR) 및 환경 중심(VPO) 태스크에서는 성능이 크게 저하되었습니다.
3. 시간 지평 민감도: 비디오의 길이가 길어질수록 성능이 저하됩니다. 오픈 소스 모델의 평균 점수는 0~10분 구간의 **35.0%**에서 120분 이상 구간의 **26.3%**로 떨어졌으며, 이는 확장된 스트림에 대해 일관된 세계 상태 업데이트를 유지하는 데 어려움이 있음을 나타냅니다.
4. 강건성: "Shuffle24" 평가(답변 옵션 순열에 대한 안정성 테스트)에서 VSI-SUPER-WILD는 VSI-SUPER에 비해 더 높은 옵션 순서 편향과 낮은 Top-K/Pass@K 점수를 보여, 모델의 불안정성과 높아진 난이도를 확인시켜 주었습니다.

실패 모드(Failure Modes)

정성적 및 정량적 분석을 통해 네 가지 반복되는 실패 모드를 식별했습니다:

1. 공간적 붕괴 (Spatial Collapse): 모델이 시점 변화에 따른 일관된 3D 세계 상태를 유지하지 못합니다. VPO 성능은 프레임이 회전될 때 크게 떨어지는데, 이는 모델이 암시적 3D 모델링보다는 뷰 특화된 2D 매칭에 의존하고 있음을 시사합니다.
2. 의미론적 지름길 (Semantic Shortcuts): 모델은 변위(displacement)를 분석하기보다 프레임 수준의 의미론적 단서(예: "걷는 거리" 장면 인식)를 사용하여 운동 방향을 추론합니다. 이는 그럴듯하지만 틀린 운동 방향 예측으로 이어집니다.
3. 불충분한 업데이트 (Insufficient Update): 모델은 새로운 증거가 도착함에 따라 세계 상태를 업데이트하는 데 어려움을 겪습니다. "마지막 등장" 순서(VOO)에 대한 정확도가 "첫 등장"보다 현저히 낮은 것은, 모델이 후반부의 시간적 증거를 세계 모델에 통합하는 데 실패했음을 나타냅ers.
4. 인스턴스 혼동 (Instance Confusion): 실제 환경의 시각적 노이즈(모션 블러, 부분적 폐쇄) 하에서 모델은 객체의 정체성을 견고하게 추적하지 못하며, 이는 잘못된 시간적 순서 및 카운팅으로 이어집니다.

의의 및 주장

본 논문은 VSI-SUPER-WILD가 합성된, 객체 중심적이며, 단기 지평의 평가를 넘어 실제 세계의, 다양하고, 긴 지평의 시나리오로 이동함으로써 공간 초감각을 평가하는 엄격한 표준을 구축한다고 주장합니다.

저자들은 현재의 MLLM이 에이전트, 객체, 환경을 하나의 통합된 공간 세계 모델로 묶는 메커니즘이 부족하다고 결론짓습니다. 관찰된 실패 사례들은 이 분야의 진보가 프레임 수준의 의미론을 넘어, 긴 시간 지평의 지속적으로 업데이트되는 스트림을 처리할 수 있는 안정적이고, 질의 가능하며, 일관된 시공간 세계 모델링을 지원하는 표현력을 개발하는 데 달려 있음을 시사합니다. 이 벤치마크는 이러한 구체적인 격차를 식나하고 진정한 세계 모델링 능력을 향한 미래 연구를 안내하는 진단 도구 역할을 합니다.