기술 요약: 사물의 위치에서 사물의 용도로 (SFI-Bench)

문제 제기

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 저수준 기하학적 지각과 사실적 회상 분야에서 상당한 진전을 보여왔습니다. 그러나 기존 벤치마크는 현실 기반의 에이전트적 지능에 필요한 고차원 인지 능력을 평가하는 데 크게 실패하고 있습니다. 구체적으로, 모델이 "사물이 어디에 있는지"(공간적 배치) 를 인식하는 것을 넘어 "사물이 무엇을 위해 존재하는지"(기능적 affordance 와 맥락 의존적 유용성) 를 이해할 수 있는지 평가하는 데에는 간극이 존재합니다. VSI-Bench 와 같은 이전 연구들은 기하학적 지각을 테스트하지만, 일관된 인지 지도의 구성, 객체 affordance 의 추론, 또는 목표 지향적 추론을 위한 외부 지식의 통합을 충분히 탐지하지는 못합니다.

방법론

SFI-Bench 벤치마크

저자들은 MLLM 의 고급 추론을 체계적으로 측정하도록 설계된 비디오 기반 평가 스위트인 **공간 - 기능적 지능 벤치마크 (SFI-Bench)**를 소개합니다.

• 데이터셋 구성: SFI-Bench 는 ARKitScenes 와 ScanNet++ 에서 유래한 134 개의 실제 1 인칭 시점 (egocentric) 실내 비디오 스캔에서 파생된 1,555 개의 전문가 주석 다지선다 질문으로 구성됩니다. 이러한 비디오는 다양한 주거, 전문, 산업 환경을 포괄합니다.
• 작업 분류 체계: 이 벤치마크는 여섯 가지 핵심 작업을 통해 두 가지 상호 보완적인 인지 차원을 평가합니다:
  1. 구조적 공간 추론:
     • 전역 및 조건부 카운팅: 단순 나열이 아닌 속성과 관계에 대한 논리적 추론 (예: 동일 브랜드 병의 최대 개수 세기) 을 요구합니다.
     • 교차 뷰 멀티홉 경로 추론: 단일 프레임에서 보이지 않는 관계를 추론하기 위해 시간과 시점을 가로질러 공간적 증거를 통합하는 능력을 테스트합니다.
     • 배치 추론: 참조된 객체들이 결코 함께 나타나지 않는 가려짐 관계를 추론하고 전역 장면 배치를 구성하는 능력을 평가합니다.
  2. 기능적 추론:
     • 기능적 연관성: 디자인이나 맥락에 기반하여 객체 간의 affordance 관계를 추론하는지 테스트합니다 (예: 리모컨을 특정 TV 와 연결).
     • 작동 계획: 사용자 매뉴얼과 같은 외부 지식 검색이 종종 필요한 장치 작동 방법을 결정하는 것을 요구합니다.
     • 인과 가설 및 문제 해결: 장면 이해와 외부 지식 소스를 결합하여 문제를 진단하는 능력을 평가합니다.

큐레이션 파이프라인

데이터셋은 3 단계 파이프라인을 통해 구축되었습니다:

1. 자동 생성: Gemini-2.5-Pro 를 사용하여 비디오에서 객체, 속성, 공간적 관계, 기능적 역할과 같은 세밀한 메타데이터를 추출한 후, 작업별 템플릿을 사용하여 후보 질문으로 변환합니다.
2. 인간 검증: 전문가 주석자 (훈련된 ML 엔지니어) 가 질문을 검증하고 시각적 증거에 대한 답변을 확인하며, 인지적 복잡성을 보장하기 위해 선택지를 정제합니다.
3. 품질 필터링: 자동 및 수동 검사를 통해 시각적 grounding 없이 해결 가능한 질문을 제거합니다. 지식 기반 작업의 경우, 답변은 전문가가 검색한 매뉴얼에서 도출됩니다.

평가 설정

저자들은 다양한 독점 (예: GPT-5, Gemini-3, o4-mini) 과 오픈소스 모델 (예: Qwen3-VL, InternVL, LLaVA-Video) 을 평가했습니다.

• 설정: 평가는 제로샷 (zero-shot) 환경에서 수행되었습니다.
• 도구 사용: 외부 지식이 필요한 기능적 작업 (작동 계획, 문제 해결) 의 경우, 웹 검색 기능이 있는 모델은 정보 검색이 허용되었고, 다른 모델은 오프라인으로 평가되었습니다.
• 지표: 성능은 다지선다 질문에 대한 답변 정확도로 측정되었습니다.

주요 결과

모델 성능

• 독점 대 오픈소스: 독점 모델은 일반적으로 오픈소스 모델보다 우수한 성능을 보입니다. 독점 시스템 중 추론 기능이 활성화된 변형 (예: Gemini-3.1-Pro, GPT-5.4-High) 은 상당한 향상을 보였으며, Gemini-3.1-Pro 가 가장 높은 평균 정확도 (73.8%) 를 달성했습니다.
• 공간 대 기능: 선도적인 모델들은 공간적 인지 지도 구성 (예: 배치 추론) 에서 강력한 능력을 보이지만, 기능적 추론 작업에서는 크게 어려움을 겪습니다.
• 병목 현상: 전역 조건부 카운팅은 모든 모델에서 주요 병목 현상으로 드러났으며, 구성적 및 논리적 추론에서의 지속적인 한계를 보여줍니다.
• 도구 사용 의존성: 지식 기반 작업의 경우 웹 검색이 가능한 모델 (예: GPT-5) 은 오프라인 모델보다 훨씬 우수한 성능을 보였습니다. 그러나 저자들은 도구 사용이 노이즈를 유발한다고 지적하며, 추론 능력이 약한 모델은 검색 도구 없이 평가했을 때보다 오히려 더 나쁜 성능을 보인 경우가 많았다고 언급했습니다. 이는 효과적인 도구 사용을 위해서는 강력한 추론 능력이 전제되어야 함을 시사합니다.

추론 메커니즘 분석

• 추론 길이 대 품질: 연구 결과, 더 긴 추론 사슬이 높은 정확도와 상관관계가 없는 것으로 나타났습니다. 실제로 모델들은 종종 불필요하게 긴 사슬을 생성하여 의미적 편향 (semantic drift) 을 초래합니다. "과도한 사고 (Overthinking)"는 특히 기능적 연관성 작업에서 오류를 유발합니다.
• 모델 규모: 더 큰 모델 (예: 235B 파라미터) 은 작고 verbose 하지만 얕은 추론에 의존하는 모델 (예: 8B) 에 비해 더 짧고 효과적인 추론 사슬을 생성하는 경향이 있습니다.
• 시간적 의존성: 비디오 프레임 순서를 섞는 것은 모델 성능에 미미한 영향을 미쳤으며, 이는 현재 MLLM 이 공간적 표현을 형성할 때 시간적으로 일관된 역동성보다는 집계된 시각적 증거에 의존함을 나타냅니다.
• 시각적 Grounding: 모델이 원본 비디오 대신 구조화된 텍스트 캡션을 제공받았을 때 성능이 크게 저하되었으며, 이는 직접적인 시각적 grounding 이 인지 지도 구성에 중요함을 강조합니다.

주요 기여

1. SFI-Bench: 지각적 인식에서 구조적 공간 및 기능적 추론으로 평가 초점을 전환하는 포괄적인 벤치마크를 도입했습니다.
2. 진단적 통찰: 최신 MLLM 의 특정 실패 모드를 식별했습니다. 여기에는 시각적 지각 오류, 공간적 불일치 (예: 객체의 "순간 이동"), 그리고 affordance 의 과도한 일반화가 포함됩니다.
3. 추론 역학: 효과적인 추론은 추론 사슬의 길이가 아니라 지각적 증거와의 정렬에 의해 정의된다는 것을 발견했으며, 현재 오픈소스 추론 모델 (RLVR 훈련) 은 수학적 추론 능력을 공간 - 기능적 영역으로 이전하지 못한다는 점을 밝혔습니다.
4. 지식 통합: 에이전트 작업에 외부 지식 습득의 결정적 역할을 강조하여, 운영 및 문제 해결 시나리오에서는 파라메트릭 메모리만으로는 불충분함을 입증했습니다.

의의

이 논문은 진정한 현실 기반의 에이전트적 지능을 달성하기 위해서는 지향적 모델을 넘어 통합된 공간 - 기능적 인지가 가능한 시스템으로 나아가야 한다고 주장합니다. 저자들은 SFI-Bench 가 이러한 방향의 진전을 측정하는 진단 도구 역할을 한다고 봅니다. 연구 결과는 향후 발전이 다음에 초점을 맞춰야 함을 시사합니다:

• 시간적으로 일관된 일관된 인지 지도를 구축하고 유지하는 것.
• 의미적 편향을 피하는 강력한 구성적 추론을 개발하는 것.
• 현실 세계 환경에서 목적 있는 행동을 지원하기 위해 시각적 지각을 역동적인 외부 지식 소스와 원활하게 통합하는 것.

이 연구는 현재 MLLM 이 국소적 지각에서는 뛰어나지만, 전역 공간 기억 유지와 affordance grounding 에 있어서는 취약하며, 이는 멀티모달 AI 연구의 중요한 최전선임을 강조합니다.