기술 요약: 환각에서 접지(Grounding)로: CRISP를 통한 시각적 공간 지능의 진단

문제 정의

현재 시각-언어 모델(VLM)의 시각적 공간 지능에 대한 평가는 **언어적 사전 지식(language priors)**과 진정한 공간 추론 사이의 심각한 혼재 문제를 겪고 있다. 기존의 질의응답(QA) 벤치마크는 종종 모델이 물리적 장면을 인지하기보다 훈련 데이터의 통계적 공기(co-occurrence)에 의존하는 "의미론적 지름길(semantic shortcuts)"을 활용하도록 허용한다. 결과적으로, 모델은 올바른 언어적 출력을 생성할 수는 있지만, 결함이 있는 암묵적 3D 모델을 보유하고 있을 수 있으며, 이는 "공간 지능의 환상"을 만들어낸다.

텍스트 기반 근거(rationale)나 2D 인지 지도와 같은 기존의 진단 도구들은 Embodied AI에 필요한 메트릭 정밀도를 제공하지 못한다. 또한, 표준 벤치마크는 지각적 병목(perceptual bottlenecks)(보고 측정하는 능력)과 추론 결핍(reasoning deficits)(공간 개념을 논리적으로 조작하는 능력)을 분리하지 못한다. 이러한 단절은 모델의 실패가 부정확한 지각 때문인지, 아니면 자신의 구조적 표현을 활용하는 능력의 부재 때문인지에 대한 세밀한 이해를 방해한다.

방법론: CRISP 벤치마크

이러한 한계를 해결하기 위해 저자들은 구조적 진단 평가 패러다임인 CRISP(Consistency of Reasoning In Spatial Perception)를 도입한다. CRISP는 초점을 결과 중심의 정답 여부에서 프로세스 중심의 접지(grounding)로 전환하며, 판별적 QA와 생성적 3D 장면 그래프(SGC) 과업을 결합한다.

1. 데이터셋 구축

• 출처: 이 벤치마크는 nuсenes와 *ScanNet++*에서 추출한 1,162개의 고품질 정적 장면(실내 및 실외)을 큐레이션한다.
• 정답(Ground Truth): 엄격한 자동화 파이프라인을 통해 3D 주석을 2D 이미지에 투영하며, 가시성과 해상도를 기준으로 필터링한다. 결정적으로, 의미론적 누출(semantic leakage)을 방지하기 위해 텍스트 설명 대신 고유한 숫자 ID를 사용하여 **마스터 3D 장면 그래프(Master 3D Scene Graph)**를 구축한다.
• 규모: 이 데이터셋은 거리 추정, 크기 추정, 방향 인지, 개수 세기, 공간 순위, 시점 변환, 논리적 연역의 7가지 공간 역량을 다루는 9,839개의 질문을 포함한다.

2. 이중 과업 패러다임

CRISP는 두 가지 별개이면서도 연결된 과업을 통해 모델을 평가한다:

• 공간 QA (Spatial QA): 모델은 장면에 관한 질문(객관식 및 수치형)에 답한다. 이는 명시적 추론을 테스트한다.
• 3D 장면 그래프 구축 (3D Scene Graph Construction, SGC): 모델은 객체 ID 목록을 부여받고 스타 토폴로지(star-topology) 하위 그래프를 생성해야 한다. 이를 위해 다음을 예측해야 한다:
  • 노드(Nodes): 3D 치수 및 카메라와의 거리(메트릭 추정).
  • 엣지(Edges): 의미론적 방향 술어 및 객체 간의 메트릭 유클리드 거리.
  • 참고: SGC 과업은 모델이 자신의 암묵적 3D 모델링을 구조화되고 메트릭을 인식하는 형식으로 외재화하도록 강제하며, 이는 엄격한 정보 병목 역할을 한다.

3. 평가 메트릭

• QA 점수: 객관식(MCQ) 정확도 및 수치형 질문에 대한 평균 상대 정확도(MRA).
• SGC 점수: 크기에 대한 비율 기반 IoU를 통한 메트릭 추정($S_{est}$)과 거리의 상대적 정확도, 그리고 엣지 술어의 의미론적 일관성을 평가하는 관계 점수($S_{rel}$)로 구성된 복합 메트릭.
• 자기 일관성 점수 (Self-Consistency Score): 두 과업 간의 정렬을 검증하는 새로운 메트릭이다. 생성된 SGC로부터 결정론적 솔버를 사용하여 도출된 QA 답변($A_{derived}$)과 모델의 직접적인 QA 응답($A_{QA}$)을 비교한다. 이는 "진정한 이해"와 "일관된 환각"(모델이 두 과업 모두에서 틀리지만, 일관되게 틀리는 경우)을 구분한다.

4. 개입 프로토콜 (Intervention Protocols)

지각과 추론을 분리하기 위해 저자들은 다음을 사용한다:

• 블라인드 테스트 (Blind Tests): 텍스트 전용 입력(숫자 ID만 제공)으로 모델을 평가하여 언어적 사전 지식의 베이스라인을 설정한다.
• 구조적 개입 (Structural Intervention): 모델에게 이미지와 함께 정답(GT) 3D SG 또는 자신이 예측한(Pred) SG를 제공한다. 이는 잠재적 추론의 "천장(ceiling)"과 모델의 양상 갈등(modality conflict)에 대한 강건성을 테스트한다.

주요 결과

1. 지각-추론의 단절

Gemini, GPT-5와 같은 독점 모델 및 Qwen, InternVL과 같은 오픈 소스 모델을 포함한 13개의 최첨단 VLM 분석 결과, 체계적인 단절이 드러났다:

• 독점 모델 (Proprietary Models): 강력한 잠재적 추론 엔진을 보유하고 있으나, 부정확한 메트릭 추정과 자신의 암묵적 구조적 표현을 활용하지 못하는 문제를 겪는다. 이들은 합리적인 구조 모델을 구축(중간 정도의 SGC 점수)하지만, 엔드 투 엔드 QA 생성 과정에서 이를 활용하는 데는 실패한다.
• 오픈 소스 모델 (Open-Source Models): 주로 의미론적 지름길을 보인다. 이들은 언어적 사전 지식에 의존하여 높은 QA 점수를 얻지만, 정확한 메트릭 구조를 생성하는 데는 실패한다(낮은 SGC 점수).
• 일관성: 상당수의 모델이 "일관된 환각(consistent hallucination)"(10-12% 사례)을 보였는데, 이는 근본적으로 결함이 있는 기하학적 접지에 기반하여 일관되게 추론하는 현상을 의미한다.

2. 공간 지능의 환상

• 의미론적 지름길: 블라인드 텍스트 전용 테스트에서 모델들은 거의 완벽한 SGC 형식 준수율(>99%)을 유지했으나, 이는 분포적 사전 지식에 의존한 것이었다. 시각적 입력이 추가되었을 때, Qwen2.5-VL과 같은 모델은 상당한 QA 향상을 보였으나 SGC 향상은 미미했다. 이는 비전 인코더가 객체는 식별하지만 이를 공간 위치로 변환하는 데 실패했음을 나타낸다.
• 특화 모델: 역설적이게도, 특화된 공간 모델(예: VG LLM, Cambrian-S)은 일반 모델보다 일관성 측면에서 낮은 성능을 보였다. 이는 공간 파인튜닝이 로컬 단서(local cues)를 활성화할 수는 있지만, 추론 엔진이 이를 활용하도록 보장하지는 못함을 시사한다.

3. 개입을 통한 잠재적 추론의 해방

• 오라클 이득 (Oracle Gain): 정답(GT) 3D SG가 제공되었을 때, 모델들은 극적인 성능 상승을 보였다(예: Gemini 2.5 Flash의 경우 +30.3%). 이는 강력한 잠재적 추론 능력이 현재 VLM 내에 이미 존재하지만, 지각에 의해 병목 현상이 발생하고 있음을 확인시켜 준다.
• 양상 갈등 (Modality Conflict): 자신이 예측한 SG를 제공받았을 때, 대부분의 모델은 성능 저하를 겪었으며, 가공된 시각적 증거보다 자신의 오류 섞인 텍스트 외재화를 우선시했다. 이는 "신뢰 편향(trust bias)"과 양상 갈과를 해결하는 능력의 부족을 보여준다.
• 추론 깊이: 독점 모델은 GT SG가 제공될 때 조합적 논리(multi-hop reasoning)에서 유의미한 이득을 보인 반면, 오픈 소스 모델은 주로 원자적 과업(atomic tasks)에서 개선을 보였다. 이는 추론 깊이의 근본적인 차이를 나타낸다.

의의 및 주장

본 논문은 CRISP가 엔드 투 엔드 사후 학습을 넘어 멀티모달 정렬을 위한 엄격한 로드맵을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 추측을 넘어선 진단: CRISP는 언어적 사전 지식을 통한 "정답 맞히기"를 넘어, 진정으로 "인지하고, 검증하며, 추론하는" 단계로 나아간다. 이는 전통적인 블랙박스 QA가 제공할 수 없는 세밀한 진단을 제공한다.
2. 병목 현상의 재정의: 이 연구 결과는 Embodied AI 개발 로드맵을 재정의한다. 주요 병목은 VLM의 내재적 논리 결함이 아니라, 지각과 추론 사이의 구조적 정렬 실패로 식별되었다.
3. 실행 가능한 통찰: 프레임워크는 향-발전을 위한 세 가지 명확한 실패 모드를 식별한다:
   • 의미론적 지름길: 메트릭 지각을 위한 더 나은 비전 인코더 필요.
   • 지각-추론의 단절: 내부 활용 격차를 메우기 위한 멀티모달 정렬 전략의 재설계 필요.
   • 양상 신뢰 편향: 갈등 해결 및 조합적 추론을 개선하기 위한 LLM 백본의 업그레이드 필요.

궁극적으로 저자들은 엔드 투 엔드 학습 규모를 키우는 것만으로는 불충분하다고 주장한다. 진정한 시각적 공간 지능을 위해서는 구조적 일관성을 명시적으로 강제하여, 논리적 연역이 명시적으로 인지된 3D 기하 구조에 엄격하게 접지되도록 보장해야 한다.