기술 요약: GeoWeaver

문제 제기

현재의 비전 - 언어 모델 (VLM) 은 상대적 거리 추정, 객체 배치 이해, 동적 장면에서의 공간 관계 추적과 같은 작업에서 신뢰할 수 있는 시공간 추론에 어려움을 겪고 있습니다. 최근의 접근법들은 구조적 분기, 3D 인식 감독, 또는 후기 융합을 통해 기하학적 정보를 통합하여 공간 지능을 향상시키려 시도하지만, 이러한 방법들은 일반적으로 기하학적 단서를 모든 비전 토큰에 걸쳐 공유되는 신호로 취급합니다.

저자들은 기존 패러다임의 결정적 한계를 지적합니다: 서로 다른 비전 토큰은 각각의 특정 공간적 역할 (예: 국소 경계 대 전역 배치) 에 따라 서로 다른 기하학적 증거를 필요로 합니다. 현재의 방법들은 종종 이러한 이질성을 해결하지 못하고, 기하학을 파이프라인 후반부 (융합 전 또는 LLM 추론 스택 내) 에 주입되는 보조 신호로 취급합니다. 이는 디코더로 하여금 비전 - 기하학적 정렬과 고수준 관계 추론을 동시에 해결하도록 강요하여, 지각적 근거 마련과 인지적 추론을 얽히게 하고 신뢰성을 저하시킵니다.

방법론: GeoWeaver

GeoWeaver 는 기하학을 후기 융합 신호가 아닌 표현적 전제조건으로 취급하는 추론 전 기하학적 근거 마련 프레임워크를 제안합니다. 핵심 철학은 언어 모델에 진입하기 전에 비전 표현을 형성하는 "근거 마련 후 추론 (ground-then-reason)"입니다.

1. 아키텍처 개요

이 프레임워크는 세 가지 주요 단계로 구성됩니다:

• 의미론적 비전 분기: Qwen3.5(구현 시 사용) 와 같은 사전 훈련된 멀티모달 LLM 을 native 비전 인코더와 함께 사용하여 의미론적 비전 토큰 ($V$) 을 추출합니다.
• 동결된 기하학 분기: 동일한 입력 프레임에서 명시적 기하학적 사전 지식을 추출하기 위해 동결된 기하학 인코더 (VGGT) 를 사용합니다. GeoWeaver 는 최종 표현만 사용하는 대신, 깊은 레이어 (예: 24 레이어 VGGT 의 12~23 레이어) 의 숨겨진 상태를 수집하여 **다수준 기하학 은행 (Multi-Level Geometry Bank)**을 구성합니다. 이 은행은 국소 세부 사항부터 전역 추상화까지의 구조적 증거의 저장소 역할을 합니다.
• 토큰 적응형 기하학적 근거 마련: 이것이 핵심 혁신입니다. 언어 디코딩 전에 비전 토큰이 기하학 은행을 쿼리하여 관련 증거를 검색합니다.

2. 토큰 적응형 증거 할당

근거 마련 과정은 각 비전 토큰이 가장 관련성 높은 기하학적 추상화를 받도록 보장하기 위해 네 가지 구체적인 단계를 포함합니다:

• 정규화 및 정렬: 서로 다른 레이어의 기하학 특징을 정규화하고 공간적으로 병합 (2×2) 하여 비전 토큰의 해상도와 숨겨진 차원에 맞춥니다.
• 쿼리 조건부 라우팅: 경량 라우터가 각 개별 비전 토큰 ($v_i$) 에 대해 선택된 기하학 레이어에 대한 선호 가중치를 예측합니다. 이는 서로 다른 공간 영역이 서로 다른 수준의 기하학적 추상화를 필요로 한다는 점을 인정합니다.
• 압축된 증거 선택: 토큰별 근거 마련을 중복된 단서로 희석하지 않기 위해, 모델은 희소 라우팅을 사용합니다. 각 토큰에 대해 가장 관련성 높은 기하학 레이어 상위 $K$개 (기본값 $K=2$) 만 선택하고 나머지는 마스킹합니다.
• 잔차 근거 마련: 선택된 기하학적 증거가 집계되어 잔차 연결을 통해 비전 토큰에 주입됩니다 ($v'_i = v_i + W_o g_i$). 프로젝션 행렬 $W_o$는 0 으로 초기화되어, 모델이 항등 매핑으로 시작하고 미세 조정 중에 표현을 점진적으로 재구성하도록 학습할 수 있게 합니다.

3. 훈련 목적

모델은 하류 시공간 추론 작업에 대한 표준 다음 토큰 예측 (자기회귀 손실) 을 사용하여 훈련됩니다. 기하학 인코더는 동결된 채 유지되며, 근거 마련 모듈은 기본 멀티모달 모델과 함께 공동 최적화됩니다. 보조 기하학적 재구성 또는 대비 손실은 도입되지 않으며, 모델은 엔드 - 투 - 엔드 감독을 통해 기하학적 증거를 할당하고 활용하는 법을 학습합니다.

주요 기여

1. 표현적 진단: 저자들은 현재 VLM 의 주요 병목 현상이 기하학적으로 근거 마련된 비전 토큰의 부재라고 지적하며, 시공간 추론은 토큰이 언어 모델에 진입하기 전에 기하학적으로 근거 마련되었는지에 달려 있다고 주장합니다.
2. GeoWeaver 프레임워크: 언어 디코딩 전에 다수준 기하학 은행에서 토큰별 기하학적 증거를 할당하는 새로운 프레임워크입니다. 이는 비전 - 기하학적 정렬을 추론 스택에서 지각 인터페이스로 이동시킵니다.
3. 토큰 적응형 메커니즘: 서로 다른 비전 토큰이 모든 기하학 레이어에 균일하게 노출되는 것을 방지하고 서로 다른 기하학적 추상화를 검색할 수 있게 하는 희소성 있고 쿼리 조건부 라우팅 메커니즘의 도입.
4. 실증적 검증: 일반 멀티모달 능력의 치명적 망각 없이 추론 전 근거 마련이 우수한 성능을 산출함을 보여주는 광범위한 실험.

실험 결과

GeoWeaver 는 VSI-Bench, ReVSI, SPAR-Bench, ViewSpatial, BLINK, 3DSRBench, EmbSpatial을 포함한 여러 공간 추론 벤치마크에서 평가되었습니다.

• VSI-Bench: GeoWeaver-5B 는 평균 점수 72.8을 기록하여 가장 강력한 오픈소스 베이스라인 (SpatialStack-5B) 보다 5.3 점 높은 성과를 보였습니다. GeoWeaver-10B 는 75.05에 도달했습니다. 객체 카운팅, 크기 추정, 상대적 방향, 경로 계획과 같은 기하학 민감 카테고리에 유의미한 향상이 관찰되었습니다.
• ReVSI: 프레임 인식 설정에서 GeoWeaver-10B 는 32 프레임으로 **57.5%**의 정확도를 달성하여 이전 공간 VLM 들을 능가했습니다. 이러한 결과는 단순한 입력 프레임 수 증가보다 효과적인 기하학적 근거 마련이 더 중요함을 시사합니다.
• SPAR-Bench: GeoWeaver-5B 는 69.2라는 새로운 최첨단 점수를 기록하여 이전 최고 기록 대비 +26.8 점의 압도적인 개선을 보였으며, 특히 중급 및 고수준 추론 작업 (위치 매칭, 거리 추론, 공간 상상) 에서 두드러졌습니다.
• 일반 능력: MMBench, Video-MME, TempCompass 에 대한 평가에서 GeoWeaver 는 베이스라인 대비 일반 멀티모달 성능을 유지하거나 약간 향상시켰으며, 기하학적 근거 마련이 치명적 망각을 초래하지 않음을 확인했습니다.

중요성 및 주장

이 논문은 GeoWeaver 의 주요 이점이 단순히 모델에 더 많은 기하학적 데이터를 주입하는 데서 나오는 것이 아니라, 언어 추론이 시작되기 전에 비전 표현을 재형성하는 데서 비롯된다고 주장합니다. 원시 다수준 기하학적 단서를 기하학적으로 근거 마련된 비전 토큰으로 변환함으로써, 이 프레임워크는 언어 모델이 "기하학 준비 완료" 표현을 기반으로 작동할 수 있게 합니다.

저자들은 기하학적 정보가 후기 융합 보조 신호로서가 아니라, 표현적 기반을 형성하는 근본적인 전제조건으로서 가장 큰 이점을 산출한다고 주장합니다. 이 접근법은 저수준 비전 - 기하학적 정렬과 고수준 관계 추론을 성공적으로 분리하여, 모델의 일반 멀티모달 역량을 유지하면서도 더 견고한 시공간 지능을 이끌어냅니다. 이 연구는 공간 지능의 향후 발전이 추론 스택을 단순히 최적화하는 것이 아니라, 지각 인터페이스에서의 표현적 병목 현상을 해결해야 함을 시사합니다.