기술 요약: Grounded 3D-Aware Spatial Vision-Language Modeling (GR3D)

문제 정의

시각 - 언어 모델 (VLM) 은 범용 지각 시스템으로 진화해 왔으나, 종종 embodied intelligence(예: 내비게이션, 조작) 에 필수적인 신뢰할 수 있는 공간적 그라운딩 (spatial grounding) 이 부족합니다. 최근의 발전으로 2D 공간 이해와 3D 지각이 개선되었지만, 두 가지 특정 과제가 여전히 미해결로 남아 있습니다:

1. 암시적 2D 그라운딩의 부족: 대부분의 시스템은 명시적인 "X 로 지시하기 (point to X)" 그라운딩을 지원하지만, 자유 형식의 텍스트에 언급된 개체를 자동으로 감지하고 생성 과정에서 해당 시각적 증거를 통합하는 메커니즘은 부족합니다. 이에 대한 감독 신호 (supervision) 를 구축하는 것은 어렵습니다. 왜냐하면 텍스트 언급을 잠재적 시각 영역에 정렬하고 영역 정보를 언어 스트림에 교차 삽입해야 하기 때문입니다.
2. 잘 정의되지 않은 단안 3D 그라운딩: 단일 뷰에서 3D 구조를 추론하는 것은 물체 크기, 깊이, 카메라 내적 파라미터가 얽혀 있어 본질적으로 모호합니다. 기존 접근법은 3D 범위를 추정하기 전에 텍스트가 어떤 인스턴스를 지칭하는지 식별하는 중간 단계를 우회하거나, 다중 뷰 감독 또는 희소한 3D 박스 주석을 의존하는 경우가 많습니다.

방법론

저자들은 GR3D를 소개합니다. 이는 통합 프레임워크 내에서 명시적 2D 그라운딩, 암시적 2D 그라운딩, 단안 3D 그라운딩이라는 세 가지 상호 보완적인 그라운딩 능력을 통합한 공간 VLM 입니다.

1. 기초 공간 VLM

GR3D 는 NVILA-8B-Lite 아키텍처를 기반으로 구축되었습니다.

• 단일 뷰 설정: 시각 인코더는 2D 위치 임베딩 (픽셀 좌표) 과 상대적 깊이 단서가 추가된 밀집 토큰을 추출합니다. 이러한 토큰은 공간적 배열을 유지하며 멀티모달 프로젝터를 통과합니다.
• 다중 뷰 확장: 이 프레임워크는 모든 이미지 토큰을 깊이 및 픽셀 기반 위치 단서와 함께 통합된 공간 특징 공간에 임베딩함으로써 다중 뷰 입력으로 확장되며, 후속 뷰를 첫 번째 프레임 좌표계로 변환합니다.
• 영역 - 프롬프트 (Region-Prompt) 설계: 특정 이미지 영역은 바운딩 박스 내에서 특징을 풀링하여 개별 쿼리 토큰으로 인코딩될 수 있으며, 이를 통해 하위 모듈이 국소화된 콘텐츠를 참조할 수 있습니다.

2. 그라운딩 메커니즘

명시적 2D 그라운딩:
모델은 추가적인 감지 분기 없이 표준 언어 생성 헤드를 사용하여 구조화된 HTML 스타일 텍스트 형식 (예: <bbox>[x1, y1, x2, y2]</bbox>) 으로 2D 바운딩 박스를 직접 예측합니다.

암시적 2D 그라운딩 (스트리밍 영역 삽입):
이 메커니즘은 모델이 생성 중에 언어적 언급을 시각적 증거와 연관 짓도록 합니다.

• 과정: 모델이 체인 - 오브 - 생각 (CoT) 응답을 생성할 때, 개체가 언급되면 먼저 2D 바운딩 박스 좌표를 예측합니다.
• 삽입: 해당 이미지 영역은 영역 토큰으로 인코딩되어 즉시 텍스트 스트림에 삽입됩니다.
• 추론: 생성은 텍스트 컨텍스트와 동적으로 삽입된 영역 토큰 모두에 조건부로 계속됩니다. 이를 통해 별도의 감지 단계 없이 그라운딩된 시각적 증거에 기반한 추론이 진화할 수 있습니다.

영역 - 프롬프트를 통한 단안 3D 그라운딩:
이는 2D 그라운딩을 3D 로 확장하여 그라운딩된 2D 영역을 3D 추론을 위한 쿼리로 취급합니다.

• 영역 - 프롬프트 공식화: 모델은 명시적인 다단계 국소화를 피하고 그라운딩된 영역을 3D 표현 (중심, 크기, 방향) 으로 직접 매핑합니다.
• 3D 박스 표현: 박스는 중심 $(x_c, y_c, z_c)$, 크기 $(w, h, l)$, 정규화된 오일러 각도로 매개변수화됩니다. 방향은 로컬 PCA 축과 글로벌 축 간의 각도 편차를 최소화하도록 표준화됩니다.
• 내적 정규화: 크기/깊이 모호성을 완화하기 위해, 초점 거리에 기반하여 이미지를 재조정합니다 ($W' = \frac{1000}{f_x} \cdot W$). 이는 내적을 명시적으로 회귀하지 않고도 데이터셋 간 일관된 시야각을 보장합니다.
• 감독: 모델은 다음과 같이 훈련됩니다:
  • 영역 $\to$ 3D: 2D 영역 프롬프트에서 3D 박스 예측.
  • 텍스트 $\to$ 3D: 텍스트 그라운딩을 통한 개체 국소화 및 3D 박스 회귀.
  • 밀집 포인트 감독: 영역 프롬프트에 조건부로 무작위로 샘플링된 표면 포인트에 대한 3D 좌표를 예측하는 보조 작업으로, 희소한 3D 박스 레이블을 넘어선 감독을 확장합니다.

3. 데이터 구축

훈련 파이프라인은 다음을 활용합니다:

• 암시적 그라운딩 코퍼스: RefSpatial 에서 유래되었으며, Florence-2 를 사용하여 텍스트 언급에 대한 후보 2D 박스를 생성한 후, VLM 검증 및 재표현을 통해 1 대 1 정렬을 보장합니다.
• 훈련 데이터: 97K 개의 그라운딩된 CoT 샘플, 780K 개의 3D 감지 샘플 (Omni3D, EmbodiedScan), 272K 개의 포인트맵 재구성 샘플 (DepthLM) 로 구성됩니다. 독점 데이터는 사용되지 않습니다.

4. 훈련 전략

• 1 단계 (공간 사전 훈련): NVILA-Lite 에서 시각 인코더, 프로젝터, LLM 을 초기화합니다. 시각 인코더는 고정된 상태에서 2D 그라운딩 및 영역 - 대 - 3D 데이터의 혼합으로 공간 모듈을 훈련합니다.
• 2 단계 (감지 CoT 파인튜닝): Omni3D 에서 선별된 CoT 지향 감지 데이터에 대해 LLM 만을 파인튜닝하여 추론 구조와 자기회귀적 3D 예측 형식을 학습합니다.

주요 기여

1. 통합 프레임워크: GR3D 는 명시적 2D 그라운딩, 암시적 2D 그라운딩 (스트리밍 영역 삽입을 통해), 단안 3D 그라운딩을 단일 VLM 아키텍처로 통합한 최초의 모델입니다.
2. 암시적 그라운딩 메커니즘: 모델이 CoT 생성 중 시각적 증거를 동적으로 참조할 수 있게 하는 새로운 "스트리밍 영역 삽입" 기법을 도입하여, 모델의 행동을 인간의 시각적 추론 (식별 후 추론) 과 정렬합니다.
3. 영역 - 프롬프트 기반 3D 그라운딩: 내적 인식 정규화와 밀집 기하학적 감독을 지원하여 그라운딩된 2D 영역에 조건부로 3D 추론을 수행하는 공식을 제안함으로써, 언어적 및 기하학적 모호성을 효과적으로 분리합니다.
4. 공간 이해를 위한 귀납적 편향: 그라운딩을 모델 아키텍처 내에 임베딩하는 것이 효과적인 귀납적 편향으로 작용하여, 특정 그라운딩 작업을 넘어선 일반적인 공간 이해를 향상시킨다는 것을 입증합니다.

결과

GR3D 는 그라운딩된 및 비그라운딩 공간 벤치마크 전반에 걸쳐 일관된 개선을 달성합니다:

• 3D 객체 감지 (Omni3D): GR3D-8B 는 여러 도메인, 특히 실내 장면에서 최근의 VLM(예: Qwen3-VL-8B) 과 비전 전문 모델 (예: DetAny3D, Cube R-CNN) 을 모두 능가합니다. Omni3D 벤치마크에서 25.40의 mAP 를 달성하여 다음으로 좋은 VLM(Qwen3-VL-8B) 을 크게 앞섭니다.
• 2D 그라운딩: Omni3D 벤치마크에서 GR3D 는 Cube R-CNN 및 Qwen3-VL 의 영역 제안 (region proposals) 을 초과합니다. RefCOCO/RefCOCO+/RefCOCOg 에서는 최상위 VLM 과 비전 전문 모델과 동등한 성능을 보입니다.
• 공간 추론 (CVBench, ERQA, SAT): 모델은 공간 추론 벤치마크에서 상당한 개선을 보여주며, 암시적 그라운딩은 CoT 정확도와 공간 일관성을 향상시킵니다.
• 포인트 레벨 이해 (BLINK-Depth): GR3D 는 수동으로 주석된 마스크가 필요한 이전 Region-VLM 들을 능가하여 자동 그라운딩으로 더 높은 성능을 달성합니다.
• 다중 뷰 이해 (VSI-Bench): 다중 뷰 설정으로 확장되었을 때, GR3D 는 SR-3D 를 포함한 모든 최첨단 베이스라인을 능가하는 평균 점수 67.6을 달성합니다.

의의

이 논문은 그라운딩이 VLM 의 공간 이해를 강화하는 효과적인 귀납적 편향임을 GR3D 가 입증했다고 주장합니다. 복잡한 공간 문제를 그라운딩된 2D 지각을 거쳐 3D 추론으로 분해함으로써, 모델은 통합된 방식으로 공간 구조를 국소화, 참조, 추론하는 법을 학습합니다. 이 작업은 다음을 강조합니다:

1. 명시적인 국소화 작업이 없더라도 그라운딩은 일반적인 공간 이해를 향상시킵니다.
2. 밀집 기하학적 감독은 확장 가능한 구조 단서를 제공합니다.
3. 암시적 그라운딩과 영역 - 프롬프트 기반 3D 추론을 결합하면 참조 인스턴스 3D 그라운딩, 카테고리 수준 감지, 다중 객체 장면 그라운딩을 지원하는 다목적 파이프라인을 가능하게 합니다.

저자들은 GR3D 를 embodied agent 를 위한 유연한 프레임워크로 위치시키며, 신뢰할 수 있는 공간 그라운딩을 제공함으로써 고수준 지시와 물리적 상호작용 간의 간극을 해소합니다.