기술 요약: VLM 을 위한 공간 언어로서의 3D 프리미티브

문제 제기

비전 - 언어 모델 (VLM) 은 공간 추론과 관련하여 놀라운 역설을 보여줍니다. 이미지가 제시될 때 단순한 자연어 공간 질문 (예: 객체 수 세기 또는 관계 식별) 에서는 종종 실패하는 반면, 동일한 모델들은 올바른 객체 수, 클래스 및 대략적인 위치를 가진 3D 장면을 재구성하는 실행 가능한 코드 (예: Three.js, Unity C#) 를 자주 생성할 수 있습니다. 이는 VLM 이 직접적인 자연어 쿼리를 통해 접근할 수 없는 잠재적 공간 지식을 보유하고 있음을 시사합니다. 이 논문은 이러한 불일치를 "작업 라우팅 실패"로 규정하며, 구조화된 코드를 통한 공간 이해의 외부화 능력이 직접적인 질문 - 답변으로 효과적으로 전환되지 않는다고 주장합니다. furthermore, 기존 벤치마크는 종종 특정 출력 형식 (자연어 또는 단일 코드 언어) 에 대한 친숙함과 공간 능력을 혼동하여 진정한 공간 추론 능력을 분리해 내지 못합니다.

방법론

저자들은 실행 가능한 코드로 표현된 3D 기하학적 프리미티브(큐브, 구, 원통 등) 를 진단 도구 및 중간 표현으로 삼는 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. SPATIALBABEL 벤치마크

공간 이해를 형식 친숙도로부터 분리하기 위해, 저자들은 두 가지 장면 도메인과 여섯 가지 장면 - 코드 언어에 걸쳐 VLM 을 평가하는 SPATIALBABEL 벤치마크를 도입합니다.

• 장면 도메인:
  • 프리미티브 분할: 주요 가림이 없는 3~20 개의 기하학적 프리미티브를 포함하는 1,000 개의 절차적으로 생성된 Blender 장면. 이는 라벨 노이즈가 없는 정확한 정답을 제공합니다.
  • 하이퍼심 분할: 복잡한 기하학과 상당한 가림을 가진 405 개의 사실적인 실내 장면으로, 더 어려운 검증 도메인 역할을 합니다.
• 장면 - 코드 언어: 이 벤치마크는 여섯 가지 서로 다른 형식에서의 재구성을 평가합니다: Three.js(JavaScript), Unity C#, Blender Python, Open3D Python, 본 논문에서 소개된 선언적 스키마인 Canonical JSON, 그리고 장면 언어 DSL.
• 작업:
  • 재구성: 장면을 재현하는 실행 가능한 코드 생성.
  • QA: 장면에 대한 자연어 질문 답변 (위치 특정, 관계, 수 세기, 존재 여부, 비교).
• 지표: 구문 분석률, F1(헝가리 매칭 기반 객체 매칭), 클래스 정확도, 위치 충실도, 스케일 충실도를 종합한 SpatialBabel-Reconstruct-Score.

2. Code-CoT(코드 체인 - 오브 - 씽킹)

추론 시 간극을 해소하도록 설계된 훈련 없는 추론 전략입니다.

• 메커니즘: 공간 질문에 직접 답변하는 대신, 모델은 먼저 프리미티브 기반 실행 가능한 코드로 장면을 재구성하도록 프롬프트를 받습니다. 그 후 모델은 자신의 구조화된 출력에 조건부로 공간 질문에 답변합니다.
• 근거: 이는 모델이 더 높은 능력을 보인 코드의 "공간 언어"를 통해 추론을 라우팅하게 한 뒤, 그 이해를 자연어로 다시 번역하도록 강제합니다.

3. S3-FT(자기 감독 공간 파인튜닝)

코딩 능력이 약한 모델을 대상으로 일반 시각 추론으로 공간 지식을 증류하기 위한 훈련 시 개입입니다.

• 파이프라인:
  1. 가짜 정답 (Pseudo-GT) 생성: 기본 VLM 이 프리미티브 장면에 대한 Three.js 재구성 코드를 생성합니다. 구문 품질 필터가 코드가 유효한지 확인합니다.
  2. 주석 추출: 생성된 코드는 결정적으로 파싱되어 구조화된 공간 주석 (객체 수, 클래스, 3D 포즈, 관계) 으로 변환됩니다. 이는 규칙 기반 생성 자연어 QA 쌍 및 장면 설명과 결합됩니다.
  3. 파인튜닝: 동일한 VLM 이 이 멀티태스크 혼합 데이터로 파인튜닝됩니다(LoRA 사용).
• 주요 특징: 이 과정은 완전히 자기 감독적입니다. 인간의 라벨이나 외부 "교사" 모델이 필요하지 않으며, 감독 신호는 모델 자체의 고정밀 코드 생성에서 파생됩니다.

주요 결과

벤치마크 발견 (SPATIALBABEL)

• 언어 의존적 성능: VLM 성능은 장면 - 코드 언어에 따라 극적으로 변합니다. 동일한 이미지와 동일한 모델에서, 대상 언어에 따라 객체 감지 F1 점수가 최대 5.7 배까지 달라질 수 있습니다.
• 약한 상관관계: 모델의 재구성 F1 점수와 직접적인 QA 정확도 사이에는 약한 상관관계 (Pearson $r \approx 0.12$) 가 있습니다. 모델은 코드 생성에는 매우 정확하지만 직접적인 질문에는 답변을 잘 못하는 경우가 있어, 작업 라우팅 실패가 확인됩니다.
• Code-CoT 효과성: Code-CoT 는 프리미티브 장면에서 QA 점수를 최대 **+6.4%**까지 향상시킵니다(예: Gemini-2.5-Pro). 또한 코딩 능력이 뛰어난 모델들의 경우 실제 사진 기반 CV-Bench-3D 정확도를 +5.0% 높입니다. 그러나 프리미티브 어휘가 불충분한 혼란스럽고 사실적인 장면에서는 체감 수익이 감소하거나 역효과가 나타납니다.

S3-FT 성능

• 분포 내 (In-Distribution) 향상: 프리미티브 이미지만으로 훈련하는 것은 SpatialBabel-Primitive-QA 작업에서 성능을 크게 향상시킵니다. Qwen3-VL-8B 의 경우, S3-FT 는 추론 모드 전반에 걸쳐 **+4.6% 에서 +8.6%**까지의 개선을 가져옵니다.
• 분포 외 (Out-of-Distribution) 전이: 중요하게도, 프리미티브 장면 만으로 훈련하는 것이 일반 시각 추론 벤치마크로 전이됩니다.
  • HallusionBench: +17% 개선.
  • CV-Bench-2D: +9.7% 개선.
  • CV-Bench-3D: +3.3% 개선.
• 일반화: 이 레시피는 Qwen, InternVL, LLaVA 등 다양한 모델 패밀리와 규모에 걸쳐 전이되지만, 향상 정도는 모델 용량에 의존적입니다.

중요성과 주장

이 논문은 실행 가능한 코드 내의 3D 기하학적 프리미티브가 VLM 을 위한 진단 도구이자 전이 가능한 공간 어휘임을 입증합니다.

1. 진단 도구: SPATIALBABEL 벤치마크는 공간 이해가 종종 특정 코드 생성 사전 지식과 얽혀 있음을 보여줍니다. 언어 간 큰 성능 격차는 표준 벤치마크가 진정한 공간 추론보다는 형식 친숙도를 측정하고 있을 수 있음을 시사합니다.
2. 전이 가능한 어휘: Code-CoT 와 S3-FT 의 성공은 VLM 이 사전 훈련 과정에서 기하학적 프리미티브를 통해 3D 공간을 암묵적으로 "토큰화"했음을 시사합니다. 이러한 구조화된 표현을 활용함으로써 모델들은 직접적인 자연어 프롬프팅으로는 접근할 수 없었던 잠재적 공간 지식에 접근할 수 있습니다.
3. 자기 감독 증류: S3-FT 는 기본 모델이 충분히 정확한 프리미티브 재구성을 생성할 수만 있다면, 인간 주석이나 교사 모델 없이도 고품질 공간 추론을 일반 VLM 으로 증류할 수 있음을 보여줍니다. 이는 오픈 가중치 모델의 공간 능력 향상을 위한 장벽을 낮춥니다.

저자들은 이 접근법이 프리미티브 근사가 무너지는 매우 복잡하고 가려진 사실적인 장면에서는 명확한 한계를 보이지만, 실행 가능한 3D 코드의 중간 표현을 통해 VLM 의 공간 추론을 강화하는 견고한 경로를 제공한다고 결론지었습니다.