기술 요약: OneCanvas: 파노라마 재투영을 통한 3D 장면 이해

문제 정의

기존의 시각-언어 모델(VLM)은 3D 장면 이해, 특히 상황적 추론(situated reasoning) 작업(예: "의자가 문에서 얼마나 멀리 있는가?" 또는 "이 관점에서는 무엇이 보이는가?")에서 어려움을 겪고 있습니다. 현재의 접근 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 상당한 비용을 발생시킵니다:

1. 아키텍처 복잡성: 사전 학습된 2D VLM에 전용 기하학 인코더(예: 포인트 클라우드 토크나이저, 깊이 조건부 인코더)나 복잡한 퓨전 모듈을 추가하는 방식입니다. 이는 새로운 기하학적 구성 요소를 언어 백본과 정렬하기 위해 대규모의 공동 학습(joint training)을 필요로 합니다.
2. 데이터 스케일링: 순수한 노출을 통해 기하학적 추론을 가르치기 위해 공간적 질-답(QA) 쌍이 포함된 방대한 큐레이션 데이터셋에 의존하는 방식입니다.

최근의 감사 결과에 따르면, 이러한 적응 과정을 거치더라도 많은 모델이 진정한 기하학적 입력을 바탕으로 추론하는 대신, 질문 템플릿과 장면 클래스의 통계적 규칙성에 의존한다는 점이 밝혀졌습니다. 또한, 이러한 방법들은 통합된 공간 좌표계 없이 프레임별로 장면을 부분적으로 처리하기 때문에, 특정 관점에서의 상황적 추론을 수행하기 어렵습니다.

방법론: OneCanvas

OneCanvas는 3D 장면 이해를 단일 파노라마 캔버스 상의 2D 공간 추론 문제로 재정의합니다. 이 방식은 VLM의 아키텍처를 수정하거나 보조 손실 항(auxiliary loss terms)을 추가하지 않습니다. 대신, 멀티뷰 RGB-D 데이터를 사전 학습된 VLM이 표준 이미지로서 입력받을 수 있는 표현 방식으로 변환합니다.

1. 특징 추출 및 3D 리프팅 (Feature Extraction and 3D Lifting)

$K$개의 포즈가 주어진 RGB 이미지 세트 $\{I_k\}$, 메트릭 깊이 맵 $\{D_k\}$, 그리고 카메라 내적 파라미터(intrinsics)가 주어지면:

• 동결된 비전 인코더(Qwen3-VL)가 각 뷰로부터 패치 수준의 특징 $F_k$를 추출합니다.
• 각 패치 $(u, v)$는 깊이 $z$, 카메라 내적 파라미터, 그리고 카메라-월드 포즈 $T_k$를 사용하여 3D 월드 좌표 $p_{world}$로 "리프팅(lifted)"됩니다.
• 그 결과 리프팅된 패치 집합 $P = \{(p_i, f_i, t_i)\}$를 얻게 되며, 여기서 $p_i$는 3D 월드 좌표, $f_i$는 특징, $t_i$는 소스 프레임의 시간 인덱스입니다.

2. 파노라마 재투영 (Panoramic Reprojection)

리프팅된 패치들은 선택된 원점 $c$와 방향 $R$로 정의된 단일 에퀴렉탱귤러(equirectangular) 파노라마 캔버스로 집계됩니다.

• 연속적 배치 (Continuous Positioning): 중첩되는 패치를 평균화하거나 선택하는 래스터화(rasterization) 방식과 달리, OneCanvas는 각 패치를 캔버스 상의 연속적인 각도 위치(경도 $\theta$ 및 위도 $\phi$)에 배치합니다. 동일 위치에 있는 패치들도 별개의 토큰으로 유지됩니다.
• 위치 인코딩 (Position Encoding): VLM의 네이티브 3D 회전 위치 임베딩(3D-RoPE)이 사용됩니다. 여기서 공간 차원은 연속적인 경도와 위도에 대응하며, 시간 차원은 소스 프레임 인덱스에 대응합니다.
• 3D 위치 임베딩 (3D Position Embedding): 3D 좌표를 각도 캔버스 위치로 압축할 때 손실되는 메트릭 깊이를 복원하기 위해, 각 패치에 3D 위치 임베딩이 추가됩니다. 이 임베딩은 축에 대한 사인 함수 인코딩, 방사형 프리미티브(radial primitives), 단위 광선 방향을 사용하여 캔버스 프레임에서의 메트릭 오프셋 $(q_x, q_y, q_z)$를 인코딩합니다. 이를 통해 VLM은 표준 어텐션 메커니즘을 통해 메트릭 스케일 정보에 접근할 수 있습니다.

3. 2단계 학습 (Two-Stage Training)

이 방법은 다운스트림 QA만으로는 기하학을 학습하기 어렵다는 문제를 극복하기 위해 2단계 학습 파이프라인을 채택합니다.

• 1단계: 공간 사전 학습 커리큘럼 (Spatial Pretraining Curriculum): 모델은 객체 특징(실제 이미지에서 추출됨)이 빈 캔버스의 특정 3D 좌표에 배치되는 절차적으로 생성된 커리큘럼을 통해 학습됩니다. 과제에는 메트릭 측정, 에고센트릭 방향, 내비게이션, 관측 가능성, 카운팅, 바운딩 박스 판독 등이 포함됩니다. 이 단계는 모델이 장면 특유의 사전 지식이나 클래스 정체성 숏컷에 의존하지 않고 기하학적 추론을 학습하도록 강제합니다.
• 2단계: 타겟 적응 (Target Adaptation): 1단계의 가중치를 베이스 모델에 병합합니다. 이후 실제 세계의 장면 분포에 기하학적 추론 능력을 적응시키기 위해 다운스트림 공간 QA 데이터셋(SQA3D, VSI-Bench, ViCA)에 대해 새로운 저차원(lower-rank) LoRA 어댑터를 학습시킵니다.

주요 기여

1. 파노라마 특징 재투영 (Panoramic Feature Reprojection): 모든 뷰의 패치 특징을 단일 에퀴렉탱귤러 캔버스로 집계하는 메커니즘입니다. 이는 사전 학습된 VLM의 입력 형식을 일치시키며, 아키텍처 수정 없이도 상황적 추론을 위한 유연한 캔버스 원점을 지원합니다.
2. 공간 사전 학습 커리큘럼 (Spatial Pretraining Curriculum): 파노라마 표현 방식 덕분에 가능한 새로운 학습 전략입니다. 패치 특징을 빈 캔버스에 절차적으로 배치함으로써, 다양한 공간 과제에 대해 실시간으로 감독(supervision)을 생성하고 제어된 정답 분포를 제공하여 데이터 통계적 숏컷을 효과적으로 억제합니다.

결과

OneCanvas는 경쟁 방법들보다 훨씬 적은 학습 연산량을 사용하면서도 주요 3D 공간 추론 벤치마크에서 최첨단(SOTA) 성능을 달-성했습니다.

• SQA3D: 65.3 EM@1을 달성하여(이전 최고 기록보다 2.3 포인트 높음) 상황적 추론을 테스트하는 "Which" 및 "Can" 유형 질문에서 상당한 이득을 보였습니다.
• VSI-Bench: 경로 계획 및 방 크기 추정에서 선두를 달리는 70.1의 평균 정확도를 달성했습니다.
• SPBench: 72.1의 제로샷 전체 정확도를 달성하여(다음 순위보다 4.8 포인트 높음) 분포 외(out-of-distribution) 데이터에 대한 강력한 일반화 능력을 입증했습니다.
• 효율성: 가장 강력한 경쟁 방법(예: 약 27,648 A100-equivalent GPU-hours의 SenseNova-SI)과 비교했을 때, 약 10배 적은 학습 연산량(약 290 A100-equivalent GPU-hours)을 사용합니다.

어블레이션 연구(Ablation studies)를 통해 파노라마 재투영과 공간 사전 학습 커리큘럼 모두, 특히 메트릭 추론이나 다단계 내비게이션이 필요한 과제에서 매우 중요하다는 것이 확인되었습니다.

의의 및 한계

본 논문은 OneCanvas가 복잡한 기하학 인코더나 방대한 큐레이션 데이터셋 없이도, 입력 표현이 VLM의 사전 학습된 역량과 정렬되도록 구조화되어 있다면 고품질의 3D 장면 이해를 달성할 수 있음을 보여준다고 주장합니다. 멀티뷰 데이터를 단일 공간 좌표계로 통합하고 메트릭 위치 임베딩을 명시적으로 주입함으로써, 이 방법은 VLM이 고유의 어텐션 메커니즘을 사용하여 3D 공간을 추론할 수 있게 합니다.

한계점:

• 깊이 및 포즈에 대한 의의존성: 이 방법은 순수 RGB 방식이 피하는 메트릭 깊이와 카메라 포즈를 필요로 합니다. 피드포워드 재구성을 통해 이를 추정할 수 있지만, 오류가 발생할 경우 캔버스의 품질을 저하시킬 수 있습니다.
• 글로벌 파노라마 트레이드오프: 장면을 단일 글로벌 파노라마로 표현하는 것은 정밀한 공간 해상도를 희생하는 대신 압축성을 얻는 방식이므로, 매우 크거나 야외인 장면에 대해서는 성능이 제한될 수 있습니다.
• 커리큘럼 설계: 사전 학습 커리큘럼은 수동으로 작성되었습니다. 질적으로 새로운 공간 기술을 도입하려면 단순히 데이터를 더 수집하는 것이 아니라 새로운 태스크 생성기를 작성해야 합니다.
• 백본 요구사항: 이 방법은 경도와 위도를 전달할 수 있는 최소 2D 위치 인코딩(예: 다축 RoPE)을 갖춘 백본을 가정하며, 이는 1D 위치 모델에는 적용되지 않을 수 있습니다.