기술 요약: PanoWorld: 360° 파노라마 세계를 위한 공간 초감지

문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 현재 주로 원근법 이미지에 훈련되어 좁은 시야 (FoV) 를 물려받아 전체 주변 환경을 인지하는 능력이 제한되므로, 견고한 공간 추론에 어려움을 겪고 있습니다. 360° 파노라마 감지는 관찰자 중심의 전체 환경을 포착함으로써 "초감지 (supersensing)"를 제공하지만, 기존 MLLM 파이프라인은 이러한 파노라마를 여러 개의 이산적인 원근법 뷰로 분해하는 경향이 있습니다. 이 접근법은 이구직사각형 투영 (ERP) 의 구형 구조를 암묵적으로 취급하여, 파노라마 데이터에 내재된 전역적으로 일관된 감싸기 (wrap-around) 연속성과 뷰포인트 의존적 공간 관계를 활용하지 못합니다.

기하학적 왜곡, 비균일한 공간 샘플링, 경계 불연속성 등 근본적인 표현 격차로 인해 원근법 기반 모델을 파노라마에 직접 적용하는 것은 어렵습니다. 또한, 현재 파노라마 MLLM 연구는 분산되어 있어 표준 시각 질문 답변 (VQA) 지표를 넘어선 공간 추론을 평가할 수 있는 체계적인 능력 분류 체계와 통합된 벤치마크가 부족합니다.

방법론

저자들은 연속적인 관찰자 중심 ERP 파노라마에 대해 MLLM 이 직접 추론할 수 있도록 하는 "파노 네이티브 (pano-native)" 공간 학습을 위한 통합 프레임워크인 PanoWorld를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 능력 분류 체계

이 논문은 파노 네이티브 이해를 네 가지 능력 군으로 정의하며, 이는 감독 학습과 벤치마킹의 기초가 됩니다:

• 의미적 앵커링: 언어를 시각적 개체, 속성 및 전역 장면 토폴로지에 고정합니다.
• 구형 그라운딩: 평면 이미지 좌표 대신 요 (yaw) 와 피치 (pitch) 매개변수를 사용하여 관찰 구면 상의 개체를 국소화합니다.
• 참조 프레임 변환: 카메라 회전 또는 개체 조건부 재배향을 포함한 관찰자 회전 하의 공간 관계 추론과 함께, 이음새 인식 감싸기 연속성을 다룹니다.
• 깊이 인식 3D 공간 추론: 깊이, 상대적 거리 및 관찰자 중심 관계 (예: 좌/우, 전/후) 를 포함하여 구형 관측을 3D 구조와 연결합니다.

2. 대규모 메타데이터 구축 파이프라인

이 분류 체계를 지원하기 위해 저자들은 혼합 소스 (실내/실외, 합성/실제) 에서 57 만 개의 고품질 ERP 파노라마로 구성된 데이터셋을 구축했습니다. 기하학적 인식, 언어 기반, 그리고 깊이 인식 감독을 생성할 수 있는 검증 가능한 메타데이터 파이프라인을 개발했습니다:

• 기하학적 인식 탐지: 파노라마는 탐지를 위해 중첩된 원근법 뷰로 투영된 후, 왜곡과 이음새 분할을 처리하기 위해 기하학적 검증 (IoU 기반 억제, 교차 뷰 일관성) 과 함께 ERP 좌표로 다시 투영됩니다.
• 언어 기반 의미: MLLM 이 의미 주석과 참조 구문을 생성하며, 텍스트와 시각 영역 간의 정렬을 보장하기 위해 "기술 - 재탐지" 루프를 통해 검증됩니다.
• 깊이 연관: 개체는 소스 데이터의 깊이 정보와 연관되거나 파노라마 깊이 모델을 통해 추정됩니다.
• 구조화된 그래프: 이러한 요소들은 개체와 그들의 구형/3D 관계를 나타내는 메타데이터 그래프 $G=(V, E)$를 형성하며, 여기서 299 만 8 천 개의 지시 튜닝 예제가 파생됩니다.

3. 파노 인식 모델 적응 (PanoWorld)

이 모델은 Qwen3.5-VL을 기반으로 구축되었으며 구형 공간 교차 어텐션 (SSCA) 모듈이 확장되었습니다.

• 구형 토큰 구성: 각 시각 패치에 대해 모델은 ERP 좌표에서의 중심을 계산하고 구형 방향 $(\lambda, \phi)$으로 매핑합니다. 이러한 방향은 정현파 구형 인코딩을 통해 인코딩되어 시각 은닉 공간에 투영되어 구형 토큰 $S$를 생성합니다.
• 교차 어텐션 주입: 패치 임베딩 직후, 시각 토큰 $H^{(0)}$이 교차 어텐션을 통해 구형 토큰 $S$를 쿼리합니다. 이를 통해 모델은 관찰자 중심 방향에 기반한 기하학적 인식 신호를 검색할 수 있습니다.
• 게이트 퓨전: 생성된 기하학적 인식 신호는 게이트된 잔차 업데이트를 통해 시각 스트림으로 다시 퓨전되어, 구형 기하학을 주입하면서도 사전 훈련된 백본을 보존합니다.

주요 기여

1. 능력 분류 체계: 의미적 앵커링, 구형 그라운딩, 참조 프레임 변환, 그리고 깊이 인식 3D 추론으로 분해된 파노라마 공간 추론의 체계적 공식화.
2. 데이터 및 벤치마크: 검증된 그래프를 가진 57 만 개의 파노라마를 생성하는 확장 가능한 메타데이터 기반 파이프라인과, 국소화, 관계 추론, 3D 공간 이해, 이음새 연속성에 걸쳐 ERP 네이티브 공간 추론을 평가하는 진단 벤치마크인 PanoSpace-Bench.
3. 모델 아키텍처: 기하학적 일관된 이해를 위해 시각 스트림에 구형 기하학을 주입하는 구형 공간 교차 어텐션을 갖춘 PanoWorld 모델.
4. 실증적 검증: 견고한 파노라마 추론을 위해 전용 파노 네이티브 감독과 기하학적 인식 모델 적응이 필수적임을 입증한 광범위한 실험.

실험 결과

제안된 프레임워크는 PanoSpace-Bench, H*Bench (인간 중심 시각 검색), R2R-CE Val-Unseen (시각 - 언어 내비게이션) 에서 평가되었습니다.

• PanoSpace-Bench: PanoWorld 는 전체 정확도 **56.5%**를 달성하여 독점 모델 (예: 31.8% 인 GPT-4o) 과 오픈소스 베이스라인을 크게 능가했습니다. BFOV 국소화 (베이스라인 <5% 대비 73.3% mIoU) 와 이음새 연속성 추론 (~37% 대비 65.5%) 에서 주목할 만한 향상이 관찰되었습니다.
• H*Bench 전이: 제로샷 설정에서 PanoWorld 는 **56.1%**의 전체 정확도를 달성하여 최상의 원근법 뷰 베이스라인 (38.4%) 을 크게 상회했습니다. 파인튜닝 후 **70.1%**에 도달하여, 학습된 표현이 훈련 벤치마크에 과적합되지 않고 하위 검색 작업에 효과적으로 전이됨을 입증했습니다.
• R2R-CE Val-Unseen: ERP 파노라마만을 입력으로 사용하여 PanoWorld 는 성공률 (SR) **54.3%**와 SPL **52.1%**를 달성하여, 표준 훈련 데이터의 80% 만 사용했음에도 최근 RGB 전용 VLN 모델 및 웨이포인트 예측자 방법을 능가했습니다.
• 효율성: 직접 ERP 추론은 단일 순전파를 필요로 하는 반면, 원근법 뷰 회전 방법은 3.5~6.3 개의 순차적 상호작용 단계를 필요로 하므로, PanoWorld 는 상호작용 단계 및 토큰 사용 측면에서 훨씬 더 효율적입니다.

중요성 및 주장

이 논문은 ERP 이미지를 넓은 2D 이미지로 취급하거나 프롬프트 수준의 좌표 설명에 의존하는 것만으로는 견고한 파노라마 추론을 달성할 수 없다고 주장합니다. 대신 전용 파노 네이티브 감독과 기하학적 인식 모델 적응이 필요합니다.

저자들은 그들의 작업이 다음을 입증한다고 주장합니다:

1. 파노 네이티브 학습의 필요성: 범용 MLLM 은 구형 추론에 실패하며, 구형 기하학의 특정 아키텍처 주입과 능력 정렬 데이터에 대한 훈련이 필수적입니다.
2. 통합 표현: 단편화된 로컬 뷰로 장면을 분해하는 것보다 연속적인 파노라마 공간에 대한 직접 추론이 더 효율적이고 효과적입니다.
3. 전이성: 파노 네이티브 감독에서 학습된 공간 사전 지식은 인간 중심 시각 검색 및 구체화된 내비게이션을 포함한 다양한 하위 작업에 일반화되어, 원근법 뷰 탐색에 의존하는 방법들을 능가합니다.

이 논문은 PanoWorld 와 PanoSpace-Bench 가 원근법 이미지 패러다임의 한계를 넘어 전방위 공간 지능을 발전시키는 기반을 제공한다고 결론지었습니다.