기술 요약: OmniSpace

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 2D 시각적 작업에서는 강력한 성능을 입증했으나, 자율주행 자동차(AV) 애플리케이션에 필요한 기하학적 지능 측면에서는 어려움을 겪고 있습니다. 현재의 접근 방식은 크게 두 가지 범주로 나뉩니다:

1. 순수 2D MLLM: 이들은 AV 작업을 표준적인 2D 자기회귀(autoregressive) 문제로 취급합니다. 효율적이기는 하지만, 깊이(depth), 스케일(scale), 카메라 포즈, 교차 뷰 대응 관계와 같은 핵심 정보를 이미지 토큰 내에 숨겨버림으로써 명시적인 기하학적 투명성이 부족합니다.
2. 외부 3D 모델을 결로한 MLLM: 이들은 추론 시점에 보조적인 3D 기하 모델(예: 깊이 추정기)을 통합합니다. 효과적이기는 하지만, 파이프라인의 복잡성을 증가시키고 계산 비용을 높이며, 외부 3D 모델의 성능이 저하될 경우 연쇄적인 실패(cascading failures)가 발생할 위험이 있습니다.

저자들은 현재의 MLLM이 두 가지 특정 기하학적 결함, 즉 약한 깊이 추정(메트릭 장면 구조를 추론하는 능력 부족)과 부족한 교차 뷰 대응 관계(서로 다른 카메라 뷰 간의 장면 요소들을 연관 짓는 능력 부족)로 인해 병목 현상을 겪고 있다고 식별했습니다. 진단 분석 결과, 이러한 기하학적 작업에 대한 성능과 다운스트림 AV 계획 및 위험 탐지 능력 사이에 강한 상관관계가 있음이 밝혀졌습니다.

방법론: OmniSpace

OmniSpace는 추론 시 외부 3D 모델에 의존하지 않고 MLLM 내부에서 직접 공간 추론 능력을 강화하는 플러그 앤 플레이(plug-and-play) 방식의 기하학 인지 적응 프레임워크로 제안되었습니다. 이는 세 가지 핵심 구성 요소로 이루어집니다:

1. 카메라 포즈 인젝터 (Camera Pose Injector)

시각적 토큰에 공간적 사전 정보(spatial priors)를 주입하기 위해, 저자들은 각 특징 맵 토큰을 그에 대응하는 **플뤼커 광선 표현(Plücker ray representation)**으로 인코딩하는 메커니즘을 도입했습니다.

• 메커니즘: 광선을 단순히 카메라 중심점과 방향으로 나타내는 대신(이는 중복적임), 모델은 플뤼커 좌표 $P = (o \times d, d) \in \mathbb{R}^6$를 사용합니다. 이 표현은 광선을 따라 점을 선택하는 방식에 불변하며, 기하학적 일관성을 보장합니다.
• 구현: 플뤼커 광선 맵은 경량 MLP를 통해 투영되어 시각적 특징에 더해집니다. 프로젝터는 제로 초기화(zero-initialized)되어, 모델이 초기에는 기본 MLLM처럼 동작하다가 점진적으로 카메라 기하학을 주입하는 법을 배우도록 합니다.

2. 다중 뷰 에피폴라 어텐션 (Multi-view Epipolar Attention)

교차 뷰 일관성을 강제하기 위해, 저자들은 표준적인 글로벌 교차 뷰 어텐션을 **에피폴라 제약 어텐션(epipolar-constrained attention)**으로 대체했습니다.

• 메커니즘: 한 뷰의 토큰에 대해, 모델은 카메라 캘리브레이션을 기반으로 다른 뷰에서의 에피폴라 선(epipolar lines)을 계산합니다. 어텐션은 이러한 에피폴라 선 상에 놓인 토큰들(강건성을 위해 3x3 확장을 포함)로 제한됩니다.
• 효과: 이를 통해 모델은 임의의 특징 유사성이 아닌 기하학적 타당성에 기반하여 뷰 간의 대응하는 장면 요소들을 연관 짓도록 강제되는 동시에, 단일 뷰 내에서는 제한 없는 셀프 어텐션을 유지합니다. 인젝터와 마찬가지로, 이 모듈은 제로 초기화된 잔차 연결(residual connection)을 통해 추가됩니다.

3. 시간적 집계가 포함된 3D 기하학적 증류 (3D Geometric Distillation with Temporal Aggregation)

모델에 깊이 이해 능력을 갖추기 위해, OmniSpace는 **3D 파운데이션 모델(VGGT)**을 교사(teacher)로 사용하지만, 이는 오직 학습 단계에서만 수행됩니다.

• 과제: 3D 파운데이션 모델을 단일 프레임 AV 장면에 직접 적용하면, 제한된 인터 뷰 중첩(inter-view overlap)과 동적 객체로 인해 노이즈가 섞인 감독(supervision)이 발생합니다.
• 해결책: 저자들은 **시간적 기하학적 집계(temporal geometric aggregation)**를 도입했습니다. 대칭적인 시간 윈도우 내의 다중 뷰 프레임($2K+1$)이 3D 교사 모델에 입력됩니다. 생성된 교사 특징들은 기하학적으로 안정적이고 고품질인 타겟을 만들기 위해 시간 차원을 따라 평균화됩니다.
• 증류: 학생(student) MLLM의 시각적 토큰은 교사의 특징 차원으로 투영되며, 학생과 집계된 교사 특징 사이의 L2 거리를 최소화하도록 학습됩니다. 3D 교사 모델은 추론 시점에는 완전히 제거됩니다.

주요 기여

1. 진단적 조사: 저자들은 깊이 추정과 교차 뷰 대응 관계를 MLLM의 AV 작업에서의 주요 기하학적 병목 지점으로 식별하였으며, 새로운 벤치마크(Geo-Bench)를 통해 이들이 다운스트림 성능과 상관관계가 있음을 검증했습니다.
2. OmniSpace 프레임워크: 카메라 포즈 주입, 에피폴라 어텐션, 3D 기하학적 증류를 통합하는 새로운 아키텍처를 제안했습니다. 이 방식은 추론 시 외부 3D 모듈 없이도 기하학적 인지 능력을 내재화합니다.
3. 실험적 검증: 실험을 통해 OmniSpace가 여러 벤치마크(nuScenes, Bench2Drive, nuInstruct, OmniDrive, DriveBench)에서 계획 정확도, 위험 탐지 및 언어 이해 능력을 개선하면서도 순수 2D MLLM의 추론 효율성을 유지함을 입증했습니다.

실험 결과

본 논문은 다섯 가지 자율주행 벤치마크에서 OmniSpace를 평가합니다:

• 오픈 루프 계획 (nuScenes): OmniSpace는 궤적 오차(L2), 충돌율, 교차율 측면에서 기존 MLLM 및 테스트 시점 3D 모델에 의존하는 방식(예: SpaceDrive, VGGDrive)보다 일관되게 우수한 성능을 보였습니다. 특히, 외부 3D 모델을 사용하는 방식에 비해 현저히 높은 처리량(FPS)을 달면서 이러한 이득을 달성했습니다.
• 클로즈드 루프 계획 (Bench2Drive): OmniSpace는 79.65의 Driving Score와 60.15%의 성공률(Qwen2.5-VL 사용 시)을 달성하여 이전의 SOTA(State-of-the-art) 방식들을 넘어섰습니다. Qwen3-VL 변형 모델은 이 벤치마크에서 MLLM 기반 방식 중 최고의 성능을 기록했습니다.
• 위험 탐지 (nuInstruct): 이 모델은 보조 3D 모델 없이도 위험 인지 분야에서 우수한 성능(최고의 MAP 및 Accuracy, 최저의 MAE)을 달성하여, 표준 MLLM의 알려진 약점을 해결했습니다.
• 언어 이해 (OmniDrive): OmniSpace는 베이스라인 대비 캡셔닝 품질(CIDEr, ROUGE)을 개선하여, 기하학적 증류가 언어적 능력을 저하시키지 않으면서 공간 추론을 강화함을 확인했습니다.
• 일반화 (DriveBench): DriveLM에서 미세 조정(fine-tuning)하고 DriveBench에서 테스트한 결과, OmniSpace는 도전적인 시나리오 전반에서 베이스라인보다 더 나은 일반화 성능을 보였습니다.

**절제 연구(Ablation Studies)**를 통해 각 구성 요소(Pose Injector, Epipolar Attention, Distillation)가 성능에 고유하게 기여함을 확인했습니다. 구체적으로, 플뤼커 광선 인코딩이 일반적인 광선 인코딩보다 우수하며, 에피폴라 어텐션이 일반적인 교차 뷰 어텐션보다 뛰어난 성능을 보였습니다. 또한, $N=4$ 프레임을 사용한 시간적 집계가 기하학적 감독의 품질과 계산 비용 사이의 최적의 트레이드오프임을 발견했습니다.

의의 및 주장

본 논문은 OmniSpace가 MLLM에서 기하학 인지적 공간 추론을 달성하기 위한 단순하면서도 효과적인 패러다임을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 추론 복잡성과 기하학적 인지의 분리: 학습 과정에서 증류를 통해 기하학적 사전 정보를 내재화함으로써, OmniSpace는 추론 시 외부 3D 모델과 관련된 계산 오버헤드 및 배포 위험을 피합니다.
• 공간 지능의 직접적 향상: 이를 통해 MLLM이 단순한 2D 시각적 자기회귀이나 외부 파이프라인에 의존하는 대신, 직접적으로 견고한 3D 장면 이해(깊이 및 교차 뷰 대응 관계)를 습득할 수 있음을 보여줍니다.
• 효율성 및 성능의 트레이드오프: 이 프레임워크는 경쟁력 있거나 더 우수한 정확도-효율성 트레이드오프를 제공하여, 안전성(기하학적 정확도)과 지연 시간(추론 속도)이 모두 중요한 실제 자율주행 시스템에 실행 가능한 솔루션이 됩니다.

저자들은 이 방법이 정확한 카메라 캘리브레이션을 가정하고 특정 3D 교사 모델(VGGT)에 의존한다는 점을 언급하며, 향후 연구에서 자가 모션(ego-motion) 인지 집계 및 AV 사전 학습된 3D 파운데이션 모델을 탐구할 수 있음을 시사하며 한계를 인정했습니다.