기술 요약: Cambrian-P: 포지션 기반 비디오 이해

문제 정의

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 행동 인식 및 내러티브 요약과 같은 의미론적 비디오 이해에서는 탁월한 성능을 발휘하지만, 시각적 공간 지능이 필요한 작업에서는 일관되게 어려움을 겪습니다. 확인된 핵심 한계는 표준 MLLM 이 비디오 프레임을 장면의 지속적 3D 공간 구조와 단절된 고립된 2D 스냅샷으로 처리한다는 점입니다. 명시적인 3D 기하학적 근거가 없으면, 모델은 공간적 관계, 카메라 운동, 그리고 전역적 장면 일관성에 대한 추론에 실패합니다. 카메라 포지션 (위치 및 방향) 은 오랫동안 3D 비전과 로봇공학 (예: Structure from Motion, SLAM) 의 초석이었으나, 비디오 MLLM 의 학습 신호에서는 여전히 크게 부재합니다.

방법론: Cambrian-P

저자들은 네이티브 카메라 포지션 예측 기능을 갖춘 비디오 MLL 인 Cambrian-P를 소개합니다. 이 접근법은 기존 MLLM 에 최소한의 아키텍처 변경을 요구하면서도 새로운 학습 패러다임을 도입하도록 설계되어 경량화되었습니다.

1. 아키텍처

• 베이스 모델: SigLIP2-SO400m 비전 인코더를 MLP 프로젝터를 통해 Qwen2.5 LLM 과 연결한 Cambrian-S아키텍처를 기반으로 구축되었습니다.
• 카메라 포지션 토큰: LLM 의 특징 공간 내에서 포지션 추정을 가능하게 하기 위해, 모델은 각 프레임의 비전 토큰이 LLM 에 들어가기 전에 소수의 학습 가능한 카메라 포지션 토큰을 비전 토큰에 추가합니다.
  • 초기 프레임에는 $c_{first}$, 나머지 모든 프레임에는 $c_{rest}$를 위한 두 가지 별도의 학습 가능한 쿼리가 사용됩니다. 이를 통해 모델은 첫 번째 프레임을 구분하고 모든 포지션을 첫 번째 카메라의 좌표계와 관련하여 표현할 수 있습니다.
  • 이러한 토큰은 인과적 주의 (causal attention) 메커니즘을 존중하기 위해 비전 토큰 이후, 텍스트 임베딩 이전에 배치됩니다.
• 포지션 헤드: 경량 프로젝터가 포지션 토큰의 LLM 은닉 상태를 포지션 특징 차원으로 매핑합니다. VGGT 에서 영감을 받은 전용 카메라 헤드는 네 개의 자기 주의 (self-attention) 레이어와 그 뒤를 이은 선형 레이어로 구성되어 최종 카메라 파라미터를 회귀합니다.

2. 학습 목적

총 손실 함수는 VQA 를 위한 표준 다음 토큰 예측 (NTP) 과 카메라 포지션 추정 손실을 결합합니다:
$$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$$

• 포지션 손실 ($\mathcal{L}_{pose}$): 가중 L1 손실을 사용하여 예측된 포지션 인코딩 (이동 $t$, 회전 쿼터니언 $q$, 시야각 $f$) 을 실제 값 (ground truth) 에 대해 감독합니다.
  • 스케일 정규화: 다양한 물리적 스케일 (미터 vs. 비미터) 을 가진 데이터셋을 처리하기 위해, 이동 손실은 궤적 길이로 정규화됩니다. 비미터 데이터의 경우, 예측된 궤적 모양을 실제 값과 정렬하되 스케일을 붕괴시키지 않도록 폐형 최소제곱 스케일 인자가 계산됩니다.
• 교차 학습 전략: 저자들은 VQA 와 포지션 추정 학습 동역학 간의 충돌을 식별했습니다.
  • VQA는 사실적 정확성을 유지하기 위해 일반적으로 균일한 프레임 샘플링을 사용하고 강력한 증강을 피합니다.
  • 포지션 추정은 강건한 기하학적 특징을 학습하기 위해 무작위 시간 샘플링, 동적 간격, 그리고 강력한 증강 (예: 컬러 지터, 블러) 을 필요로 합니다.
  • 해결책: 세 가지 유형의 배치 혼합 교차 학습 방식을 도입했습니다.
    1. VQA 전용: NTP 손실을 사용하는 표준 균일 샘플링.
    2. 포지션 전용: 동적/무작위 샘플링과 강력한 증강을 적용한 샘플로, VQA 손실을 생략하고 포지션 손실 만으로 감독합니다 (불완전한 맥락에서의 환각을 방지하기 위함).
    3. 연합 (Joint): 두 가지 손실을 모두 적용한 샘플.
• 무작위 지터: 균일한 샘플링에서 고정된 프레임 - 포지션 대응 관계를 모델이 암기하는 것을 방지하기 위해, VQA 학습 중 프레임 인덱스에 무작위 지터가 적용됩니다.

3. 데이터 확장

• 실제 값 (Ground Truth): 학습은 VSI-590K(ScanNet, ScanNet++, ARKitScenes) 및 MapAnything의 포지션 주석 데이터에서 유래된 실제 값을 활용합니다.
• 의사 주석 (Pseudo-Annotation): 제한된 실제 값 데이터를 넘어 확장하기 위해, 저자들은 일반 도메인 비디오 (예: Cambrian-S-3M 코퍼스에서 유래) 에 대해 VIPE(피드포워드 스트리밍 비디오 포지션 엔진) 를 사용하여 의사 포지션 주석을 생성합니다. 이러한 의사 라벨은 품질 필터링을 거친 후 교차 학습 레시피에 사용됩니다.

주요 기여

1. 포지션 기반 MLLM: 카메라 포지션을 경량 감독 신호로 도입하는 것이 MLLM 의 공간 추론 능력을 크게 향상시킨다는 것을 입증했습니다.
2. 아키텍처 효율성: 이중 인코더 설계나 특수 3D 백본과 같은 무거운 오버헤드 없이 학습 가능한 토큰과 작은 헤드만으로 최첨단 결과를 달성했습니다.
3. 학습 동역학: VQA 와 포지션 추정의 상충되는 요구 사항을 조화시키기 위한 교차 학습 전략과 무작위 지터 샘플링을 제안했습니다.
4. 이중 기능: 모델은 전문 모델 (StreamVGGT 및 CUT3R) 보다 ScanNet 에서 우수한 성능을 보이는 경쟁력 있는 스트리밍 카메라 포지션 추정을 달성하면서도 동시에 비디오 QA성능을 향상시킵니다.
5. 일반화: 공간 특정 데이터로 학습되었음에도 불구하고 포지션 감독이 일반 비디오 QA 벤치마크 (예: MVBench, EgoSchema) 를 향상시킨다는 것을 보여주어, 포지션이 물리적 세계 이해를 위한 근본적인 신호임을 시사합니다.

결과

공간 추론 (VQA)

• VSI-Bench: Cambrian-P 는 **73.7%**의 정확도를 달성하여 포지션이 없는 대응 모델 (Cambrian-S) 보다 4.5% 높고, 다른 공간 전문 모델들을 능가합니다.
• VSTemporalI-Bench: 포지션이 없는 기준선 대비 카메라 이동 방향 하작업에서 20% 개선을 보입니다.
• 분포 외 (OOD): 주로 VSI-590K 에서 학습되었음에도 MindCube, MVBench, EgoSchema 를 포함한 여덟 개의 벤치마크에서 개선이 관찰됩니다.
• 의사 포지션 확장: 일반 비디오에서 유래된 의사 주석 포지션 데이터를 추가하면 공간 작업에서의 이점을 유지하면서 일반 VQA 벤치마크 성능이 더욱 향상됩니다.

카메라 포지션 추정

• ScanNet (스트리밍): 스트리밍 모델 중 0.078의 최첨단 절대 궤적 오차 (ATE) 를 달성하여 StreamVGGT(0.127) 와 CUT3R(0.096) 을 능가합니다.
• 효율성: 82 억 파라미터 (전문 모델보다 큼) 를 보유함에도 불구하고, 컴팩트한 SigLIP 인코더와 인과적 트랜스포머 아키텍처 덕분에 오프라인 모드에서 프레임당 0.02 초의 낮은 지연 시간을 달성합니다.

확장 법칙

• 모델 크기: 모델 크기가 05B 에서 7B 로 확장됨에 따라 VQA 와 포지션 추정 모두에서 성능이 지속적으로 향상됩니다.
• 데이터 크기: 포지션 주석 데이터의 비율을 늘리면 VSI-Bench 정확도와 포지션 추정 오차 모두에서 단조로운 개선이 이루어집니다.
• 학습 반복 횟수: 포지션 특정 학습 반복 횟수를 늘리면 VQA 성능을 저하시키지 않으면서 포지션 정확도가 향상됩니다.

중요성과 주장

이 논문은 카메라 포지션이 물리적 세계에 대한 추론을 수행하는 비디오 모델에게 근본적인 신호라고 주장합니다. 픽셀을 공유된 3D 좌표 프레임에 근거시킴으로써, 포지션 감독은 다음과 같은 효과를 냅니다:

1. 전역 일관성 강제: 고립된 프레임을 일관된 3D 장면으로 연결하여 모델이 장면의 동역학에서 카메라 운동을 분리해 낼 수 있게 합니다.
2. 공간 추론 향상: 공간적으로 멀리 떨어진 객체와 경로 계획과 관련된 질문에서 상당한 성능 향상이 관찰됨에 따라, MLLM 이 더 전역적으로 추론할 수 있게 합니다.
3. 시너지: 양방향 이점이 존재합니다. 더 나은 비디오 - 언어 정렬 (VQA 사전 학습을 통해) 이 포지션 추정을 개선하고, 포지션 감독이 VQA 를 개선합니다.

저자들은 Cambrian-P 가 MLLM 을 실제 세계 기반 비디오 이해로 발전시켰으며, 카메라 포지션을 단순한 보조 단서가 아닌 차세대 비디오 모델을 위한 근본적인 귀납적 편향으로 위치시켰다고 결론지었습니다.