기술 요약: CrossView – 시각-언어 모델은 여러 카메라를 가로질러 추론할 수 있는가?

문제 정의

현재의 시각-언어 모델(VLM)과 비디오 이해 벤치마크는 주로 단일 비디오 스트림에 대한 모델의 능력을 평가하는 "단일 카메라 가정" 하에서 운영되어 왔습니다. 최첨단 모델들은 VQAv2나 Video-MME와 같은 벤치마크에서 인간에 근접한 성능을 달eric하지만, 실제 세계의 시스템(자율 주행 차량, 보안 네트워크, 로보틱스)은 본질적으로 다중 카메라 네트워크에 의존합니다.

저자들은 다중 카메라 추론이 단순히 단일 카메라 문제의 규모를 확장한 것이 아니라, 다음과 같은 두 가지 구체적인 장애물로 특징지어지는 근본적으로 다른 도전 과제라고 주장합니다:

1. 컨텍스트 스케일링(Context Scaling): $N$개의 동시 비디오 스트림을 처리하는 것은 필요한 컨텍스트 윈도우를 확장시키며, 이는 종종 롱 컨텍스트 모델의 유효 한계를 초과합니다.
2. 교차 뷰 공간 추론(Cross-View Spatial Reasoning): 모델은 시공간적 스티칭(spatio-temporal stitching)을 수행하여 개별적인 관점들을 하나의 일관된 장면으로 합성해야 합니다. 이를 위해서는 특정 카메라에서만 보이는 폐쇄(occlusion) 문제를 해결하고, 가장 정보가 풍부한 뷰를 선택하며, 중첩되거나 서로 다른 관점들 사이의 증거를 통합하는 과정이 필요합니다.

기존 데이터셋은 좁은 범위의 인지 작업(예: 뷰를 Bird's-Eye-View 표현으로 병합)에 집중하거나 에고센트릭(egocentric) 활동 이해와 같은 특정 도메인에 국한되어 있습니다. 따라서 원시적이고 동시적이며 이질적인 카메라 피드 전반에 걸쳐 시공간적으로 추론하도록 강제하는 벤치마크는 뚜렷하게 부족한 실정입니다.

방법론

데이터셋 구축: CrossView

저자들은 자율 주행(nuScenes), 감시(MEVA), 에고-엑소(Ego-Exo4D) 상호작용, 로보틱스(AgiBot)의 네 가지 실제 세계 도메인에 걸쳐 6,000개의 질문로 구성된 다중 카메라 비디오 질의응답(VQA) 벤치마크인 CrossView를 소개합니다.

이 데이터셋은 의미론적 정확성을 보장하고 모델의 환각을 방지하기 위해 2단계 파이프라인을 통해 구축되었습니다:

1. 시공간 장면 그래프(Spatio-temporal Scene Graph, STSG) 구축:
   • 소스 데이터셋의 메타데이터를 통합합니다. nuScenes의 경우 LiDAR 포인트 클라우드가 3D 위치 추정을 정교화하며, 다른 데이터셋의 경우 3D 또는 바운딩 박스 주석이 사용됩니다.
   • 고유 레이블이 없는 경우 VLM(예: InternVL-3.5)을 사용하여 객체 중심의 활동 및 설명을 생성합니다.
   • 카메라 뷰 간의 객체 간 쌍별 공간 관계(예: 뒤에, 왼쪽에, 오른쪽에) 및 방향 차이를 계산합니다.
   • 객체가 일관된 활동을 유지하는 연속적인 타임스탬프 그룹을 형성하여 이벤트 구간 $[t_{start}, t_{end}]$를 만듭니다.
   • 이러한 요소들은 연대순의 그래프 스냅샷 시퀀스 $G_t$를 형성하며, 최종적인 STSG를 생성합니다.
2. 프로그래밍 방식의 질문 생성:
   • "그라운딩-타겟(Grounding-Target)" 아키텍처가 STSG를 쿼리합니다. 시스템은 그라운딩 이벤트/객체를 식별하고, 타겟 이벤트를 선택하며, 부정적 후보(방해 요소)를 샘플링합니다.
   • 이 구조화된 메타데이터는 GPT-5.2로 전달되어, 일반적인 레이블이 아닌 객체의 외형과 활동에 기반한 근거 있는 설명을 바탕으로 자연어 질문을 합성합니다.

질문 카테고리

이 벤치마크는 다섯 가지 추론 카테고리와 하나의 특정 "카메라 ID(Camera-ID)" 작업을 포함합니다:

• 시간적(Temporal): 전(Before), 후(After), 동안(During), 또는 사이(In-between) 관계에 대한 추론.
• 이벤트 순서(Event Ordering): 3~5개의 별개 이벤트에 대한 연대순 시퀀스 재구성.
• 공간적(Spatial): 여러 관점을 가로지르는 3D 관계(예: 주차된 차량에 대한 교통 표지판의 상대적 위치) 결정.
• 계수(Counting): 폐쇄 및 재등장을 처리하기 위해 전체 시간 범위와 다중 뷰에 걸쳐 고유한 객체 인스턴스(UID)를 집계.
• 요약(Summarization): 모든 카메라 관점에 걸친 장면 역동성에 대한 총체적인 내러티브 생성.
• 최적의 카메라(Camera-ID): 특정 이벤트에 대해 가장 정보가 풍부하거나 지속적인 증거를 제공하는 특정 카메라 뷰 식별.

평가 전략

저자들은 GPT-5.2와 같은 독점 모델 및 Qwen, InternVL, Gemma와 같은 오픈 소스 계열을 포함한 11개의 VLM을 평가했습니다.

• 샘플링 전략: 두 가지 전략을 비교했습니다: 균등 샘형(Uniform) (카메라당 독립적으로 $N$개의 프레임을 샘플링) 및 스티칭(Stitched) (모든 카메라 프레임을 타임스텝당 하나의 합성 이미지로 타일링).
• 지표: 다중 선택 과제(계수, 시간적, 이벤트 순서, 공간적, 카메라 ID)에 대한 정확도와 개방형 요약에 대한 ROUGE 점수를 사용했습니다.

주요 결과

1. 다중 카메라 추론 격차

평가 결과, 최첨단 모델들조차 다중 카메라 환경에서 일관되고 유의미한 성능 격차가 나타남을 확인했습니다.

• 낮은 정확도: 단일 카메라 벤치마크에서 포화 상태에 도달한 GPT-5.2조차 nuScenes의 시간적 추론에서 50% 미만, Ego-Exo4D의 카메라 식별에서 35% 미만의 점수를 기록했습니다.
• 규모 독립성: 이러한 결핍은 3B에서 14B+ 이상의 파라미터 수에 이르기까지 모든 모델 계열에서 지속되며, 이는 병목 현상이 모델 용량이 아니라 사전 학습 데이터의 구조적 부재 때문임을 시사합니다.
• 과제 난이도: 카메라 간의 공동 합성이 필요한 과제(계수 및 최적의 카메라 선택)는 동일한 비디오에서 파생된 시간적 또는 이벤트 순서 과제(4055%)보다 현저히 낮은 점수(흔히 2035%)를 기록했습니다.

2. 장면 복잡도 및 카메라 밀도

성능은 장면의 복잡성이 증가함에 따라 단조 감소합니다.

• 통제된 환경: AgiBot(로보틱스, 고정 카메라, 낮은 혼잡도)은 가장 높은 정확도(시간적 추론에서 최대 69.6%)를 보였습니다.
• 복잡한 환경: MEVA(광역 감시, 많은 중첩 카메라)는 모든 카테고리, 특히 계수와 요약에서 가장 낮은 점수를 기록했습니다.

3. 입력 전략: 균등(Uniform) vs. 스티칭(Stitched)

• 스티칭 샘플링: 프레임을 하나의 이미지로 타일링하는 방식은 동시적인 공간 비교가 필요한 작업(nuScenes 계수에서 +10.5%, MEVA 공간 추론에서 +16.6%)에서 성능을 향상시켰습니다.
• 균등 샘플링: 더 단순하고 혼잡도가 낮은 환경(AgiBot)에서는 스티칭이 시각적 노이즈를 유발하여 성능을 약간 저하시킬 수 있으며, 이는 샘플링 전략이 과제에 따라 달라져야 함을 시사합니다.

4. 다중 뷰 입력의 필요성

입력을 단 하나의 "최적의" 카메라로 제한하는 것은 전체 다중 카메라 입력을 사용하는 것보다 성능을 저하시킵니다.

• nuScenes의 경우, 전방 카메라만 사용했을 때 다중 카메라 베이스라인에 비해 계수 정확도는 8.8%, 공간 추론은 4.4% 하락했습니다.
• 이는 벤치마크의 많은 질문이 단일 스트림으로부터는 추론할 수 없는 다중 뷰의 증거를 진정으로 필요로 한다는 것을 확인시켜 줍니다.

의의 및 주장

본 논문은 CrossView가 다양한 실제 도메인에서 2개에서 8개의 동시 카메라 스트림에 대한 공동 추론을 평가하기 위해 특별히 큐레이션된 최초의 벤치마크라고 주장합니다. 주요 의의는 다음과 같습니다:

1. 근본적인 한계 폭로: 현재의 VLM이 단일 뷰 작업에서는 성공적임에도 불구하고, 여러 관점 사이의 증거를 효과적으로 통합하기 위한 아키텍처적 메커니즘이나 학습 데이터가 부족함을 입증했습니다.
2. 새로운 도전 과제 정의: 다중 카메라 추이가 단순히 모델 규모나 컨텍스트 윈도우 크기를 키우는 것으로 해결되지 않는 독특한 과제(컨텍스트 스케일링, 시공간적 스티칭, 뷰 선택)를 포함하고 있음을 확립했습니다.
3. 벤치마크의 엄밀성: 단일 뷰 입력이 많은 질문에 답할 수 없음을 경험적으로 검증함으로써(표 5), 자율 시스템 및 로보틱스의 실제 배포를 위한 다중 뷰 통합의 필요성을 입증했습니다.

저자들은 CrossView가 현대 VLM을 위한 엄격한 스트레스 테스트 역할을 하며, 교차 뷰 증거 통합을 명시적으로 지원하는 새로운 아키텍처, 학습 목표 및 데이터 파이프라인의 필요성을 강조한다고 결론지었습니다.