기술 요약: ViSRA - 멀티모달 대규모 언어 모델을 위한 비디오 기반 공간 추론 에이전트

문제 제기

최근 멀티모달 대규모 언어 모델 (MLLM) 의 발전은 시각적 지시를 따르는 데 있어 놀라운 능력을 보여주었습니다. 그러나 동적인 비디오 장면에서 상대적 방향, 거리, 그리고 물체의 영속성을 이해하는 진정한 3D 중심 공간 지능을 개발하는 능력은 여전히 제한적입니다. 현재의 MLLM 은 특히 분포 외 (OOD) 시나리오나 복잡한 3D 관계에 직면했을 때 견고한 공간 추론에 어려움을 겪습니다.

기존 솔루션들은 주로 큐레이션된 공간 데이터셋을 활용한 후학습 (post-training)(예: 지도 미세 조정, 지시 미세 조정) 에 의존합니다. 저자들은 이 패러다임에 두 가지 치명적인 결함이 있음을 지적합니다:

1. 높은 비용과 큐레이션: 후학습은 방대하고 수동으로 큐레이션된 비디오 추론 데이터셋과 상당한 컴퓨팅 자원을 요구합니다.
2. 과적합과 일반화 부족: 특정 벤치마크로 훈련된 모델들은 종종 "벤치마크 특화 과적합"을 보여, 확립된 작업에서는 높은 점수를 기록하지만 보지 못한 공간 질문이나 현실 세계의 모서리 사례 (corner cases) 에는 일반화하지 못합니다. 더 나아가, 이러한 모델들은 종종 인간과 정렬된 추론 단서가 부족하여, 내부 논리가 인간이 공간을 지각하고 추론하는 방식과 반드시 일치하지는 않습니다.

또한, 저자들은 명시적인 **인지 지도 (ground-truth 2D/3D 레이아웃)**를 MLLM 에 입력으로 제공하는 것이 종종 성능 향상으로 이어지지 않으며, 경우에 따라 오히려 성능을 저하시킨다고 관찰했습니다. 이는 현재 MLLM 이 명시적 추론 메커니즘 없이 구조화된 공간 표현을 효과적으로 활용하는 데 어려움을 겪고 있음을 시사합니다.

방법론: ViSRA

이러한 한계를 해결하기 위해 저자들은 기존 MLLM 의 공간 추론 능력을 향상시키도록 설계된 학습이 필요 없는 (training-free), 추론 시 프레임워크인 ViSRA(Video-based Spatial Reasoning Agent) 를 제안합니다. ViSRA 는 명시적인 시공간 증거를 구축하기 위해 전문가 감지 도구들을 역동적으로 조율하는 인간과 정렬된 에이전트로서 작동합니다.

1. 공간 도구 세트

ViSRA 는 2D 및 3D 정보를 추출하기 위해 최첨단 도메인 전문가 모델을 활용하는 7 가지 유형의 모듈식 도구 세트를 통합합니다:

• 2D 객체 감지: 핵심 프레임에서 객체 바운딩 박스를 식별합니다.
• 프레임 간 객체 추적: 외관 단서 (예: SAM 2) 를 사용하여 프레임 간 객체 인스턴스를 연관시킵니다.
• 3D 객체 감지: 2D 감지를 3D 점으로 매핑하고 기본 기하 모델 (예: VGGT) 을 사용하여 3D 중심을 계산합니다.
• 장면 모델링: 일관된 좌표 프레임 (예: 조류의 시점) 을 확립하기 위해 RANSAC 을 통한 지면 평면 추정 등을 포함하여 장면 기하학을 재구성합니다.
• 지식 검색: 추정 작업을 지원하기 위해 사전 컴파일된 데이터베이스에서 객체/방 크기 통계를 검색합니다.
• 비디오/이미지 쿼리: MLLM 이 구조화된 도구에서 포착되지 않은 의미론적 또는 측정 단서를 위해 비디오를 직접 쿼리할 수 있게 합니다.
• 유틸리티 도구: 추출된 3D 데이터를 기반으로 거리, 상대적 방향, 높이, 그리고 장애물을 계산합니다.

2. 다중 역할 에이전트 프레임워크

ViSRA 는 MLLM 재학습 없이 이러한 도구들을 조율하기 위해 4 가지 역할 에이전트 아키텍처를 사용합니다:

• Planner(계획자): 사용자 쿼리와 도구 스키마를 분석하여 구조화된 실행 계획 (도구 선택 및 순서) 을 생성합니다.
• Reflector(반성자): 실행 상태를 모니터링하고 누적된 증거가 충분한지 확인하며, 도구를 계속 호출할지 아니면 종료할지 결정합니다.
• Executor(실행자): 비디오에서 선택된 전문가 도구를 호출하고, 원시 출력을 수집하며, 이를 명시적인 자연어 관찰로 변환합니다.
• Summarizer(요약자): 전체 실행 추적과 누적된 증거를 통합하여 최종 답변을 종합하며, 추론이 잠재적 모델 사전 지식보다는 검색된 데이터에 기반하도록 보장합니다.

이 프레임워크는 충분한 증거가 수집되거나 호출 예산이 소진될 때까지 유한한 반복 루프 (계획 $\to$ 반성 $\to$ 실행 $\to$ 반성) 를 통해 작동합니다.

주요 기여

1. 한계에 대한 실증적 분석: 저자들은 현재 MLLM 이 신뢰할 수 있는 3D 이해력을 결여하고 있으며, 후학습 방법들이 종종 OOD 공간 작업으로 일반화되지 못함을 입증합니다. 또한 단순히 인지 지도를 MLLM 에 공급하는 것만으로는 부족함을 보여줍니다.
2. ViSRA 프레임워크: 지속적인 감지 모델의 발전을 역동적으로 활용하여 공간 지능을 향상시키는 학습이 필요 없는 추론 시 에이전트를 도입합니다. 이는 명시적이고 인간과 정렬된 시공간 증거를 구축합니다.
3. OOD 작업으로의 일반화: ViSRA 는 확장 가능하고 전이 가능하며, 고정된 데이터셋 패턴 대신 모듈식 도구에 의존함으로써 작업 특화 과적합을 피하도록 설계되었습니다.

실험 결과

저자들은 VSI-Bench(비디오 기반 공간 지능 벤치마크) 와 새로 구축된 VSI-Bench-Extra(보지 못한 OOD 질문 유형 포함) 에서 ViSRA 를 평가했습니다.

• VSI-Bench 성능: ViSRA 는 다양한 기본 MLLM(예: Qwen2.5-VL, InternVL3) 의 성능을 일관되게 향상시켰습니다. 예를 들어, Qwen2.5-VL-7B + ViSRA는 평균 정확도 **52.2%**를 달성하여 기본 모델보다 14.6% 더 높은 성능을 보였으며, 독점 모델 및 후학습 베이스라인과 경쟁했습니다.
• OOD 작업 성능 (VSI-Bench-Extra): 보지 못한 질문 유형 (예: 뒤쪽 상대적 방향, 객체 장애) 에서 ViSRA 는 우수한 일반화를 보여주었습니다. Qwen2.5-VL-7B + ViSRA는 기본 모델 대비 28.9% 향상되어, 종종 이러한 보지 못한 작업에서 실패하는 후학습 모델들을 크게 능가했습니다.
• 교차 벤치마크 검증: ViSRA 는 ViewSpatial-Bench, OST-Bench, MMSI-Video-Bench를 포함한 다른 벤치마크에서도 일관된 향상을 보였으며, 특정 카테고리에서는 **38.3%**까지의 개선을 기록했습니다.
• 절대 실험: 실험은 프레임 샘플링 증가 (64 프레임) 와 고품질 감지/추적 모델 (Rex-Omni, SAM 2) 사용이 성능을 크게 향상시킴을 확인했습니다. 또한 프레임워크는 ground-truth 감지 결과를 사용할 경우 정확도를 **80.6%**까지 끌어올릴 수 있음을 보여주어, 더 나은 기반 도구를 통해 추가적인 개선이 가능함을 시사합니다.

중요성과 주장

이 논문은 ViSRA 가 계산 비용이 많이 들고 데이터를 많이 요구하는 후학습 패러다임에 대한 학습이 필요 없는 대안을 제공한다고 주장합니다. 공간 추론을 MLLM 의 내부 가중치에서 분리하고 대신 명시적 도구를 갖춘 모듈식 에이전트 프레임워크에 의존함으로써 ViSRA 는 다음과 같은 이점을 제공합니다:

• 작업 특화 과적합이 아닌 전이 가능한 3D 이해를 달성합니다.
• 명시적 중간 단계 (추적, 3D 재구성, 거리 계산) 를 통해 인간과 정렬된 추론을 제공합니다.
• 공간 추론 데이터셋의 무거운 수동 큐레이션과 후학습 컴퓨팅 비용의 필요성을 제거합니다.

저자들은 ViSRA 가 효과적이고 외부 감지 모델의 지속적인 개선에 적응 가능한 추론 시 접근 방식을 제공함으로써 3D 공간 추론에 대한 ongoing efforts 를 보완한다고 결론지었습니다.