Modeling Cross-vision Synergy for Unified Large Vision Model

이 논문은 이미지, 비디오, 3D 데이터 간의 상호 보완적 추론을 가능하게 하는 '교차 비전 시너지 (cross-vision synergy)'를 실현하기 위해, 동적 모달리티 라우터를 활용한 희소 혼합 전문가 아키텍처와 시너지 인식 학습 패러다임을 도입한 통합 대형 비전 모델 'PolyV'를 제안합니다.

핵심

1. 문제점: "각자 따로 노는 전문가들"

지금까지의 인공지능 (LVM) 은 이미지, 영상, 3D 데이터를 각각 별도의 전문가에게 맡겨 처리했습니다.

• 이미지 전문가: 정지된 그림만 잘 봅니다.
• 영상 전문가: 움직임과 시간의 흐름만 잘 봅니다.
• 3D 전문가: 깊이와 공간감만 잘 봅니다.

하지만 문제는 이 전문가들이 서로 대화하지 않는다는 것입니다. 예를 들어, 정지된 사진에서 "공이 어디로 굴러갈까?"라고 물으면, 이미지 전문가는 "그냥 공이 있네요"라고만 답할 뿐, 영상 전문가가 가진 '움직임에 대한 지식'을 빌려와서 "공이 앞으로 굴러갈 거예요"라고 추론하지 못합니다. 마치 사진을 보는 사람과 영화를 보는 사람이 같은 방에 있지만 서로 눈을 마주치지 않는 상황과 같습니다.

2. 해결책: "폴리V (PolyV)" - 시너지가 일어나는 합창단

저자들은 이 문제를 해결하기 위해 **'시너지 (Synergy)'**를 핵심으로 하는 새로운 모델을 만들었습니다. 이를 '시네스틱 (Synesthetic, 감각이 섞인)' 능력이라고 부릅니다.

🎭 비유 1: '스마트한 합창단' (아키텍처)

폴리V 는 거대한 합창단과 같습니다.

• 전통적인 모델: 모든 성악가가 똑같은 노래를 부르는 식입니다. (비효율적이고 전문성이 떨어집니다.)
• 폴리V (MoE 구조): 이 모델은 **'지휘자 (라우터)'**와 여러 명의 **'전문가 (엑스퍼트)'**로 이루어져 있습니다.
  • 지휘자가 "이 부분은 소프라노가, 저 부분은 베이스가 노래해!"라고 지시합니다.
  • 이미지 전문가는 정적인 구도를, 영상 전문가는 움직임을, 3D 전문가는 깊이를 각각 담당합니다.
  • 핵심: 하지만 이들은 서로 외면하지 않습니다. 지휘자의 지시에 따라 서로의 지식을 공유하고 섞어서 (Synergy) 더 완벽한 노래를 부릅니다. 사진만 봐도 "저 공이 움직일 것 같다"라고 영상 전문가의 지식을 빌려와 추론하는 것입니다.

🎓 비유 2: '유능한 학생의 학습 과정' (트레이닝)

이 모델은 두 단계로 공부합니다.

1. 1 단계: 전공 공부 (Modality-specific Pretraining)
   • 각 전문가가 자신의 전공 (이미지, 영상, 3D) 에만 집중해서 기초 실력을 다집니다.
2. 2 단계: 융합 수업 (Synergy-aware Training)
   • 이제 서로의 전공을 섞어서 공부합니다.
   • ** coarse-grained (대략적인 학습):** "영상에서 배운 '움직임' 지식을 사진에 적용해봐", "3D 에서 배운 '깊이' 지식을 영상에 적용해봐"라고 가르칩니다. (지식 증류)
   • fine-grained (세밀한 학습): "이 사물과 저 사물의 관계가 사진과 영상에서 어떻게 변했는지", "어떤 사물이 바닥에 서 있는지"처럼 아주 구체적인 관계까지 연결해서 생각합니다.

3. 결과: "인간처럼 느끼고 생각하는 AI"

이 모델을 테스트한 결과, 기존 모델들보다 평균 10% 이상 더 잘했습니다.

• 예시 1: 사진 속 골프공이 어디로 날아갈지 예측할 때, 영상 데이터에서 배운 '물리 법칙'을 적용해 정확히 맞췄습니다.
• 예시 2: 3D 공간에서 카메라가 어떻게 움직였는지 설명할 때, 영상 데이터의 '시간 흐름' 지식을 활용해 정답을 냈습니다.

4. 요약: 왜 이것이 중요한가요?

기존 AI 는 "무엇이 있는가?" (What) 를 보는 데 그쳤다면, **폴리V 는 "무엇이 일어나고, 어떻게 변하며, 공간적으로 어떤 관계인가?" (How & Where)**를 통합적으로 이해합니다.

마치 인간의 뇌가 눈을 통해 들어온 빛 (이미지), 귀를 통해 들어온 소리 (시간/동작), 그리고 공간감 (3D) 을 하나로 통합하여 세상을 이해하듯, 폴리V 는 시각 데이터의 경계를 허물고 진짜로 서로 돕는 (Synergistic) 인공지능을 만든 첫걸음입니다.

한 줄 요약:

"이미지, 영상, 3D 를 따로 보는 게 아니라, 서로의 지식을 빌려와서 마치 인간처럼 세상을 통째로 이해하는 똑똑한 AI 합창단!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 대규모 비전 모델 (Large Vision Models, LVMs) 은 이미지, 비디오, 3D 데이터를 통합하는 단일 아키텍처로 발전하고 있습니다. 그러나 기존 통합 모델들은 단순히 여러 모달리티를 **기능적으로 통합 (Functional Integration)**하는 데 그치고 있으며, 시각적 모달리티 간의 **상호 보완적 사전 지식 (complementary priors) 을 추론하는 '교감 (Synergy)'**이라는 더 깊은 목표를 간과하고 있습니다.

• 현재의 한계:
  • 단방향 지식 전이: 기존 연구는 주로 비디오나 3D 지식을 이미지 이해로 전이하는 등 단방향 (Lower-to-Higher order) 지식 이동에 치중했습니다.
  • 아키텍처적 결여: 서로 다른 모달리티 (이미지, 비디오, 3D) 간의 특징이 공유되거나 상호작용할 수 있는 명시적인 메커니즘이 부족합니다. 단순히 인코더를 공유하거나 특징을 연결 (concatenation) 하는 수준에 그쳐, 추론 시 동적인 지식 교환이 불가능합니다.
  • 학습 전략의 부재: 기존 학습 방식은 모달리티별 독립 학습이나 점진적 미세 조정 (Fine-tuning) 에 의존하여, 모달리티 간 상호작용을 촉진하지 못하거나 '파괴적 망각 (Catastrophic Forgetting)'을 유발합니다.
• 핵심 목표: 인간의 교감 (Synesthesia, 한 감각이 다른 감각을 자극하는 현상) 과 유사하게, 정적인 이미지에서 동적 추론을 하거나 3D 기하학적 지식을 비디오 이해에 적용하는 등 **모달리티 간 양방향 상호작용과 심층적 추론 (Cross-vision Synergy)**을 가능하게 하는 통합 LVM 을 구축하는 것입니다.

2. 제안 방법론: PolyV (Methodology)

저자들은 PolyV라는 통합 LVM 을 제안하며, 아키텍처 설계와 학습 전략 두 가지 차원에서 교감 (Synergy) 을 구현합니다.

A. 아키텍처: 희소 혼합 전문가 (Sparse Mixture-of-Experts, MoE)

• 동적 모달리티 라우터 (Dynamic Modality Router): 하나의 LLM 백본 내에 여러 전문가 (Expert) 네트워크를 배치하고, 입력 토큰의 특성에 따라 동적으로 전문가를 선택하는 라우터를 도입했습니다.
• 전문가 분업 및 상호 보완: 각 전문가는 특정 모달리티 (예: 비디오의 시간적 동역학, 3D 의 공간 기하학) 에 특화된 지식을 학습하면서도, 다른 전문가의 보완적 지식을 활용하도록 설계되었습니다. 이를 통해 모달리티 간 지식의 흐름을 자유롭게 하고, 단일 모달리티 입력 시에도 다른 모달리티의 사전 지식을 암묵적으로 활용 (Synesthetic Reasoning) 할 수 있습니다.
• 범용 비전 인코더: 이미지, 비디오 (프레임 시퀀스), 3D (멀티뷰 렌더링) 를 모두 처리할 수 있는 범용 인코더를 사용하며, 3D 입력의 경우 위치 인코딩을 통해 기하학적 정보를 주입합니다.

B. 학습 전략: 교감 인식 (Synergy-aware) 학습

학습은 두 단계로 진행됩니다.

1. 모달리티별 사전 학습 (Modality-specific Pretraining):
   • 각 전문가가 이미지, 비디오, 3D 데이터에 대해 독립적으로 학습하여 강력한 모달리티별 기초 지식을 확립합니다.
2. 교감 인식 미세 조정 (Synergy-aware Fine-tuning):
   • 거시적 (Coarse-grained) 교감 튜닝: 지식 증류 (Knowledge Distillation) 를 활용합니다. 강력한 단일 모달리티 기반 모델 (비디오 FM, 3D FM) 에서 추출한 시간적/공간적 사전 지식을 PolyV 의 'Synergy Token'으로 증류합니다. 이를 통해 모델이 모달리티 간 글로벌 맥락을 이해하도록 합니다.
   • 미시적 (Fine-grained) 교감 튜닝: CSQA (Cross-Vision Synergy Question-Answer) 데이터셋을 활용합니다. 이미지 - 비디오, 이미지 - 3D 쌍의 장면 그래프 (Scene Graph) 를 기반으로 객체 수준 (위치, 상태) 과 관계 수준 (상호작용, 시점 변화) 의 정교한 질문 - 답변 쌍을 생성하여 학습합니다. 이는 객체와 관계가 모달리티 간에 어떻게 일관되거나 변화하는지 정밀하게 추론하는 능력을 키웁니다.

3. 주요 기여 (Key Contributions)

1. 최초의 교감형 통합 LVM: 이미지, 비디오, 3D 간의 양방향 상호작용과 심층적 추론을 명시적으로 설계한 최초의 통합 모델 (PolyV) 을 제안했습니다.
2. MoE 기반 아키텍처 혁신: 동적 라우팅을 통해 모달리티별 특화 지식과 공유 지식을 효율적으로 조율하며, 교감 추론을 가능하게 하는 새로운 아키텍처를 제시했습니다.
3. 교감 인식 학습 프레임워크: 거시적 지식 증류와 미시적 객체/관계 정렬을 결합한 2 단계 학습 전략을 통해, 모달리티 간 파괴적 망각을 방지하고 강력한 교감 능력을 학습시켰습니다.
4. 광범위한 실험 검증: 10 개의 벤치마크 (이미지, 비디오, 3D 이해 및 교감 특화 데이터셋) 에서 기존 SOTA 모델들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: PolyV 는 백본 모델 (Qwen2.5-VL-7B) 대비 평균 10% 이상의 성능 향상을 기록했습니다.
  • 이미지 이해 (MMStar, 3DSRBench): 공간 추론 및 일반 이해 능력에서 기존 모델들을 상회했습니다.
  • 비디오 이해 (VideoMME, VSI-Bench): 시간적 추론과 프레임 간 공간적 일관성 이해에서 탁월한 성능을 보였습니다.
  • 3D 이해 (ScanQA, SQA3D, Open-EQA): 3D 공간 이해 및 embodied QA 작업에서 기존 3D 특화 모델들 (LLaVA-3D, Ross3D 등) 보다 크게 우세했습니다.
• 교감 능력 검증: 정적 이미지에서 동적 행동 예측, 3D 기하학 지식을 활용한 비디오 이해 등 교감이 필요한 태스크에서 특히 큰 향상을 보였습니다.
• 아키텍처 분석:
  • MoE 구조가 밀집 (Dense) 구조보다 효율적인 전문화와 지식 공유를 가능하게 함을 입증했습니다.
  • 라우팅 분포 분석을 통해 모델이 작업 유형에 따라 전문가를 적응적으로 할당함을 확인했습니다.
• 파괴적 망각 방지: 다양한 모달리티 학습 후에도 기존 이미지/비디오 이해 능력이 유지되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 단순한 다중 모달리티 통합을 넘어, 인간의 교감 (Synesthesia) 과 유사한 수준의 시각적 추론을 가능하게 하는 새로운 패러다임을 제시했습니다.

• 이론적 의의: 시각적 모달리티 간의 상호 보완적 관계를 구조화하고 학습하는 방법론을 정립하여, LVM 이 단일 모달리티의 한계를 넘어 통합된 시각 지능을 획득할 수 있음을 증명했습니다.
• 실용적 의의: 로봇 공학, 자율 주행, 증강 현실 (AR) 등 복잡한 3D 환경 이해와 동적 추론이 필요한 하위 태스크에 직접적으로 적용 가능한 강력한 기반 모델을 제공합니다.
• 미래 전망: 현재는 지도 학습 (Supervised Fine-tuning) 에 의존하고 있으나, 향후 강화 학습을 통해 모델이 스스로 공간 구조를 추론하고 교감 능력을 발전시키는 방향으로 확장할 수 있음을 제시했습니다.

요약하자면, PolyV는 아키텍처적 혁신 (MoE) 과 학습 전략적 혁신 (교감 인식 학습) 을 통해 이미지, 비디오, 3D 간의 장벽을 허물고, 서로 다른 시각적 정보가 상호작용하며 더 높은 수준의 추론을 가능하게 하는 획기적인 모델입니다.