기술 요약: VidPrism

문제 정의

비전 - 언어 모델 (VLM) 의 급속한 발전은 이미지 - 비디오 (I2V) 전이 학습을 비디오 이해를 위한 지배적인 패러다임으로 자리 잡게 했습니다. 그러나 정적 이미지로 사전 훈련된 모델을 동적 비디오 데이터에 적응시키는 것은 상당한 과제를 제기합니다: 내재된 시간적 모델링 능력의 부재입니다. 최근 접근법들은 시간적 모델링을 강화하기 위해 전문가 혼합 (MoE) 아키텍처를 통합함으로써 이 문제를 해결하려 시도했으나, 기존 MoE 설계는 전문가 동질화로 고통받고 있습니다. 표준 MoE 프레임워크에서 모든 전문가는 동일한 구별되지 않은 입력 스트림을 받아, 전문화된 에이전트 대신 중복된 일반인처럼 행동하도록 강요받습니다. 이 비효율성은 모델이 정적 공간 콘텐츠와 동적 시간적 진화를 효과적으로 구분하는 것을 방해하여, 중요한 행동 순간을 식별하지 못하는 평탄한 주의 분포를 초래합니다.

방법론: VidPrism

전문가 동질화를 극복하기 위해 저자들은 VidPrism, 즉 새로운 이종 시간적 MoE 프레임워크를 제안합니다. 신경과학의 "이중 스트림 가설"(무엇과 어떻게 경로를 분리) 에서 영감을 받아, VidPrism 은 전문가들 간의 기능적 분업 구조를 구현합니다. 아키텍처는 네 가지 핵심 구성 요소로 구성됩니다:

1. 콘텐츠 인식 다중 레이트 샘플링 (RgSTA)

모든 전문가에게 동일한 프레임을 입력하는 대신, VidPrism 은 레이트 가이드 공간 - 시간 집계 (RgSTA) 모듈을 사용합니다. 이 모듈은 입력 비디오를 서로 다른 공간 - 시간 해상도를 가진 여러 병렬 스트림으로 동적으로 분할합니다:

• 느린 레이트 스트림: 풍부한 의미론적 맥락을 가진 키 프레임을 포착하여 공간 추론을 담당하는 전문가로 라우팅됩니다.
• 빠른 레이트 스트림: 고주파수 시간적 변화에 초점을 맞춰 운동 모델링을 담당하는 전문가로 라우팅됩니다.
• 메커니즘: 이 모듈은 학습 가능한 중요도 점수와 고유한 특징 노름 (L2 노름) 을 결합한 하이브리드 스코어링 메커니즘을 사용하여 중요한 프레임을 선택합니다. 결정적으로, 선택되지 않은 프레임을 폐기하지 않고, 유사성 가중치 어텐션을 통해 선택된 키 프레임에 정보를 융합하여 효율성을 유지하면서도 가치 있는 정보가 손실되지 않도록 보장합니다.

2. 동적 양방향 상호작용 (DBI)

고립된 처리를 방지하기 위해 VidPrism 은 동적 양방향 상호작용 (DBI) 모듈을 도입합니다. 이는 서로 다른 시간적 경로 간의 시너지 정보 교환을 촉진합니다:

• 느림에서 빠르게: 느린 경로에서 나온 고수준 의미론적 맥락이 업샘플링되어 빠른 경로에 주입되어 전역 맥락을 제공합니다.
• 빠름에서 느리게: 빠른 경로에서 나온 상세한 운동 역학이 다운샘플링되어 느린 경로에 주입되어 구조적 이해를 정교화합니다.
• 게이팅: 경량 필터 네트워크가 전역 맥락에 기반하여 상호작용 점수를 동적으로 생성하여, 정보 흐름을 조절하고 희소 연결을 촉진하는 게이트 역할을 합니다.

3. 이종 전문가 혼합 (HMoE)

핵심 혁신은 이종 MoE 설계에 있습니다. 각 전문화된 스트림은 특정 시간 레이트에 exclusively 훈련된 전용 전문가 네트워크 (표준 Transformer 레이어) 에 의해 처리됩니다. 이는 전문가들이 할당된 스케일에 고유한 내부 시간적 의존성을 학습하도록 보장하여 기능적 이종성을 확보합니다.

• 결합 메커니즘: 학습 가능한 전역 쿼리 벡터가 모든 전문가의 출력을 다중 헤드 교차 어텐션을 사용하여 순회하며, 가장 작업 관련성이 높은 정보를 추출하고 다양한 특징들을 통합된 비디오 수준 표현으로 집계합니다.

4. 훈련 목표

모델은 복합 손실 함수를 사용하여 최적화됩니다:

• 분류 손실 ($L_{cls}$): 최종 예측을 위한 표준 교차 엔트로피.
• 순위 손실 ($L_{rank}$): RgSTA 모듈이 신뢰할 수 있는 프레임 중요도 순위를 학습하도록 안내하는 보조 손실.
• 다양성 손실 ($L_{div}$): 전문가들의 출력 특징 분포 간 거리를 최대화함으로써 전문가들이 상호 보완적인 특징을 학습하도록 장려합니다.
• 게이트 밸런싱 손실 ($L_{gate}$): 읽기 모듈이 소수의 전문가에 과도하게 의존하는 것을 방지하여 배치 전반에 걸친 균등한 활용을 보장합니다.

주요 기여

1. 이종 MoE 아키텍처: I2V 전이를 위한 이종 MoE 프레임워크를 최초로 제안하여, 전문화된 전문가 네트워크를 서로 다른 시간 스케일에 명시적으로 결합함으로써 전문가 동질화를 제거합니다.
2. 콘텐츠 인식 다중 레이트 생성: 의미론적으로 풍부한 느린 레이트 스트림과 운동이 밀집된 빠른 레이트 스트림을 동적으로 생성하는 새로운 모듈로, 특정 전문가 기능에 맞춘 전문화된 입력을 제공합니다.
3. 양방향 융합 메커니즘: 공간 및 시간 경로 간의 시너지 정보 교환을 가능하게 하는 동적 상호작용 방식으로, 전체적인 비디오 표현을 생성합니다.

실험 결과

CLIP(ViT-B/16 및 ViT-L/14) 과 VideoMAEv2 를 백본으로 사용하여 Kinetics-400, UCF-101, HMDB-51, SomethingSomething V2 (SSv2) 네 가지 벤치마크에서 광범위한 실험이 수행되었습니다.

• 최첨단 성능: VidPrism 은 모든 데이터셋에서 우수한 성능을 달성했습니다. Kinetics-400 에서 MoTE 베이스라인을 ViT-B/16 기준 1.0%, ViT-L/14 기준 0.6% 상회했으며, 이는 동등한 계산 비용으로 달성되었습니다.
• 효율성: VidPrism 은 강력한 성능 - 효율성 균형을 보여주어, K400 에서 162 GFLOPs 로만 84.0% 의 Top-1 정확도를 달성했습니다. 이는 FocusVideo(204 GFLOPs) 와 같은 경쟁 방법보다 현저히 낮습니다.
• 퓨샷 학습: 이 프레임워크는 퓨샷 시나리오에서 뛰어난 적응력을 보여주었습니다. UCF-101 에서 VidPrism-M 변형 (VideoMAEv2 사용) 은 16 샷으로 96.6% 정확도의 새로운 최첨단 기록을 달성했습니다.
• 어블레이션 연구: 실험은 네 개의 전문가 (레이트 2, 4, 8, 16) 의 조합, 양방향 상호작용, 그리고 전역 어텐션 융합이 최상의 결과를 산출했음을 확인시켰습니다. 전문가 사용 시각화는 명확한 기능적 분업 구조를 드러냈으며, 서로 다른 행동 범주가 특정 전문가를 활성화하여 설계의 이종성을 검증했습니다.

의의

이 논문은 VidPrism 이 현재 비디오 이해 모델의 근본적인 한계, 즉 모든 시간적 정보를 균일하게 취급하는 비효율성을 해결한다고 주장합니다. 이종 전문가들 간의 기능적 분업을 개척함으로써 VidPrism 은 모델이 중요한 행동 순간에 집중하고 정적 의미론과 동적 운동을 효과적으로 포착할 수 있게 합니다. 이 연구는 동질적인 MoE 설계를 넘어 콘텐츠 인식형 다중 레이트 전문화 아키텍처로 나아가는 것이 이미지 - 비디오 전이 학습을 발전시키기 위한 실현 가능하고 효과적인 전략임을 보여주며, 진정한 전문가 전문화를 장려하면서 최첨단 결과를 달성합니다.