기술 요약: UniMVU – 멀티모달 비디오 이해를 위한 지시 인식 게이트

1. 문제 제기

사전 훈련된 비디오 대형 언어 모델 (Video LLM) 은 RGB 프레임과 텍스트 지시를 사용하여 시각적 추론에서 강력한 능력을 입증해 왔습니다. 그러나 오디오, 깊이 맵, 또는 밀집된 시간적 증거와 같은 보조 스트림이 동반된 비디오를 처리할 때는 상당한 어려움에 직면합니다.

식별된 핵심 문제는 모달리티 간섭입니다. 현재 접근 방식에서는 보조 스트림이 종종 균일하게 융합되거나 추가 토큰으로 연결됩니다. 이러한 정적 융합 전략은 각 모달리티에 고정된 중요도를 가정하여, 모달리티의 관련성이 질문 (query) 에 의존적이라는 사실을 반영하지 못합니다. 예를 들어, 오디오는 음성이나 악기에 관한 질문에는 중요하지만 색상 인식에는 노이즈로 작용합니다. 깊이 단서는 공간적 배치를 위해 필수적이지만 외관 중심의 질문에는 중복됩니다. 균일한 융합은 관련 없는 채널이 모델을 방해하게 하여 최적의 성능을 저해합니다. 기존 방법들은 종종 명시적으로 스트림 내의 어느 토큰을 강조할지와 특정 지시에 기반하여 어떤 스트림을 우선시할지라는 두 가지 질문에 대응하지 않는 암시적 디코더 어텐션 또는 작업별 상호작용 모듈에 의존합니다.

2. 방법론: UniMVU

저자들은 LLM 디코딩 전에 다양한 모달리티 (비디오, 오디오, 깊이/3D, 밀집된 시간적 정보) 간 지시 인식 융합을 수행하도록 설계된 통합 멀티모달 비디오 이해 프레임워크인 UniMVU를 제안합니다. 이 프레임워크는 텍스트 지시에 조건부로 작동하는 2 단계 동적 게이트 메커니즘을 사용합니다.

아키텍처 개요

UniMVU 는 모달리티별 인코더와 프로젝터를 모달리티 균형 융합 (Modality Balanced Fusion) 블록과 통합한 후, 고정되거나 LoRA 적응된 LLM 으로 연결합니다. 융합 블록은 세 가지 주요 구성 요소로 이루어집니다:

1. 통합 토큰 시퀀스 및 교차 모달리티 자기 어텐션:

   • 모든 입력 (비디오, 오디오, 깊이 등) 은 공통 임베딩 공간으로 투영되어 텍스트 지시 토큰과 함께 통합된 시퀀스로 연결됩니다.
   • 교차 모달리티 자기 어텐션 레이어는 지시 토큰과 모달리티 토큰 간의 상호작용을 가능하게 합니다. 중요한 점은, 이 레이어 후 지시 토큰이 "손대지 않은" 상태로 유지 (원래 임베딩으로 교체됨) 되어 노이즈가 있는 모달리티 특징이 지시 표현을 교란하는 것을 방지함으로써, 모달리티가 텍스트에 조건부로 작용하는 일방향 정보 흐름을 보장한다는 것입니다.

2. 지시 주도 내부 모달리티 게이트 (특징 수준):

   • 이 모듈은 각 모달리티 내부의 토큰 시퀀스를 정제합니다.
   • 교차 모달리티 레이어의 어텐션 맵을 활용하여 지시에 대한 각 토큰의 관련성을 계산합니다.
   • 지시 토큰에서 콘텐츠 토큰으로의 어텐션 질량이 각 모달리티 내에서 집계 및 정규화되어 토큰 수준 가중치 ($w_{m,t}$) 를 생성합니다. 이는 스트림 내 중요한 영역을 강조하고 관련 없는 영역을 억제합니다.

3. 지시 주도 모달리티 수준 게이트 (스트림 수준):

   • 이 모듈은 각 전체 모달리티 스트림에 전역 가중치를 할당합니다.
   • 각 모달리티의 스트림 내용을 요약하기 위해 학습 가능한 제어 토큰($t_c$) 이 도입됩니다.
   • 지시 토큰과 이러한 제어 토큰 간의 어텐션은 각 모달리티에 대한 스칼라 중요도 점수 ($\eta_m$) 를 생성합니다.
   • 이러한 점수는 정규화되어 모달리티 수준 게이트 계수 ($\beta_m$) 를 생성합니다.

융합 메커니즘:
모달리티 $m$에 대한 최종 표현은 잔차 정제로 계산됩니다:
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
여기서 $O_m$은 자기 어텐션 레이어의 출력입니다. 이 설계는 원래 증거가 (잔차 $O_m$을 통해) 보존되는 동시에 지시 관련 토큰과 스트림이 증폭되도록 보장합니다. 게이트는 하드 스위치가 아닌 소프트 재가중 신호로 작용하여 잠재적으로 유용한 증거가 폐기될 위험을 줄입니다.

훈련 및 확장성:

• 모달리티 인코더는 고정된 상태로 유지되며, 프로젝터, 융합 블록, 그리고 LLM 내의 LoRA 어댑터만 훈련됩니다.
• 이 프레임워크는 통합 멀티태스크 훈련을 지원하여, 단일 체크포인트가 오디오 - 시각, 3D, 비디오 QA 등 다양한 데이터셋에서 작업별 연결자 없이 훈련됩니다. 누락된 모달리티는 마스킹되고, 게이트는 사용 가능한 스트림에 대해 재규격화됩니다.

3. 주요 기여

• 통합 프레임워크: 수동으로 설계된 융합 규칙 없이 혼합 모달리티 입력 (비디오, 오디오, 깊이/3D, 밀집된 시간적 정보) 을 처리하고 다양한 모달리티 구성에 걸쳐 일반화할 수 있는 단일 모델.
• 2 단계 동적 게이트: 토큰 수준(내부 모달리티) 과 스트림 수준(모달리티 수준) 에서 모두 작동하여 질문에 기반하여 모달리티 중요도를 적응적으로 균형 잡는 지시 주도 메커니즘.
• 해석 가능성: 게이트 메커니즘이 인간이 해석 가능한 모달리티 관련성 (예: 음향 질문에 대한 오디오 상향 가중치) 과 일치하여 투명한 결정 표면을 제공합니다.
• 확장성: 이 접근 방식은 다양한 모델 크기 (0.5B 및 7B) 로 확장 가능하며, 오디오 - 시각, 3D, 또는 밀집 비디오 작업을 위한 별도의 연결자가 필요하지 않고 여러 작업 계열에 걸친 통합 훈련을 지원합니다.

4. 실험 결과

저자들은 UniMVU 를 AVQA, AVSD, Music-AVQA(오디오 - 시각), ScanQA, SQA3D(3D), MVBench(비디오) 등 여섯 가지 벤치마크에서 평가했습니다.

• 성능 향상: UniMVU 는 정적 융합 베이스라인 (특히 PAVE 및 LLaVA-OV 변형) 일관적으로 능가했습니다.
  • Music-AVQA에서 UniMVU 는 PAVE 대비 0.5B 모델에서 전체 정확도 +4.6%, 7B 모델에서 +1.8% 개선을 달성했습니다.
  • AVSD에서는 0.5B 모델에서 CIDEr 점수 +12.2, 7B 모델에서 +13.5 포인트 향상을 기록했습니다.
  • SQA3D에서 UniMVU 는 0.5B 모델에서 EM@1 을 +6.7 개선했으며, "무엇 (What)" 및 "어떻게 (How)" 질문에서 상당한 향상을 보였습니다.
  • MVBench에서 통합 모델 (UniMVU†) 은 최상의 평균 점수를 달성했으며, 특히 0.5B 규모에서 행동 예측 (+21.0) 및 행동 시퀀스 (+16.5) 와 같이 시간적 요구가 높은 하위 작업에서 큰 향상을 보였습니다.
• 통합 훈련: 모든 작업에 걸쳐 공동으로 훈련된 단일 체크포인트 (UniMVU†) 는 강력한 성능을 유지하여, 게이트 인터페이스가 서로 다른 작업 계열 간에 모달리티 선택 행동을 성공적으로 전이함을 입증했습니다.
• 애블레이션 연구:
  • 내부 모달리티 게이트 또는 모달리티 수준 게이트 중 하나를 제거하면 성능이 저하되어 두 수준의 필요성이 확인되었습니다.
  • 단일 통합 제어 토큰을 사용하는 것이 모달리티별 토큰을 사용하는 것보다 성능이 우수했습니다.
  • 게이트 공식의 잔차 연결이 결정적이었으며, 이를 제거하면 성능이 저하되었습니다.
  • 파라미터 없는 게이트 (어텐션 점수를 직접 사용) 가 학습된 MLP 또는 교차 어텐션 스코어링 헤드보다 성능이 우수하여, 어텐션에서 유도된 점수가 강력한 귀납적 편향을 제공함을 시사했습니다.

5. 중요성 및 주장

이 논문은 UniMVU 가 지시 인식 멀티모달 비디오 이해를 위한 간단하고 통합된 레시피를 제공한다고 주장합니다. 그 주요 중요성은 LLM 이 답변을 생성하기 전에 지시에 기반하여 정보를 명시적으로 라우팅함으로써 모달리티 간섭을 해결하는 데 있습니다.

• 간섭 완화: 스트림과 토큰을 동적으로 재가중함으로써, 모델은 균일한 융합의 한계인 관련 없는 모달리티가 디코더를 방해하는 것을 방지합니다.
• 일반화: 이 프레임워크는 오디오, 3D, 밀집 비디오와 같은 이질적인 입력을 별도의 작업별 아키텍처 없이 단일 게이트 인터페이스로 처리할 수 있음을 입증합니다.
• 효율성 및 투명성: 이 방법은 경량화되어 (최소한의 파라미터 추가) 있으며, 게이트 가중치가 질의가 요구하는 특정 증거 유형에 대한 모델의 초점을 직접 반영하므로 해석 가능성이 높습니다.

저자들은 UniMVU 가 비디오 LLM 이 동기화된 보조 스트림을 더 잘 활용하도록 하여 다양한 벤치마크에서 최첨단 결과를 달성하면서도 향후 멀티모달 통합을 위한 확장 가능한 경로를 제공한다고 결론지었습니다.