Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

기술 요약: Mamba 멀티모달 LLM을 강화하는 쿼리 기반 교차 모달 프로젝터

문제 정의
현재 멀티모달 대규모 언어 모델(MLLM)은 트랜스포머(Transformer) 아키텍처에 크게 의존하고 있으나, 이는 입력 시퀀스 길이에 따라 계산 및 메모리 복잡도가 이차적으로 증가하는 문제를 겪고 있습니다. 이러한 병목 현상은 MLLM의 확장성을 제한하며 지속 불가능한 계산 부하를 초조합니다. 선택적 스캔 구조적 상태 공간 모델(Selective Scan Structured State-Space Model, Mamba)은 선형 복잡도와 효율적인 추론을 제공하는 유망한 대안이지만, 멀티모달 모델링에 대한 적용은 아직 미개척 분야로 남아 있습니다. 특히, 기존의 Mamba 통합 시도는 두 가지 주요 과제에 직면해 있습니다: (1) 이미지 특징을 1D 시퀀스로 변환하기 위해 수동으로 휴리스틱한 2D 스캔 순서(예: 양방향 또는 교차 방향)를 설계해야 하는 필요성, 그리고 (2) 시각적 토큰 길이를 다운샘플링하는 데 있어 유연성 부족으로 인해, Mamba의 효율성 이점을 상쇄하는 과도한 시퀀스 길이가 발생하는 문제입니다.

방법론
저자들은 사전 학습된 비전 인코더와 Mamba 기반 LLM을 연결하는 쿼리 기반 교차 모달 프로젝터를 도입한 새로운 아키텍처인 Querying Mamba를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 구조화됩니다:

1. Q-Mamba 프로젝터 아키텍처:

   • 프로젝터는 Mamba 레이어, 교차 주의(cross-attention) 메커니즘, 그리고 피드포워드 네트워크로 구성된 Q-Mamba 블록의 스택을 활용합니다.
   • 학습 가능한 쿼리(Learnable Queries): 원시 이미지 토큰을 직접 처리하는 대신, 모델은 학습 가능한 쿼리 임베딩 세트를 사용합니다. 이 쿼리들은 교차 주의를 통해 프리징된(frozen) 사전 학습 비전 인코더(SigLIP)의 시각적 특징과 상호작용합니다.
   • 인과적 사전 지식(Causal Prior): 쿼리에 단방향 Mamba 레이어를 적용하여 인과적 의존성을 도입함으로써, 투영된 시퀀스가 LLM의 순차적 처리에 적합하도록 보장합니다.
   • 로컬 어텐션 마스크(Local Attention Mask): 교차 주의 메커니즘은 각 쿼리가 특정 시각적 구성 요소의 특정 부분 집합에만 집중하도록 하는 로컬 어텐션 마스크를 사용하여, 집중적인 특징 추출을 용이하게 합니다.

2. 시각적 토큰 압축 및 정렬:

   • 프로젝터는 2D 시각적 정보를 1D 인과적 토큰 시퀀스로 동적으로 압축합니다.
   • 학습 가능한 쿼리의 수를 조정함으로써, 모델은 수동적인 2D 스캔 순서 정의 없이도 시각적 특징 시퀀스 길이를 효과적으로 다운샘플링할 수 있습니다.

3. 멀티모달 Mamba LLM 학습:

   • 시스템은 사전 학습된 Mamba LLM(2.8B 파라미터)을 Q-Mamba 프로젝터를 통해 비전 인코더와 통합합니다.
   • 학습은 2단계 패러다임을 따릅니다:
     • 1단계 (정렬): 필터링된 시각적 지시 이행 데이터셋(CC3M)을 사용하여 프로젝터를 프리징된 LLM과 정렬합니다.
     • 2단계 (엔드투엔드 미세 조정): 시각-언어 통합을 강화하고 환각(hallucination)을 완화하기 위해 결합된 데이터셋(LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct)에서 프로젝터와 LLM을 모두 미세 조정합니다.

주요 기여

• Querying Mamba: 교차 주의와 학습 가능한 쿼리를 사용하여 시각적 토큰 길이를 적응적으로 다운샘플링함으로써, 휴리스틱한 2D 스캔 순서의 필요성을 제거하는 Mamba 기반 멀티모달 커넥터를 도입했습니다.
• 아키텍처 탐색: 양방향 Mamba를 이용한 전처리, 채널 믹싱을 위한 피드포워드 네트워크, 최적의 쿼리 시퀀스 길이 등 멀티모달 커넥터의 구성 요소에 대한 체계적인 조사를 수행했습니다.
• 포괄적 평가: 제안된 MLLM을 6가지 다양한 시각-언어 이해 작업에 대해 벤치마킹하여, 기존 Mamba 기반 MLLM 대비 성능과 처리량(throughput) 모두에서 개선을 입증했습니다.

실험 결과
제안된 모델은 VQAv2, GQA, VizWiz, VQAT, POPE, MMBench의 6개 벤치마크에서 평가되었습니다.

• 성능: 729개의 학습 가능한 쿼리를 사용한 모델이 가장 높은 전체 성능을 달 기록했으며, 대부분의 지표에서 최신 Mamba 기반 모델(Cobra 및 VL-Mamba)을 능가했습니다. 예를 들어, VQAv2에서 75.62, GQA에서 58.33의 점수를 기록했습니다.
• 쿼리 길이 분석: 쿼리 수를 128에서 256으로 늘리면 상당한 이득이 발생했습니다. 그러나 512와 729로 더 늘리면 수익 체감(diminishing returns) 현상이 나타났습니다. 특히, VizWiz(대답할 수 없는 질문)와 POPE(환각) 지표는 쿼리 크기와 역상관 관계를 보였는데, 이는 과도한 쿼리가 의사결정을 복잡하게 만드는 불필요한 데이터를 도입할 수 있음을 시사합니다.
• 처리량(Throughput): 동적 다운샘플링 기능은 계산 부하를 크게 줄였습니다. 제안된 모델은 Cobra(7.62/0.129) 및 VL-Mamba(7.26/0.152)에 비해 더 빠른 학습(5.52 sec/iter) 및 추론(0.095 sec/iter) 시간을 달성했습니다.
• 절제 연구(Ablation Studies):
  • 어텐션 메커니즘: 로컬 어텐션이 글로벌 어텐션보다 성능이 월등히 높았습니다.
  • 사전 학습: 학습된 VL-Mamba의 가중치를 양방향 커넥터에 활용하는 것이 처음부터 학습하는 것보다 성능을 향상시켰습니다.
  • 스캔 순서: 흥미롭게도 모델은 양방향 스캐닝으로 학습되었으나, 추론 시 순방향 스캔만을 사용해도 성능이 저하되지 않았으며, 어떤 경우에는 오히려 향상되었습니다.

의의 및 주장
본 논문은 제안된 쿼리 기반 교차 모달 프로젝터가 시각-언어 모델링을 위한 Mamba의 효율성을 효과적으로 강화한다고 주장합니다. 교차 주의를 통해 입력 컨텍스트에 따라 시각적 토큰을 압축함으로써, 이 아키텍처는 기존 Mamba 기반 비전 인코더의 한계였던 수동 설계된 2D 스캔 순서에 대한 의존성을 제거합니다. 저자들은 이 접근 방식이 Mamba 기반 MLLM의 성능과 처리량을 모두 향상시켜 멀티모달 작업을 위한 확장 가능한 솔루션을 제공한다고 단언합니다.

한계점
저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 데이터셋 제약: 학습 및 미세 조정 데이터셋(LLaVA-LLVIS, LLaVA-1.5)이 일반적으로 대규모 언어 모델에 사용되는 것보다 작아 일반화 능력이 제한될 수 있습니다.
• 학습 기간: 모델은 각 단계당 1 에포크(epoch) 동안만 학습되었으며, 이는 보통 2 에포크를 사용하는 비교 모델들과 달리 견고성에 영향을 미칠 수 있습니다.
• Mamba의 "망각(Forgetting)": Mamba의 순차적 은닉 상태 특성은 RNN과 유사하게 긴 입력에 대한 망각 문제를 일으킬 수 있습니다.
• 향후 연구: 저자들은 Q-Mamba의 더 광범-한 사전 학습(대조 학습 포함)과 컴팩트한 Mamba LLM 가중치를 통한 초기화가 성능을 더욱 개선할 수 있다고 제안합니다. 또한, 대규모 언어 모델에 내재된 편향과 환각의 가능성을 언급했습니다.