Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders

이 논문은 비전 트랜스포머 (ViT) 가 표준인 대규모 비전 - 언어 모델 (VLM) 에서 상태 공간 모델 (SSM) 을 비전 인코더로 사용할 경우, 더 작은 모델 규모로 동등하거나 우수한 성능을 달성할 수 있음을 체계적인 평가를 통해 입증하고 안정화 전략을 제안합니다.

핵심

이 논문은 **"시각 언어 모델 (VLM)"**이라는 인공지능이 이미지를 보고 이해할 때, 어떤 '눈' (비전 인코더) 을 쓰는 것이 가장 좋은지 연구한 내용입니다.

기존에는 대부분의 AI 가 **'비전 트랜스포머 (ViT)'**라는 특정 종류의 '눈'을 사용했는데, 이 논문은 **"아니, 혹시 '상태 공간 모델 (SSM, 예: VMamba)'이라는 새로운 종류의 '눈'이 더 나을 수도 있지 않을까?"**라고 질문하며 실험을 진행했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 연구의 배경: "눈"을 교체하는 실험

상상해 보세요. AI 는 **대형 언어 모델 (LLM)**이라는 '지적인 뇌'와 비전 인코더라는 '눈'으로 구성되어 있습니다.

• 뇌 (LLM): 언어를 이해하고 대답을 생성합니다.
• 눈 (비전 인코더): 이미지를 보고 특징을 뽑아내어 뇌에게 전달합니다.

기존에는 이 '눈'으로 무조건 ViT(트랜스포머) 계열을 썼습니다. 하지만 연구자들은 "ViT 가 항상 최강일까? 혹시 **SSM(VMamba)**이라는 새로운 '눈'이 더 잘 볼 수 있지 않을까?"라고 궁금해했습니다.

2. 핵심 실험: 공정한 대결 (Matched Setting)

연구자들은 공정한 비교를 위해 모든 조건을 똑같이 맞췄습니다.

• 비유: 두 명의 선수가 같은 코트에서, 같은 공을 가지고, 같은 규칙으로 경기를 하는 상황입니다.
• 결과: 놀랍게도 **SSM(VMamba)**이 ViT 보다 훨씬 잘했습니다. 특히 **"어디에 무엇이 있는지 찾는 능력 (로컬라이제이션)"**에서 VMamba 가 압도적이었습니다.
  • 예시: "왼쪽 구석에 있는 노란색 바지를 입은 사람"을 찾아달라고 했을 때, ViT 는 "사람"은 찾지만 위치가 흐릿할 수 있는 반면, VMamba 는 정확히 그 사람과 바지를 가리켰습니다.

3. 중요한 발견 1: "크기"와 "점수"는 거짓말할 수 있다

기존의 상식은 "모델이 크고, 이미지 분류 점수 (ImageNet 점수) 가 높을수록 AI 가 똑똑하다"였습니다. 하지만 이 논문은 이를 깨뜨렸습니다.

• 비유: 시험 점수가 100 점인 학생이 있다고 해서, 그 학생이 항상 "실제 상황 (이미지 속 사물 찾기)"을 잘 파악하는 건 아닙니다. 오히려 시험 문제만 너무 잘 풀어서 실제 상황에서는 엉뚱한 답을 할 수도 있습니다.
• 발견: ViT 계열은 모델이 커질수록 오히려 위치 파악 능력이 떨어지는 경우가 많았습니다. 반면 VMamba 는 상대적으로 작은 크기임에도 불구하고 더 뛰어난 성능을 보였습니다.

4. 중요한 발견 2: "훈련 목적"이 중요함

이미지를 분류하는 것 (고양이 vs 강아지) 만으로 훈련된 눈은, 사물의 위치를 정확히 파악하는 데 약점이 있었습니다.

• 비유: 단순히 "이게 사과야, 배야"만 구분하는 훈련을 받은 눈은, "사과가 테이블 왼쪽에 있어"라고 말해주기 어렵습니다.
• 해결책: 연구자들은 **물체 감지 (Detection)**나 세그멘테이션 (Segmentation) 훈련을 추가했습니다.
  • 결과: ViT 도 이 훈련을 받으면 성능이 좋아졌지만, VMamba 는 처음부터 이미 공간 감각이 좋아서 더 강력하게 성장했습니다.

5. 중요한 발견 3: "연결부"와 "화면 비율"의 문제 (붕괴 현상)

가장 흥미로운 부분은 '붕괴 (Collapse)' 현상이었습니다. 어떤 설정에서는 갑자기 AI 가 위치 파악을 전혀 못하게 되었습니다.

• 원인: 눈 (비전 인코더) 이 좋은 정보를 보내는데, **뇌 (LLM) 로 가는 통로 (커넥터)**가 좁거나, **화면 비율 (세로로 긴 이미지 등)**이 뇌가 이해하기 어려워서 정보가 뭉개진 것입니다.
• 해결책:
  1. 통로 넓히기: 정보를 전달하는 연결부 (커넥터) 를 더 강력하게 만들었습니다.
  2. 화면 비율 맞추기: 이미지를 네모반듯한 (정사각형) 형태로 맞추니 AI 가 정보를 훨씬 잘 이해했습니다.
  • 비유: 좋은 화질로 찍은 영상을 보내는데, TV 와 케이블이 안 맞거나 화면이 찌그러져 있으면 화질이 나빠지는 것과 같습니다. 이걸 고치니 성능이 급상승했습니다.

6. 결론: 왜 이 연구가 중요한가?

이 논문의 결론은 매우 명확합니다.

1. ViT 가 전부는 아니다: 이제까지 당연시되던 '비전 트랜스포머' 대신 **SSM(VMamba)**이 더 강력하고 효율적인 대안이 될 수 있습니다.
2. 작지만 강한 모델: 거대한 모델을 쓸 필요 없이, VMamba 같은 모델이 더 적은 계산량으로 더 좋은 결과를 냅니다.
3. 시스템 설계의 중요성: 좋은 '눈'만 있으면 되는 게 아니라, '눈'과 '뇌'를 연결하는 **방법 (인터페이스)**과 훈련 방식을 잘 맞춰주는 것이 핵심입니다.

한 줄 요약:

"AI 가 세상을 볼 때, 기존의 '트랜스포머'라는 안경 대신 'VMamba'라는 새로운 안경을 끼고, 네모난 화면으로 보이며 연결 고리를 튼튼히 해주면, 훨씬 똑똑하고 정확한 답변을 할 수 있습니다!"

기술 요약

논문 요약: VLM 은 Vision Transformer 가 필요한가? (Do VLMs Need Vision Transformers?)

이 논문은 대규모 시각 - 언어 모델 (VLM) 의 비전 백본 (Vision Backbone) 으로 표준적으로 사용되는 Vision Transformer (ViT) 대신 상태 공간 모델 (State Space Models, SSM) 을 사용할 수 있는지, 그리고 그 성능이 어떠한지를 체계적으로 평가한 연구입니다.

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 표준: 최신 VLM 은 일반적으로 프리트레인된 비전 인코더 (주로 ViT 계열) 를 고정 (frozen) 하고, 이를 LLM 의 임베딩 공간에 매핑하는 경량 커넥터 (connector) 를 통해 결합하는 모듈식 아키텍처를 따릅니다.
• 문제점:
  • 대부분의 연구가 ViT 계열에 집중되어 있어, 다른 아키텍처 (예: SSM) 의 잠재력을 평가하기 어렵습니다.
  • 기존 비교 연구들은 비전 프리트레인 목적, 멀티모달 파이프라인, 해상도, 토큰화 설정 등 여러 요소를 동시에 변경하여 아키텍처 자체의 효과를 분리해 내기 어렵습니다.
  • VLM 이 이미지 내의 공간적 정보 (localization) 를 효과적으로 활용하는 데 ViT 가 최선인지, 그리고 더 효율적인 대안이 존재하는지 불명확합니다.
• 연구 질문: "ViT 기반 인코더 대신 SSM 기반 인코더 (VMamba 등) 를 사용하면 VLM 성능, 특히 공간적 grounding 과 localization 성능이 향상될 수 있는가?"

2. 방법론 (Methodology)

저자들은 LLaVA 스타일의 VLM 아키텍처를 기반으로 한 엄격하게 통제된 실험 환경을 구축했습니다.

• 통제된 실험 설정 (Controlled Setting):
  • 비전 인코더만 교체하고, 커넥터와 LLM (Vicuna-7B) 은 고정했습니다.
  • 모든 모델은 동일한 인스트럭션 튜닝 (Instruction Tuning) 레시피와 데이터 (665K 예시) 를 사용했습니다.
  • 비교 대상: ViT, MaxViT, MambaVision (하이브리드), 그리고 순수 SSM 인 VMamba를 비교했습니다.
• 실험 regimes:
  1. 매칭된 IN1K/224 백본 스왑: ImageNet-1K 에서 224x224 해상도로 사전 훈련된 모델들을 동일한 토큰 수 (196 개) 로 비교.
  2. 밀도 객체 (Dense Objectives) 적응: 탐지 (Detection, COCO) 또는 분할 (Segmentation, ADE20K) 태스크로 추가 파인튜닝된 모델들을 평가.
• 실패 모드 진단 및 안정화:
  • 일부 고해상도 탐지 적응 모델에서 발생하는 'localization collapse'(지정 위치 성능 급락) 현상을 분석했습니다.
  • 원인 분석: 비전 - 언어 인터페이스의 병목 현상 (Transmission bottleneck: 커넥터 용량 부족, Utilization bottleneck: LLM 의 공간 정보 활용 실패) 을 가정했습니다.
  • 해결책: (1) 커넥터 용량 증가 (MLP 레이어 추가), (2) 입력 기하학 변경 (비정사각형 입력을 정사각형 512x512 로 변경) 을 통한 안정화 전략을 제안했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 백본 평가: Transformer, SSM, 하이브리드 아키텍처 간의 엄격한 백본 스왑 평가를 통해 SSM 기반 비전 인코더의 잠재력을 입증했습니다.
2. SSM 의 우월성 입증: 매칭된 설정에서 VMamba 기반 VLM 이 ViT 계열보다 Grounding 및 Localization 성능에서 일관되게 우월하며, VQA 성능에서도 경쟁력 있음을 보였습니다.
3. 새로운 통찰:
   • ImageNet 정확도나 단순한 모델 크기 확장이 반드시 VLM 성능 향상으로 이어지지 않음을 발견했습니다.
   • 일부 고해상도 탐지 적응 모델에서 발생하는 'localization collapse' 현상을 진단하고, 이를 해결하는 간단한 안정화 전략 (커넥터 강화 및 정사각형 입력 사용) 을 제시했습니다.
4. 디자인 가이드라인: VLM 성능은 (1) 백본 아키텍처, (2) 프리트레인 목적, (3) 비전 - 언어 인터페이스 (커넥터 및 입력 기하학) 의 세 가지 요소가 결합되어 결정됨을 강조했습니다.

4. 주요 결과 (Results)

A. 매칭된 IN1K/224 설정 (Matched Setting)

• VMamba 의 우세: VMamba (T/S/B) 는 ViT, MaxViT, MambaVision 보다 전반적인 성능이 가장 높았습니다.
• Localization: VMamba-T/S 는 모든 Grounding 벤치마크 (RefCOCO 등) 에서 ViT 계열을 압도적으로 능가했습니다.
• VQA: VMamba 는 VQA 벤치마크에서도 최상위권을 기록했습니다.
• 패러독스: ViT 계열에서는 ImageNet 정확도가 높을수록 VLM 성능이 오히려 떨어지는 경향이 있었으나, VMamba 는 작은 규모에서 높은 성능을 보였습니다.

B. 밀도 객체 적응 (Dense Objectives Adaptation)

• 탐지/분할 적응 효과: 탐지 (COCO) 나 분할 (ADE20K) 태스크로 추가 훈련된 모델들은 VQA 와 Localization 성능이 전반적으로 향상되었습니다.
• Collapse 현상: ViTDet-L/H 및 VMamba-T/B 등 일부 모델은 고해상도 탐지 적응 시 Localization 성능이 급격히 떨어지는 'collapse' 현상을 보였습니다.
• 안정화 전략의 효과:
  • 커넥터 강화 (3-layer MLP): 일부 collapse 사례를 복구했습니다.
  • 정사각형 입력 (512x512): 비정사각형 (예: 1333x800) 입력을 정사각형으로 변경하면 VMamba-T/B 의 collapse 가 완전히 해결되었으며, 오히려 ImageNet 기반 VMamba 보다 더 좋은 성능을 기록했습니다.
  • 결합 전략: 커넥터 강화와 정사각형 입력을 모두 적용했을 때 가장 일관된 성능 향상을 보였습니다.

C. 효율성 분석

• 추론 비용: VMamba 는 ViT 와 유사한 규모의 모델 크기에서 ViT 와 비슷한 추론 효율성을 보이지만, 더 높은 해상도에서 더 효율적으로 스케일링되는 경향이 있었습니다.
• 메모리: ViTDet 과 같은 대형 모델은 메모리 한계에 더 빨리 도달하는 반면, VMamba 는 더 넓은 스케일링 여지를 가집니다.

5. 의의 및 결론 (Significance & Conclusion)

• ViT 의 대안 제시: 이 연구는 VLM 의 비전 백본으로 ViT 가 필수적이지 않으며, SSM 기반의 VMamba 가 더 강력하고 효율적인 대안이 될 수 있음을 증명했습니다.
• 공간 정보 보존: SSM 은 2D 격자 구조를 기반으로 한 상태 공간 업데이트를 통해 ViT 의 위치 인코딩에 의존하지 않고도 공간적 구조를 더 잘 보존하여, VLM 이 세부적인 공간적 추론 (Grounding) 을 수행하는 데 유리합니다.
• 실용적 가이드: 단순히 모델 크기나 ImageNet 점수만 보고 백본을 선택하는 것은 위험할 수 있으며, 비전 - 언어 인터페이스의 안정성 (커넥터 용량, 입력 기하학) 이 VLM 성능에 결정적인 역할을 함을 강조합니다.
• 미래 방향: SSM 기반 비전 인코더는 VLM 설계에서 중요한 옵션이 되었으며, 향후 Contrastive 학습이나 Self-supervised 학습과 결합된 SSM 백본 연구가 유망한 방향으로 제시됩니다.

요약하자면, 이 논문은 SSM 기반 비전 인코더 (VMamba) 가 ViT 대비 공간적 이해와 Localization 성능에서 우월하며, 적절한 인터페이스 안정화 전략을 통해 VLM 의 강력한 백본이 될 수 있음을 체계적인 실험을 통해 입증했습니다.