Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs

이 논문은 다양한 비전 인코더의 시각 토큰을 효과적으로 통합하는 경량화된 설계 원칙을 제안하고, 이를 적용한 'LEO'라는 새로운 아키텍처가 다양한 벤치마크와 자율주행 도메인에서 기존 혼합 비전 인코더 (MoVE) 기반 모델보다 우수한 성능을 보임을 입증합니다.

핵심

📸 "레오 (Leo)": 여러 개의 눈을 가진 똑똑한 AI 의 이야기

이 논문은 **'멀티모달 대형 언어 모델 (MLLM)'**이라는 AI 의 눈을 더 똑똑하게 만드는 방법에 대한 연구입니다. 기존 AI 는 한 가지 시야만 가지고 있어 복잡한 그림이나 긴 글자를 읽는 데 어려움을 겪곤 했는데요. 이 연구는 **"여러 개의 서로 다른 전문가 (시각 인코더) 를 한 팀으로 묶어서 함께 일하게 하자"**는 아이디어를 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "한 명의 천재보다 여러 명의 전문가가 낫다"

기존 AI 는 마치 한 명의 사진작가처럼 작동했습니다. 이 사진작가는 풍경은 잘 찍지만, 작은 글씨를 읽는 데는 서툴렀고, 복잡한 차분한 표를 분석하는 데는 약했습니다.

이 연구는 "여러 명의 전문가를 한 팀으로 모아서 (Mixture of Vision Encoders)" 문제를 해결하려 했습니다.

• 전문가 A: 전체적인 분위기 파악을 잘함 (예: CLIP, InternViT)
• 전문가 B: 작은 부분이나 경계선을 잘 파악함 (예: SAM, DINOv2)

하지만 문제는 이 전문가들을 어떻게 함께 일하게 하느냐였습니다. 단순히 목소리를 합치거나, 서로 말을 섞게 하는 방식마다 결과가 달랐죠.

2. 해결책: "레오 (Leo)"라는 새로운 팀 구성법

저자들은 수많은 실험을 통해 **"가장 효율적인 팀워크 방식"**을 찾아냈고, 이를 **레오 (Leo)**라는 AI 에 적용했습니다. 레오의 비법은 크게 세 가지입니다.

① "퍼즐 조각으로 나누어 보기" (Dynamic Tiling)

고해상도 이미지를 한 번에 다 보면 AI 가 기억할 수 있는 양 (컨텍스트) 을 넘쳐버립니다.

• 비유: 거대한 벽화를 한 번에 보려고 하면 다 보이지 않죠? 대신 벽화를 작은 퍼즐 조각 (Tile) 으로 잘라서 하나씩 자세히 보고, 마지막에 전체 그림 (Global Context) 을 한 번 더 보게 합니다.
• 효과: 작은 글씨나 복잡한 디테일도 놓치지 않고, 전체적인 맥락도 이해하게 됩니다.

② "줄 서서 번갈아 가며 말하기" (Tile-level Sequence Interleaving)

여러 전문가의 의견을 어떻게 합칠까요?

• 잘못된 방법: 전문가 A 가 다 말하고 전문가 B 가 다 말하는 것 (순서대로 붙이기).
• 잘못된 방법: 전문가 A 와 B 의 말을 섞어서 한 문장으로 만드는 것 (채널 연결).
• 레오의 방법: A 의 첫 번째 말, B 의 첫 번째 말, A 의 두 번째 말, B 의 두 번째 말... 이렇게 줄 서서 번갈아 가며 (Interleaving) 정보를 섞습니다.
• 비유: 두 사람이 대화할 때, 한 사람이 다 말하고 다른 사람이 듣는 게 아니라, 대화를 주고받으며 서로의 생각을 자연스럽게 섞는 것처럼요. 이렇게 하면 AI 가 두 전문가의 정보를 가장 균형 있게 이해합니다.

③ "각자 준비하고 나서 합치기" (Post-adaptation Fusion)

전문가들이 AI 의 언어 (LLM) 를 이해하도록 가르치는 시점을 언제로 할까요?

• 기존 방식: 전문가들이 서로 먼저 합쳐서, 그 다음에 AI 언어를 배우게 함.
• 레오의 방식: 각 전문가가 AI 언어를 따로따로 완벽하게 배운 뒤, 서로 합칩니다.
• 비유: 두 명의 외국인이 서로 먼저 대화하는 게 아니라, 각자 한국어를 유창하게 배운 뒤 함께 팀을 이루는 것과 같습니다. 이렇게 하면 각자의 고유한 특징 (전문성) 을 잃지 않으면서도 더 잘 소통할 수 있습니다.

3. 결과: "작지만 강력한 레오"

레오는 이 세 가지 비법만 적용했을 뿐, 다른 복잡한 장치를 추가하지 않았습니다.

• 성적: 복잡한 문서 읽기 (OCR), 차트 분석, 자율주행 상황 판단 등 다양한 시험에서 기존에 여러 전문가를 썼던 다른 AI 들보다 더 좋은 점수를 받았습니다.
• 효율성: 더 적은 데이터와 더 적은 계산 능력으로도 더 똑똑한 결과를 냈습니다. 마치 고급 레스토랑의 셰프 5 명을 고용하는 대신, 실력 있는 셰프 2 명이 최고의 레시피로 요리하는 것처럼 효율적입니다.

4. 자율주행에서의 활약

레오는 단순히 그림만 잘 보는 게 아니라, 자율주행이라는 특수한 분야에서도 빛을 발했습니다.

• 상황: "앞에 보행자가 있는데, 차를 멈춰야 할까?"
• 레오의 답변: "네, 멈춰야 합니다. 보행자가 횡단보도를 건너고 있으니까요."
• 의의: 별도의 복잡한 수정 없이도, 레오는 도로 상황의 미세한 차이 (자전거, 보행자, 신호등) 를 정확히 파악하고 안전한 결정을 내렸습니다.

🌟 요약

이 논문은 **"AI 를 더 똑똑하게 만드는 것은 무조건 더 큰 모델을 만드는 게 아니라, 기존 전문가들을 어떻게 잘 팀워크하게 하느냐에 달려있다"**는 것을 증명했습니다.

**레오 (Leo)**는 여러 개의 눈을 가진 AI 가 서로의 시야를 퍼즐처럼 나누고, 번갈아 말하며, 각자 준비한 뒤 합치는 간단한 but 강력한 방식을 통해, 복잡한 세상을 더 잘 이해하고 인간을 도와주는 똑똑한 파트너가 되었습니다.

기술 요약

논문 개요

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 의 정밀한 시각 이해 능력을 향상시키기 위해 등장한 비전 인코더 혼합 (Mixture of Vision Encoders, MoVE) 패러다임의 설계 원칙을 체계적으로 재검토합니다. 저자들은 기존 MoVE 모델들이 직면한 고해상도 입력 처리와 다양한 인코더 간의 효율적인 토큰 통합의 과제를 해결하기 위해, 복잡한 아키텍처보다는 경량화되고 원리 기반의 설계가 더 효과적임을 입증하고 이를 바탕으로 Leo라는 새로운 모델을 제안합니다.

1. 문제 정의 (Problem)

• 정밀한 시각 이해의 한계: 기존 MLLM 은 CLIP 과 같은 사전 학습된 비전 인코더와 LLM 을 정렬하여 다양한 작업을 수행하지만, 복잡한 광학 문자 인식 (OCR), 차트 이해, 고해상도 장면 분석과 같은 세밀한 시각적 정보가 필요한 작업에서는 여전히 한계를 보입니다.
• MoVE 의 비효율성: 최근 여러 비전 인코더를 혼합하여 성능을 높이는 MoVE 접근법이 등장했으나, 인코더 간의 토큰을 어떻게 통합할지 (병합 전략), 언제 융합할지 (적응 전/후), 그리고 고해상도 입력을 어떻게 처리할지에 대한 체계적인 연구가 부족합니다. 많은 기존 연구가 복잡한 융합 메커니즘 (예: 크로스 어텐션) 에 의존하거나 인코더 수를 무작정 늘리는 방식에 집중하여, 설계의 본질적인 효율성이 간과되었습니다.

2. 방법론 (Methodology)

저자는 MoVE 기반 MLLM 의 설계에 영향을 미치는 세 가지 핵심 요소를 체계적으로 실험 (Ablation Study) 하여 최적의 설계 원칙을 도출했습니다.

A. 핵심 실험 및 발견 (Empirical Insights)

1. 동적 타일링과 전역 컨텍스트 (Tiled MoVE, D1):
   • 고해상도 이미지를 처리하기 위해 이미지를 여러 타일 (Tile) 로 분할하는 방식과 MoVE 를 결합했습니다.
   • 결과: 고정된 그리드나 단순한 분할보다 동적 타일링 (Dynamic Tiling) 이 가장 우수했습니다. 동적 타일링은 이미지의 종횡비에 맞춰 타일 수와 배치를 적응적으로 조정하며, 전역 컨텍스트 (전체 이미지 썸네일) 를 함께 제공하여 세부 정보를 유지하면서도 토큰 수를 제한합니다.
2. 토큰 병합 전략 (Token Merging Strategies, D2):
   • 두 인코더에서 추출된 토큰을 어떻게 합칠지 비교했습니다 (시퀀스 연결, 시퀀스 인터리빙, 채널 연결, 크로스 어텐션).
   • 결과: 복잡한 크로스 어텐션이나 채널 연결보다 단순한 타일 수준의 시퀀스 인터리빙 (Tile-level Sequence Interleaving) 이 가장 우수한 성능을 보였습니다. 이는 공간적 관계를 유지하면서 인코더 간 정보를 균형 있게 통합하기 때문입니다.
3. 융합 타이밍 (Fusion Timing, D3):
   • 인코더 출력을 LLM 공간에 정렬하기 전 (Pre-adaptation) 에 병합할지, 각 인코더가 독립적으로 정렬된 후 (Post-adaptation) 병합할지 비교했습니다.
   • 결과: 각 인코더에 전용 프로젝터 (Independent Projectors) 를 사용하여 적응 후 (Post-adaptation) 융합하는 방식이 가장 효과적이었습니다. 이는 각 인코더의 고유한 특징을 보존한 상태에서 정렬된 표현을 융합함으로써 더 강력한 멀티모달 추론을 가능하게 합니다.

B. 제안 모델: Leo

위에서 도출된 세 가지 원칙을 통합하여 Leo라는 경량 MoVE 기반 MLLM 을 구축했습니다.

• 아키텍처:
  1. 동적 타일링: 고해상도 입력을 처리하고 세부 정보를 보존합니다.
  2. 타일 수준 시퀀스 인터리빙: 효율적이고 균형 잡힌 토큰 통합을 수행합니다.
  3. 적응 후 융합 (Post-adaptation Fusion): 각 인코더 (InternViT 와 SAM) 에 독립적인 프로젝터를 사용하여 특징을 정렬한 후 융합합니다.
• 특징: 복잡한 어텐션 메커니즘이나 추가적인 라우팅 모듈 없이도, 단순하고 효율적인 설계로 높은 성능을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 MoVE 설계 연구: 비전 인코더 혼합 모델의 성능을 결정하는 핵심 요소 (타일링, 병합 전략, 융합 타이밍) 에 대한 체계적인 실험을 수행하고, 복잡한 설계보다 단순하고 원리 기반의 설계가 더 효과적임을 입증했습니다.
2. Leo 모델 제안: 위 원칙을 적용한 경량 MoVE MLLM 인 Leo 를 개발하여 고해상도 시각 추론을 위한 효율적인 레시피를 제시했습니다.
3. 광범위한 벤치마크 평가: 11 개의 다양한 비전 - 언어 벤치마크에서 기존 MoVE 모델 (Eagle, Brave, LLaVA-HR 등) 보다 우수한 성능을 입증했습니다.
4. 도메인 일반화 능력: 아키텍처나 학습 레시피를 변경하지 않고도 자율주행 (Autonomous Driving) 도메인 (LingoQA 벤치마크) 에 효과적으로 적용되어 경쟁력 있는 성능을 보여주었습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 11 개 벤치마크 중 7 개에서 최상위 성능을 기록했습니다. 특히 DocVQA (80.1), ScienceQA (78.5), ChartQA (+3.2% 향상) 등에서 기존 모델 대비 큰 개선을 보였습니다.
• 효율성: Eagle-X3 와 같은 경쟁 모델에 비해 비전 인코더 파라미터 수를 약 60% 줄였음 (612M vs 1460M) 에도 불구하고, 생성 시간 (Generation Time) 은 19.6% 단축되고 FLOPs 는 61.6% 감소하여 효율성이 매우 뛰어납니다.
• 자율주행 적용: LingoQA 벤치마크에서 폐쇄형 소스 모델 (LingoQA) 과 경쟁하는 성능을 보였으며, METEOR 및 CIDEr 지표에서 기존 오픈소스 베이스라인을 모두 능가했습니다.
• 데이터 효율성: Eagle 모델보다 적은 양의 학습 데이터 (1M vs 1.8M) 로도 동등하거나 더 나은 성능을 달성하여, 데이터 규모보다 설계의 중요성을 강조했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MoVE 기반 MLLM 의 발전 방향에 중요한 통찰을 제공합니다. 단순히 인코더를 늘리거나 복잡한 융합 메커니즘을 도입하는 것이 아니라, 동적 타일링, 시퀀스 인터리빙, 적응 후 융합과 같은 기본적이지만 결정적인 설계 선택이 모델 성능을 극대화한다는 것을 증명했습니다.

Leo는 계산 자원이 제한된 환경에서도 고해상도 이미지의 정밀한 이해와 복잡한 추론이 가능함을 보여주며, 특히 자율주행과 같은 특수 도메인으로의 원활한 전이 (Transfer) 능력을 통해 모델의 일반화 능력을 입증했습니다. 이는 향후 멀티모달 모델 설계에 있어 "복잡함"보다 "원리 기반의 단순함"이 더 강력한 해결책이 될 수 있음을 시사합니다.