Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

이 논문은 ICLR 2026 에 제출된 것으로, **다중 비전 인코더 (Multiple Vision Encoders) 를 사용하는 멀티모달 대규모 언어 모델 (MLLM) 에 존재하는 심층적인 중복성 (Redundancy)**을 체계적으로 분석하고 정량화한 연구입니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 경향: 최근 MLLM 들은 성능 향상을 위해 서로 다른 사전 학습 목표나 아키텍처를 가진 여러 개의 비전 인코더를 통합하는 추세입니다. 이는 다양한 시각적 신호 (전역 의미, 세부 픽셀 정보 등) 를 보완적으로 활용하기 위함입니다.
• 가설의 실패: 저자들은 "더 많은 인코더가 항상 더 좋은 성능을 낸다"는 가정이 실제로는 자주 실패한다고 주장합니다.
• 핵심 문제: 여러 인코더가 서로 겹치는 정보 (중복) 나 상충되는 신호를 제공하여, 오히려 성능 저하를 초래하거나 계산 자원을 비효율적으로 사용하게 만든다는 인코더 중복성 (Encoder Redundancy) 문제를 제기합니다.

2. 방법론 (Methodology)

저자는 이 문제를 해결하기 위해 다음과 같은 체계적인 접근 방식을 취했습니다.

• 시스템적 마스킹 (Systematic Masking): 대표적인 다중 인코더 MLLM (Eagle, Cambrian-1 등) 에서 특정 인코더를 하나씩 또는 여러 개씩 제거 (마스킹) 하고, 다양한 벤치마크에서의 성능 변화를 측정했습니다.
• 새로운 정량적 지표 도입:
  1. 조건부 활용률 (Conditional Utilization Rate, CUR): 다른 인코더들이 존재할 때 특정 인코더가 기여하는 한계 기여도 (Marginal Contribution) 를 측정합니다.
     • CUR > 0: 유용한 기여
     • CUR ≈ 0: 중복성 존재
     • CUR < 0: 해로운 기여 (성능 저하 유발)
  2. 정보 격차 (Information Gap, IG): 모델 내 모든 인코더의 CUR 값 중 최댓값과 최솟값의 차이로 정의됩니다. 이는 인코더 간 기여도의 불균형 정도를 나타내며, IG 가 크면 일부 인코더가 지배적이고 나머지는 거의 쓰이지 않음을 의미합니다.

3. 주요 실험 결과 (Key Results)

• 중복성의 보편성: 다양한 모델에서 특정 인코더를 제거해도 성능이 크게 떨어지지 않거나, 오히려 성능이 향상되는 경우가 빈번하게 관찰되었습니다.
  • 예: Eagle-X5 7B 모델에서 3 개의 인코더를 제거했을 때 성능이 4% 미만만 감소하거나, Cambrian-1 8B 의 경우 특정 3 개 인코더 조합이 전체 4 개 인코더 모델보다 1.7% 더 높은 성능을 보였습니다.
• 작업별 특성화 (Specialization):
  • OCR 및 차트 (Chart) 작업: 특정 인코더 (예: EVA-02, ConvNext) 가 CUR 90% 이상으로 압도적인 역할을 수행하며, 다른 인코더는 거의 기여하지 않음.
  • 일반 VQA 및 지식 기반 작업: 인코더들이 서로 대체 가능 (Interchangeable) 하여 중복성이 매우 높음.
  • 부정적 기여: 일부 인코더는 특정 작업 (예: Vision-Centric) 에서 CUR 가 음수 (-16%) 를 기록하여, 포함하는 것 자체가 성능을 해치는 것으로 확인됨.
• 효율성 개선:
  • 성능 유지: 2 개 인코더만 사용하는 변형 모델이 대부분의 비-OCR 작업에서 전체 모델의 90% 이상 성능을 유지함.
  • 비용 절감: 5 개 인코더 모델 대비 2 개 인코더 모델은 학습 시간을 34.6% 단축하고, 추론 지연 시간 (Latency) 을 19.5% 감소시킴.
  • 계산량: 비전 처리에 필요한 FLOPs 가 약 12.1% 감소하여 전체 계산 효율이 크게 개선됨.

4. 주요 기여 (Contributions)

1. 체계적 검증: 다중 인코더 MLLM 에서 인코더 중복성과 실제 비효율성이 존재함을 최초로 체계적이고 정량적으로 입증함.
2. 새로운 지표 제안: 인코더의 유용성과 불균형을 측정하는 모델 독립적 (Model-agnostic) 인 지표인 CUR와 IG를 제안함.
3. 실용적 프레임워크: 계산 비용을 크게 줄이면서도 90% 이상의 성능을 유지할 수 있는 듀얼 인코더 (Dual-encoder) 아키텍처의 타당성을 입증하여, 효율적인 MLLM 설계에 대한 실행 가능한 가이드를 제공함.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 설계에 있어 **"더 많은 인코더 = 더 좋은 성능"**이라는 기존의 휴리스틱을 근본적으로 도전합니다. 연구 결과에 따르면, 무작위로 인코더를 추가하는 것은 체감 성능 향상은 미미한 반면 학습 및 추론 비용은 급격히 증가시키는 비효율적인 전략일 수 있습니다.

대신, CUR 와 IG 와 같은 진단 도구를 활용하여 작업별 (Task-specific) 로 가장 적합한 인코더를 선별하고, 불필요하거나 해로운 인코더를 제거하는 것이 훨씬 효율적이고 효과적인 MLLM 을 구축하는 길임을 시사합니다. 이는 향후 자원 최적화된 차세대 멀티모달 아키텍처 설계에 중요한 통찰을 제공합니다.