A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 블랙박스 문제: LVLM 은 다양한 멀티모달 작업에서 뛰어난 성능을 보이지만, 그 내부 작동 원리는 불투명합니다.
• 기존 평가의 한계: 기존의 정확도 중심 평가는 모델이 **진짜 멀티모달 융합 (True Multimodal Fusion)**을 통해 답을 도출했는지, 아니면 **단일 모달 사전 지식 (Unimodal Priors, 주로 언어적 편향)**에 의존했는지를 구분하지 못합니다.
• 해결 과제: 모델이 시각 (Vision) 과 언어 (Language) 정보를 어떻게 처리하고 결합하는지 정량적으로 측정할 수 있는 체계적인 도구가 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 LVLM 의 의사결정 관련 정보를 **부분 정보 분해 (PID)**를 통해 4 가지 구성 요소로 분해하는 새로운 프레임워크를 제안했습니다.

2.1 PID 구성 요소

입력 $X_1$(시각), $X_2$(언어) 와 출력 $Y$(예측) 간의 상호 정보를 다음 4 가지 비음수 (non-negative) 항으로 분해합니다:

1. 중복성 (Redundancy, $R$): 두 모달리티가 공유하는 정보.
2. 시각 고유성 (Vision Uniqueness, $U_1$): 언어 없이 시각만으로 얻는 정보.
3. 언어 고유성 (Language Uniqueness, $U_2$): 시각 없이 언어만으로 얻는 정보 (사전 지식).
4. 시너지 (Synergy, $S$): 두 모달리티가 결합되었을 때만 발생하는 새로운 정보 (진정한 융합).

2.2 추정 프레임워크 (PID Estimation Framework)

• BATCH Estimator 적용: Liang et al. (2023) 의 BATCH 추정기를 현대 LVLM 의 고차원 연속 벡터 임베딩에 적용하도록 수정했습니다.
• 모델 무관성 (Model-agnostic): 모델 구조 변경이나 재학습 없이, 기존 모델의 예측 분포와 입력 임베딩만 사용하여 분석합니다.
• 실험 설계:
  • 단일 모달 조건부 추정: 한 모달리티를 노이즈로 마스킹하여 $P(Y|X_1)$과 $P(Y|X_2)$를 추정합니다.
  • 신뢰도 임계값 (Confidence Thresholding): 제한된 선택지에서의 과도한 자신감 (Over-confidence) 을 보정하기 위해 정규화 기법을 적용했습니다.
  • 소프트 집계 (Soft Aggregation): 이산화된 예측을 평균화할 때 발생하는 측정 오류를 방지하기 위해 소프트 집계 방식을 사용했습니다.

3. 주요 실험 및 결과 (Results & Findings)

저자들은 11 개 패밀리, 26 개의 LVLM 을 4 개의 데이터셋 (MMBench, POPE, Reefknot, PMC-VQA) 에서 분석하고, 레이어별 및 학습 단계별 동역학을 조사했습니다.

3.1 작업별 정보 사용 양상 (Two Task Regimes)

데이터셋에 따라 모델이 의존하는 정보의 종류가 두 가지 양상으로 나뉩니다:

1. 시너지 주도형 (Synergy-driven): MMBench, POPE 등.
   • 모델이 시각과 언어의 **강력한 융합 ($S$)**에 의존합니다.
   • 정확도는 시너지 ($S$) 와 강한 양의 상관관계 ($\rho \approx 0.75$) 를 보입니다.
   • 이미지 제거 시 정확도 하락폭이 큽니다.
2. 지식 주도형 (Knowledge-driven): Reefknot, PMC-VQA 등.
   • 모델이 **언어적 사전 지식 ($U_2$)**에 더 크게 의존합니다.
   • 융합 ($S$) 의 이점은 언어 지식의 부재로 인해 한계가 있으며, 정확도는 $U_2$와 더 밀접합니다.

3.2 모델 패밀리별 전략 (Two Family-level Strategies)

모델 아키텍처 패밀리마다 일관된 전략을 취합니다:

• 융합 중심 (Fusion-centric): InternVL, Qwen2.5-VL 등.
  • 상대적으로 높은 시너지 ($S$) 와 낮은 언어 고유성 ($U_2$) 을 보입니다.
  • 스케일링 (모델 크기 증가) 시 정확도 향상은 주로 $S$의 증가와 연관됩니다.
• 언어 중심 (Language-centric): Gemma3, Cambrian 등.
  • 상대적으로 낮은 $S$와 높은 $U_2$를 보입니다.
  • 언어적 편향을 시각 정보로 보정하는 방식으로 작동합니다.

3.3 레이어별 정보 흐름 (Layer-wise Dynamics)

모든 모델에서 관찰된 3 단계 패턴:

1. 초기/중기 레이어: 정보가 생성되기 시작합니다.
2. 후기 레이어: 언어 기반 표현 구축 ($U_2$ 증가) 이 활발히 일어납니다.
3. 최종 레이어: **의사결정적 융합 (Synergistic Fusion)**이 발생하며, $S$가 급격히 증가하고 $U_2$가 감소합니다.

3.4 학습 동역학 (Learning Dynamics)

LLaVA-1.5 의 2 단계 학습 과정을 분석한 결과:

• 1 단계 (시각 - 언어 정렬): $S$와 $U_2$ 모두 낮고 안정적입니다.
• 2 단계 (시각 지시 미세조정, Visual Instruction Tuning): 멀티모달 융합 ($S$) 이 주로 이 단계에서 학습됩니다.
  • 7B 모델은 $S$ 증가가 두드러지고, 13B 모델은 $U_2$(언어 지식) 증가가 더 큽니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 정량적 분석 도구: 정확도 외에 모델이 정보를 어떻게 처리하는지 (융합 vs. 지식 의존) 를 정량적으로 측정하는 첫 번째 체계적인 프레임워크를 제시했습니다.
2. 새로운 통찰:
   • LVLM 이 단순히 "더 많은 정보"를 가진 것이 아니라, 작업 유형에 따라 시너지 또는 언어 지식을 선택적으로 활용한다는 것을 발견했습니다.
   • 모델 패밀리마다 **고유한 정보 처리 전략 (융합 중심 vs. 언어 중심)**이 존재하며, 이는 모델 크기와 무관하게 유지됨을 확인했습니다.
   • **시각 지시 미세조정 (Visual Instruction Tuning)**이 멀티모달 융합 능력을 습득하는 결정적 단계임을 규명했습니다.
3. 미래 방향성: 차세대 LVLM 설계 시, 단순한 성능 향상이 아닌 '시너지 ($S$)'와 '언어 편향 ($U_2$)'의 균형을 맞추는 방향으로 학습 전략을 수정할 수 있는 이론적 근거를 제공합니다.

5. 결론

이 논문은 PID 를 통해 LVLM 의 '블랙박스'를 정보 이론적 렌즈로 비추어, 모델이 시각과 언어 정보를 어떻게 통합하는지에 대한 깊은 이해를 제공합니다. 이는 단순한 성능 평가의 한계를 넘어, 모델의 내부 메커니즘을 해석하고 더 투명하고 효율적인 멀티모달 모델을 설계하는 데 중요한 기여를 합니다.