Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

1. 문제 정의 (Problem Definition)

이 논문은 멀티모달 혼합 전문가 (Multimodal Mixture-of-Experts, MoE) 모델에서 관찰되는 "Seeing but Not Thinking(보지만 생각하지 못함)" 현상을 규명합니다.

• 현상: 모델이 이미지 내용을 정확하게 인식 (Perception) 하고 텍스트로 변환할 수 있음에도 불구하고, 동일한 문제를 텍스트로만 제시받았을 때는 정답을 도출하는 반면, 이미지로 제시받았을 때는 추론 (Reasoning) 과정에서 실패하는 모순적인 상황입니다.
• 근본적 질문: 시각적 입력이 올바르게 인식되었음에도 불구하고, 왜 추론 성능이 저하되는가?
• 기존 가설의 한계: 단순히 시각과 텍스트 간의 의미적 정렬 (Semantic Alignment) 실패 때문이라고 보기 어렵습니다. 왜냐하면 모델은 동일한 의미의 텍스트 입력에서는 잘 작동하기 때문입니다.

2. 연구 방법론 (Methodology)

저자들은 Qwen3-VL-30B-A3B 를 포함한 최신 MoE 모델을 대상으로 체계적인 분석을 수행했습니다.

A. 교차 모달 의미 공유 검증 (Cross-Modal Semantic Sharing Verification)

• 개념 개입 실험 (Concept Intervention): 이미지 토큰의 은닉 상태 (Hidden State) 에 텍스트 기반의 숫자 개념 벡터를 주입하여 모델의 출력이 변경되는지 확인했습니다.
• 결과: 중간 레이어 (Layer 8~42) 에서 개입 성공률이 90% 이상으로 높아, MoE 아키텍처에서도 시각과 텍스트 간의 의미 공유가 존재함을 확인했습니다. 이는 의미 정렬 실패가 유일한 원인이 아님을 증명합니다.

B. 레이어별 전문가 특화 분석 (Layer-wise Expert Specialization)

• 전문가 분포 분석: 지니 계수 (Gini Coefficient) 를 사용하여 각 레이어에서 전문가의 집중도를 측정하고, 도메인별 (수학 등) 및 시각적 입력에 특화된 전문가를 식별했습니다.
• 핵심 발견:
  • 시각 전문가 (Visual Experts): 초기 레이어 (시각 인코딩) 와 말단 레이어 (출력 준비) 에 집중됨.
  • 도메인 전문가 (Domain Experts): 추론이 필요한 중간 레이어에 집중됨.
  • 층위적 분리 (Layer-wise Separation): 시각 처리와 추론 처리를 담당하는 전문가들이 물리적으로 분리되어 존재함을 발견했습니다.

C. 라우팅 발산 분석 (Routing Divergence Analysis)

• 라우팅 발산 측정: 동일한 문제에 대해 텍스트 입력과 이미지 입력 시, 중간 레이어에서 활성화되는 전문가 분포의 차이 (Jensen-Shannon Divergence, JSD) 를 계산했습니다.
• 관찰: 이미지 입력은 중간 레이어에서 텍스트 입력과 비교해 라우팅 (전문가 선택) 에 큰 발산을 일으켰으며, 이 발산이 클수록 추론 정확도가 낮아지는 강한 상관관계가 있었습니다.

D. 가설 제안 및 검증: 라우팅 산만 (Routing Distraction)

• 가설: 시각 입력을 처리할 때, 라우팅 메커니즘이 중간 레이어에서 작업 관련 추론 전문가 (Domain Experts) 를 충분히 활성화하지 못하고, 추론에 적합하지 않은 다른 전문가들을 선택하여 계산 자원이 분산됩니다.
• 개입 전략 (Routing-Guided Intervention):
  • 도메인 전문가 식별: 도메인 데이터 (예: 수학 문제) 와 일반 데이터 (Alpaca) 간의 활성화 빈도 차이를 통해 도메인 전문가를 식별합니다.
  • 라우팅 가중치 조정: 추론 시 식별된 도메인 전문가의 라우팅 로짓 (Logits) 에 보정 계수 ($\lambda$) 를 더하거나 (Soft Intervention), 최댓값으로 강제 설정 (Hard Intervention) 하여 활성화 확률을 높입니다.

3. 주요 기여 (Key Contributions)

1. 현상의 체계적 규명: 멀티모달 MoE 모델에서 '보지만 생각하지 못함' 현상이 여러 최첨단 모델에 걸쳐 보편적으로 존재함을 증명했습니다.
2. 메커니즘적 통찰: 의미 정렬 실패가 아닌, 시각 전문가와 도메인 전문가의 레이어별 분리와 이로 인한 중간 레이어의 라우팅 산만 (Routing Distraction) 이 추론 실패의 핵심 원인임을 규명했습니다.
3. 실용적 해결책 제안: 라우팅 가이드를 통한 개입 방법을 제안하여, 추론 성능을 일관되게 향상시키는 것을 검증했습니다.

4. 실험 결과 (Results)

세 가지 MoE 모델 (Kimi-VL, Qwen3-VL, Llama4) 과 6 가지 벤치마크 (MATH500, GPQA, MathVerse 등) 에서 실험을 수행했습니다.

• 성능 향상:
  • 의미적 동등 시나리오 (텍스트 렌더링 이미지): 모든 모델에서 일관된 개선이 관찰되었습니다. (예: Kimi-VL 수학 +2.24%, 물리 +2.98%)
  • 자연적 시각 시나리오 (복잡한 도표/그래프 포함): 시각 정보를 텍스트로 대체할 수 없는 복잡한 작업에서도 성능이 향상되었습니다. (예: MathVerse 에서 Kimi-VL +3.17% 향상).
• 개입 전략 비교:
  • Soft Intervention (가중치 미세 조정): 가장 일관된 개선을 보였습니다.
  • Hard Intervention (강제 활성화): 일부 모델에서는 성능 저하를 초래하기도 했습니다 (특히 Top-1 라우팅을 사용하는 Llama4).
  • 무작위 베이스라인: 무작위로 선택된 전문가를 강화했을 때는 개선이 없었으므로, 성능 향상은 정확한 도메인 전문가의 활성화에서 기인함이 입증되었습니다.
• 강건성 (Robustness): 도메인 전문가 식별을 위해 완벽한 텍스트 대응물이 없더라도 (예: 기하학적 관계가 텍스트로 표현되지 않음), 해당 도메인의 추론 패턴을 유발하는 부분적인 텍스트 참조만으로도 효과적인 전문가 식별이 가능했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 멀티모달 MoE 모델의 추론 실패 원인이 '지각 (Perception)'의 오류가 아니라, '추론 (Reasoning) 을 담당하는 계산 자원 (전문가) 의 부적절한 할당'에 있음을 최초로 제시했습니다.
• 실용적 의의: 모델의 재학습 없이 추론 단계 (Inference-time) 에서만 라우팅을 조정하여 추론 능력을 즉시 향상시킬 수 있는 경량화된 방법을 제시했습니다.
• 한계: 지각 오류 (이미지 인식 실패) 가 있는 경우에는 효과가 없으며, 복잡한 시각 개념의 의미 정렬 여부는 추가 연구가 필요합니다.

이 연구는 멀티모달 모델이 시각 정보를 처리할 때 왜 추론 능력이 저하되는지에 대한 새로운 시각을 제공하고, 이를 해결하기 위한 구체적인 메커니즘 기반의 솔루션을 제시했다는 점에서 의의가 큽니다.