기술적 요약: 전문가 혼합 (Mixture-of-Expert) 을 통한 다중 모달 학습 과제 해결: 한 고찰

1. 문제 제기

실세계 데이터 모델링은 increasingly **다중 모달 학습 (multimodal learning)**에 의존하고 있으며, 이는 텍스트, 이미지, 의료 스캔, 시계열 데이터와 같은 이질적인 데이터 소스를 통합하여 포괄적인 관점을 제공합니다. 상당한 진전이 있었음에도 불구하고, 표준 밀집형 (dense) 다중 모달 모델은 다음과 같은 치명적인 한계에 직면해 있습니다:

• 학습 비효율성: 고차원 이질 데이터를 처리하는 것은 모델 크기에 비례하여 나쁘게 확장되는 상당한 계산 비용을 수반합니다.
• 낮은 일반화 능력: 밀집형 아키텍처는 복잡한 다중 모달 이질성 구조를 학습하고 성능 저하 없이 다중 작업 시나리오에 적응하는 데 어려움을 겪습니다.
• 견고성 문제: 실세계 데이터 스트림은 종종 결손된 모달리티, 손상, 또는 불균형으로 고통받아 취약한 표현을 초래합니다.
• 체계적 검토의 부재: 기존 고찰들은 다중 모달 학습 또는 전문가 혼합 (MoE) 을 개별적으로 다루지만, MoE 아키텍처와 다중 모달 과제 간의 고유한 상호작용을 체계적으로 다루지 못합니다. MoE 가 모달리티 중복, 정렬, 결손 데이터와 같은 문제를 어떻게 구체적으로 해결하는지에 대한 이해에는 공백이 존재합니다.

2. 방법론

본 논문은 MoE 를 다중 모달 학습에 적용하는 최근 최첨단 (SOTA) 방법들 (2020 년 1 월 ~ 2025 년 10 월) 에 대한 포괄적인 고찰과 체계적인 분류 체계를 제시합니다. 저자들은 최상위 권위지 (ICLR, NeurIPS, CVPR, MICCAI 등) 에서 논문을 수집했으며, MoE 를 단순한 특징 추출기나 특정 다중 모달 혁신 없이 단순한 FFN 대체제로만 사용한 연구들은 제외했습니다.

본 고찰은 제안된 분류 체계 (그림 2) 에 따라 문헌을 세 가지 주요 관점으로 조직화합니다:

A. 효율적인 다중 모달 엔진으로서의 MoE

이 범주는 계산 비용을 파라미터 증가와 분리하면서 모델을 확장하는 데 중점을 둡니다.

• 폭의 혼합 (Mixture-of-Width, MoWE): 라우터가 순전달을 위해 전문가의 하위 집합을 선택하는 희소 활성화를 활용합니다.
  • 기법: Upcycling(예: MoE-LLaVA, CuMo, Uni-MoE) 은 사전 훈련된 밀집형 모델에서 전문가를 초기화하여 새로운 모달리티에 적응하면서도 일반 지식을 보존합니다.
  • 혁신: CuMo 는 LLM 뿐만 아니라 비전 인코더 (CLIP) 로도 upcycling 을 확장합니다. Med-MoE 는 MRI, X-선과 같은 도메인별 전문가를 적용하여 의료 도메인에 이를 적용합니다.
• 깊이의 혼합 (Mixture-of-Depth, MoDE): 덜 정보적인 토큰에 대해 레이어를 동적으로 건너뛰어 토큰 중복성을 해결합니다.
  • 기법: Gamma-MoD와 UniMoD는 어텐션 순위 (ARank) 나 작업 인덱스를 사용하여 토큰을 얕은 경로로 라우팅하거나 레이어를 건너뛰어, 중복 모달리티의 오버헤드를 줄이는 동시에 복잡한 작업에는 깊이를 보존합니다.

B. 다중 모달 표현 학습자로서의 MoE

이 범주는 전문화된 지식을 통해 정렬 및 상호작용 표현을 풍부하게 하기 위해 MoE 를 활용합니다.

• 다중 모달 정렬:
  • LIMoE와 IMP-MoE는 희소 트랜스포머를 사용하여 모달리티 간 전문가 사용을 균형 있게 조정하며, IMP-MoE 는 다중 손실 학습에서 충돌하는 그라디언트를 해결하기 위해 교대 경사 하강법 (AGD) 을 도입합니다.
  • Eagle은 세밀한 시각적 정렬을 위해 사전 훈련된 비전 인코더를 전문가로 활용합니다.
  • MoMoK는 모달리티별 지식의 분리를 강제하기 위해 전문가 간 상호 정보량을 최소화합니다.
  • R2-T2는 재학습 없이 모달리티 편향을 수정하기 위해 테스트 시간 재라우팅을 제안합니다.
• 다중 모달 상호작용:
  • MMoE와 I2MoE는 중복성, 고유성, 시너지와 같은 특정 상호작용 유형에 전문화된 전문가에게 데이터를 할당함으로써 "일률적" 융합을 넘어섭니다.
  • MoAI는 쌍별 흐름 (예: 시각 - 언어) 을 위해 특정 어텐션 전문가를 설계합니다.
  • ERNIE-ViLG는 확산 기반 생성을 위해 혼합 - 잡음 제거 전문가 (Mixture-of-Denoising-Experts) 를 사용합니다.

C. 다중 모달 어댑터로서의 MoE

이 범주는 불완전한 데이터 시나리오에서의 견고성과 적응성을 다룹니다.

• 조건부 라우팅:
  • 모달리티 조건: MoVA와 MoME와 같은 모델은 컨텍스트에 따라 입력을 전문화된 비전 인코더나 언어 전문가로 라우팅합니다. Omni-SMoLA는 LoRA 전문가를 가진 Soft-MoE 를 사용하여 능력을 지속적으로 혼합합니다.
  • 작업 조건: M4oE와 SAME은 다중 작업 학습에서 그라디언트 충돌을 관리하기 위해 작업별 전문가를 활용합니다.
• 다중 모달 견고성:
  • 결손 모달리티: FuseMoE와 Flex-MoE는 특정 결손 패턴을 지정된 전문가로 라우팅합니다. ConfSMoE는 전문가 관점과 신뢰도 기반 라우팅을 사용하는 2 단계 보간 전략을 채택합니다.
  • 생애 학습: CL-MoE, LifeEdit, MoE-Adapter는 계층적 라우터와 동적 전문가 생성기를 사용하여 비정상 데이터를 관리하고 전체 재학습 없이 파국적 망각을 방지합니다.

3. 주요 기여

1. 체계적 분류 체계: 본 논문은 MoE 를 다중 모달 학습에서 효율적인 엔진, 표현 학습자, 어댑터라는 세 가지 고유한 역할로 분류하는 최초의 포괄적인 프레임워크를 확립합니다.
2. 공백 식별: 기존 고찰들이 다중 모달 견고성 (예: 결손 모달리티 처리) 과 모달리티 불균형에 대한 MoE 의 구체적인 장점을 간과하고 있음을 강조합니다.
3. 중요한 연구 공백: 저자들은 향후 주의를 요하는 네 가지 주요 영역을 식별합니다:
   • 해석 가능한 라우팅: 현재의 하드 Top-K 라우팅은 종종 모달리티의 이질적 복잡성을 고려하지 못해 자원 비효율성을 초래합니다.
   • 전문가 간 소통: 전문화된 전문가들이 어떻게 합의에 도달하거나 모달리티 간 충돌을 해결하는지에 대한 소통에 대한 탐구는 제한적입니다.
   • 범위 제한: 대부분의 연구는 이중 모달리티 (이미지 - 텍스트) 상호작용에 초점을 맞추고 있어, 결손 데이터가 있는 복잡하고 실제적인 다중 모달 시나리오에 대한 견고성이 부족합니다.
   • 전문가 압축: 모달리티당 최적의 전문가 수와 크기를 결정하기 위한 원칙 있는 기준이 부족합니다.

4. 결과 및 발견

고찰 논문으로서, 주요 "결과"는 해당 분야의 현재 역량에 대한 종합입니다:

• 확장성: MoE 는 희소 활성화와 레이어 건너뛰기를 통해 계산 비용의 비례적 증가 없이 (LLaVA 에서 Med-MoE 로 등) 다중 모달 모델의 확장을 성공적으로 가능하게 합니다.
• 표현 품질: 밀집형 베이스라인에 비해 전문화된 전문가들은 모달리티별 특징의 더 나은 분리 및 향상된 정렬 (의료 영상 및 지식 그래프 등) 을 가능하게 합니다.
• 견고성: MoE 아키텍처는 이용 가능한 데이터를 관련 전문가로 동적으로 라우팅함으로써 밀집형 모델이 실패하는 곳에서 성능을 유지하며, 결손 모달리티와 모달리티 불균형에 대한 우수한 회복 탄력성을 보여줍니다.
• 적응성: MoE 의 모듈식 특성은 생애 학습과 모델 편집을 용이하게 하여, 시스템이 이전 지식을 망각하지 않고 새로운 작업이나 데이터 분포에 적응할 수 있게 합니다.

5. 중요성 및 주장

본 논문은 해석 가능하고 지속 가능한 다중 모달 시스템을 구축하려는 연구자들을 위한 근간이 되는 가이드북으로 자처합니다.

• 공백 해소: 일반적인 MoE 문헌과 다중 모달 학습 사이의 중요한 공백을 메워, MoE 가 단순한 확장 도구가 아니라 다중 모달 이질성을 처리하는 근본적인 메커니즘임을 입증합니다.
• 미래 방향: 저자들은 향후 연구가 단순한 확장을 넘어 해석 가능한 라우팅, 협력적 전문가 상호작용, 적응형 생애 학습에 초점을 맞춰야 한다고 주장합니다. 이러한 과제를 해결하는 것은 일반화 가능한 대규모 다중 모달 기초 모델을 개발하는 데 필수적이라고 주장합니다.
• 실용적 영향: 방법들을 확장, 정렬, 견고성과 같은 특정 다중 모달 과제를 해결하는 방식에 따라 분류함으로써, 이 고찰은 특히 데이터가 종종 불완전하거나 이질적인 의료와 같은 분야에서 실제 응용을 위한 MoE 아키텍처 선택 및 설계에 대한 로드맵을 제공합니다.

저자들은 MoE 가 강력한 능력을 보여왔지만, 다중 모달 복잡성을 체계적으로 처리하는 측면에서 이 분야는 여전히 발전 단계에 있으며, 본 고찰은 이러한 미탐색 방향으로 추가 연구를 촉발하는 것을 목표로 한다고 결론지었습니다.