Massively Multimodal Foundation Models: A Framework for Capturing Interactions with Specialized Mixture-of-Experts

이 논문은 다양한 센서 간의 복잡한 시간적 상호작용을 명시적으로 정량화하여 이를 전문가 분배 (MoE) 라우팅에 반영함으로써, 기존 모델이 놓치기 쉬운 지연된 교차 모달 효과를 포착하고 성능과 해석 가능성을 동시에 향상시키는 새로운 프레임워크를 제안합니다.

핵심

🍳 비유: 거대한 요리사 팀 (MERGE) 과 현명한 매니저

1. 문제: 혼란스러운 주방 (기존 모델의 한계)

상상해 보세요. 거대한 주방에 수십 명의 요리사 (전문가, Expert) 가 있습니다. 그리고 주방에는 다양한 재료가 들어옵니다.

• 재료: 환자의 심박수, 혈압, 의료 기록, 엑스레이 사진, 웨어러블 시계 데이터 등.
• 문제: 기존 모델은 이 재료들을 볼 때, "이 재료가 비슷해 보이니까 같은 요리사에게 맡기자"라고만 생각했습니다. 하지만 실제 상황은 더 복잡합니다.
  • 시간차의 미묘함: "아침에 먹은 약 (재료 A) 이 저녁에 체온 (재료 B) 에 영향을 준다"거나, "심장 박동 (재료 A) 이 200ms 뒤 호흡 (재료 B) 에 변화를 준다"는 식입니다.
  • 기존 모델은 이 시간에 따른 인과관계를 놓치고, 단순히 "비슷한 것끼리"만 묶어서 처리했기 때문에, 중요한 신호를 놓치거나 잘못된 결론을 내리기 일쑤였습니다.

2. 해결책: MERGE (매니저가 보는 '시간의 흐름')

MERGE 는 이 문제를 해결하기 위해 **현명한 매니저 (라우터)**를 도입했습니다. 이 매니저는 단순히 재료가 "비슷한지"만 보지 않습니다. 대신 세 가지 핵심 질문을 던집니다.

"이 두 재료가 서로 어떤 관계를 맺고 있을까?"

매니저는 이 관계를 RUS라는 세 가지 유형으로 분류합니다.

• R (Redundancy, 중복성): "이 두 재료는 사실 같은 정보를 주고 있어."
  • 예: 심박수와 맥박은 거의 같은 이야기입니다.
  • 매니저의 행동: "이건 같은 요리사 (전문가) 가 처리하면 돼. 중복되니까."
• U (Uniqueness, 고유성): "이 재료는 다른 어떤 것과도 비교할 수 없는 특별한 정보를 줘."
  • 예: 환자의 unique 한 병력 기록.
  • 매니저의 행동: "이건 별도의 전문가가 깊이 있게 파고들어야 해."
• S (Synergy, 시너지): "이 두 재료를 따로 보면 별것 아니지만, 시간을 두고 함께 보면 완전히 새로운 정보를 만들어내!"
  • 예: "아침에 인슐린을 맞고 (A), 몇 시간 뒤 혈당이 떨어지는 것 (B)"은 따로 보면 별개지만, 시간의 흐름을 보면 인슐린의 효과를 증명하는 결정적인 시너지가 됩니다.
  • 매니저의 행동: "이 두 재료를 한 요리사가 함께 요리해서 시너지를 내게 해라!"

3. 핵심 기술: "시간을 거슬러 올라가는 눈"

MERGE 의 가장 놀라운 점은 이 매니저가 **시간의 흐름 (Time Lag)**을 계산할 줄 안다는 것입니다.

• 기존: "지금 이 순간 A 와 B 가 비슷하네?"
• MERGE: "A 가 2 시간 전에 발생했고, 그 영향이 B 에는 3 시간 뒤에 나타났네? 이 두 가지는 시너지 관계야!"

이처럼 시간을 두고 관계를 분석하는 능력을 통해, 모델은 "왜 이 환자가 갑자기 상태가 나빠졌는지" 같은 복잡한 원인을 찾아낼 수 있게 됩니다.

---

🏥 실제 효과: 왜 이것이 중요한가요?

이 모델을 실제 데이터 (병원, 운동, 감정 분석 등) 에 적용해 보니 놀라운 결과가 나왔습니다.

1. 더 정확한 진단: 병원에서 환자의 심박수, 호흡, 혈압 등 수십 가지 데이터를 동시에 분석할 때, 기존 모델보다 훨씬 정확하게 환자의 상태 (사망 위험, 입원 기간 등) 를 예측했습니다.
2. 이해 가능한 이유: "왜 이 모델을 믿어야 하지?"라고 물을 때, MERGE 는 "A 와 B 가 시너지를 내기 때문에 이 전문가에게 보냈습니다"라고 이유를 명확히 설명해 줍니다. (블랙박스에서 탈출!)
3. 효율성: 모든 요리사를 다 쓰지 않고, 상황에 맞는 전문가만 골라 쓰기 때문에 계산 비용도 효율적입니다.

💡 요약하자면

이 논문은 **"인공지능이 여러 가지 정보를 볼 때, 단순히 '비슷한 것'끼리 묶는 게 아니라, '시간을 두고 어떻게 서로 영향을 주는지'를 분석해서 가장 적합한 전문가에게 일을 맡겨라"**라고 제안합니다.

마치 현명한 매니저가 주방의 혼란을 정리하고, 각 요리사에게 딱 맞는 재료를 시간의 흐름에 맞춰 배분하여 **최고의 요리 (정확한 예측)**를 만들어내는 것과 같습니다. 이는 의료, 스포츠, 일상 생활의 복잡한 데이터를 이해하는 데 큰 혁신이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

현대 응용 분야는 임상 센서, 웨어러블 기기 데이터, 영상, 텍스트 등 이질적인 다수의 입력 스트림을 포함하는 대규모 멀티모달 (Massively Multimodal) 환경을 점점 더 많이 마주하고 있습니다. 이러한 환경에서 각 센서는 고유한 측정 모델, 샘플링 속도, 노이즈 특성을 가지며, 서로 다른 모달리티 간의 복잡한 상호작용은 단순한 동시성 (simultaneity) 을 넘어 시간 지연 (time-delayed) 을 동반합니다.

• 핵심 과제: 센서 간의 지연된 생리학적 연쇄 반응 (예: SpO2 의 변화가 몇 시간 후 발열로 나타남) 과 같은 시간적 상호작용 (temporal interactions) 을 포착하는 것.
• 기존 방법의 한계: 기존 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처는 토큰과 전문가 간의 유사성 (similarity) 만을 기반으로 라우팅을 수행합니다. 이는 정적 (static) 인 모달리티에는 효과적일 수 있으나, 모달리티 간의 시간적 의존성 (temporal dependencies) 과 지연된 상호작용을 무시하여, 전문가의 전문화 (specialization) 가 최적화되지 않고 정확도가 저하되는 문제를 야기합니다.

2. 방법론 (Methodology)

저자들은 MERGE (Massively-multimodal Expert Routing for Generalized Exchange) 라는 새로운 프레임워크를 제안합니다. 이는 시간적 멀티모달 상호작용을 정량화하여 MoE 의 라우팅 과정을 안내하는 구조입니다.

A. 시간적 멀티모달 상호작용 포착 (Capturing Temporal Multimodal Interactions)

기존의 부분 정보 분해 (Partial Information Decomposition, PID) 를 시간 영역으로 확장하여 지향 정보 (Directed Information) 를 기반으로 합니다.

• 시간적 RUS (Redundancy, Uniqueness, Synergy): 두 입력 모달리티 ($X_1, X_2$) 와 타겟 ($Y$) 간의 상호작용을 시간 지연 ($\tau$) 단위로 분해합니다.
  • 중복성 (Redundancy, R): 여러 모달리티가 공유하는 정보.
  • 고유성 (Uniqueness, U): 특정 모달리티만이 제공하는 정보.
  • 시너지 (Synergy, S): 모달리티가 결합되었을 때만 발생하는 새로운 정보.
• 효율적 추정 (Multi-scale BATCH Estimator): 고차원 및 시계열 데이터에서 RUS 값을 효율적으로 계산하기 위해 다중 스케일 BATCH 추정기를 설계했습니다. 이는 단일 모델로 여러 시간 지연 ($\tau$) 에 대한 상호작용을 병렬적으로 학습하여 계산 비용을 줄입니다.

B. RUS 인지형 라우팅 (RUS-Aware Routing)

계산된 시간적 RUS 값을 MoE 라우팅에 직접 반영합니다.

• 상호작용 인식 라우터 (Interaction-aware Router): 각 토큰의 라우팅 결정을 내릴 때, 해당 토큰의 내용뿐만 아니라 다른 모달리티와의 시간적 RUS 컨텍스트를 고려합니다.
  • 라우팅 전략:
    • 높은 중복성 (High R): 유사한 정보를 가진 모달리티는 같은 전문가 (Regular Expert) 로 라우팅 (조기 융합, Early Fusion).
    • 높은 고유성 (High U): 서로 다른 정보를 가진 모달리티는 서로 다른 전문가로 라우팅 (후기 융합, Late Fusion).
    • 높은 시너지 (High S): 상호작용이 중요한 모달리티는 시너지 전용 전문가 (Cross-Modal Expert) 로 라우팅 (하이브리드 융합, Hybrid Fusion).
• 보조 손실 함수 (Auxiliary Losses): 라우팅이 RUS 원칙을 따르도록 훈련 중 보조 손실 함수를 도입합니다.
  • 중복성 손실: 중복도가 높은 모달리티 쌍이 같은 전문가로 갈 확률을 높임 (Jensen-Shannon Divergence 최소화).
  • 고유성 손실: 고유도가 높은 모달리티 쌍이 다른 전문가로 갈 확률을 높임.
  • 시너지 손실: 시너지가 높은 모달리티가 시너지 전문가로 갈 확률을 높임.

3. 주요 기여 (Key Contributions)

1. MERGE 프레임워크 제안: 대규모 멀티모달 설정에서 시간적 상호작용 (지연된 인과관계 포함) 을 명시적으로 정량화하고 이를 MoE 라우팅에 통합한 최초의 프레임워크 중 하나입니다.
2. 시간적 RUS 계산 방법론: PID 를 시간 영역으로 확장하고, 고차원 데이터에 적용 가능한 다중 스케일 BATCH 추정기를 개발하여 효율적인 상호작용 추정을 가능하게 했습니다.
3. 해석 가능한 라우팅 메커니즘: 블랙박스였던 MoE 라우팅을 RUS 값 (중복, 고유, 시너지) 에 기반한 원칙 있는 방식으로 변경하여, 도메인 지식과 일치하는 해석 가능한 전문가 분배를 달성했습니다.
4. 광범위한 실험 검증: 의료 (MIMIC-IV), 활동 인식 (PAMAP2, Opportunity), 정서 컴퓨팅 (MOSI, WESAD) 등 다양한 벤치마크에서 기존 MoE 및 퓨전 모델 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: 6 가지 멀티모달 벤치마크에서 MERGE 는 Transformer, mTAND, MulT, FuseMoE, I2MoE 등 기존 최첨단 모델들을 압도적으로 능가했습니다. 특히 의료 (MIMIC-IV) 와 정서 인식 (MOSI, WESAD) 분야에서 큰 성능 개선을 보였습니다.
• RUS 의 통찰력: 계산된 시간적 RUS 값은 실제 도메인 지식과 일치하는 패턴을 보여주었습니다.
  • 예: MIMIC-IV 에서 인슐린과 푸로세미드의 상호작용은 투여 시점에 시너지가 강하고 시간이 지남에 따라 고유성이 증가하는 등 약물 역학을 정확히 포착했습니다.
  • 예: 활동 인식에서 가슴과 손의 움직임은 보행 시 높은 중복성을 보였습니다.
• 라우팅 분석: MERGE 는 모달리티 간의 상호작용 유형 (중복, 고유, 시너지) 에 따라 전문가를 체계적으로 할당하는 반면, 기존 표준 MoE 는 무작위적인 할당을 보여주었습니다. 이는 MERGE 가 더 효율적인 학습과 해석 가능성을 제공함을 의미합니다.
• 효율성: 다중 스케일 BATCH 추정기는 단계별 (step-wise) 계산에 비해 $\tau$배의 속도 향상을 제공하면서도 정확도를 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 멀티모달 학습에서 시간적 상호작용이 단순한 특징이 아닌, 모델 아키텍처 설계의 핵심 요소임을 강조합니다. MERGE 는 다음과 같은 의의를 가집니다:

• 지연된 인과관계 모델링: 센서 간의 시간적 지연을 명시적으로 고려함으로써, 생리학적 연쇄 반응이나 복잡한 인간 행동과 같은 동적 과정을 더 정확하게 모델링할 수 있습니다.
• 전문가 전문화 (Specialization) 의 원칙화: 유사성 기반의 임의 라우팅을 넘어, 정보 이론적 원칙 (RUS) 에 기반한 체계적인 전문가 할당을 통해 모델의 해석 가능성과 일반화 능력을 동시에 향상시켰습니다.
• 확장성: 수십에서 수백 개의 이질적인 입력 스트림을 처리하는 대규모 멀티모달 애플리케이션 (예: 정밀 의료, 자율 주행, 로봇 공학) 에 적용 가능한 확장 가능한 프레임워크를 제공합니다.

결론적으로, MERGE 는 멀티모달 기초 모델 (Foundation Models) 이 복잡한 시간적 역학을 이해하고, 도메인 지식과 일치하는 해석 가능한 결정을 내릴 수 있도록 하는 중요한 진전을 이루었습니다.