A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications

이 논문은 생물의학 분야에서 다양한 데이터 유형을 통합하는 심층 학습을 위해 중간 융합 (Intermediate Fusion) 기법을 체계적으로 분석하고, 사용된 기술과 과제, 향후 방향을 조명하며 향후 연구와 실용적 적용을 위한 기초 프레임워크를 제시합니다.

핵심

이 논문은 **"다양한 정보를 하나로 합쳐서 더 똑똑한 의료 AI 를 만드는 방법"**에 대한 체계적인 연구입니다.

생각해 보세요. 의사가 환자를 진단할 때 어떻게 할까요? 단순히 엑스레이 사진만 보는 게 아니라, 혈액 검사 결과 (숫자), 병력 기록 (글), 그리고 환자의 목소리나 증상 (소리/텍스트) 을 모두 종합해서 판단하죠.

이 논문은 인공지능 (AI) 이도 똑같이 할 수 있도록, 서로 다른 형태의 데이터 (이미지, 글, 숫자 등) 를 어떻게 섞어야 가장 잘 작동하는지 연구한 결과입니다. 특히 **'중간 융합 (Intermediate Fusion)'**이라는 기술을 집중적으로 다뤘습니다.

---

🍳 요리 비유로 이해하는 '데이터 융합'

데이터를 섞는 방법은 크게 세 가지가 있는데, 이를 요리에 비유해 볼까요?

1. 초기 융합 (Early Fusion): "재료 다 섞어서 반죽하기"

   • 양파, 고기, 채소를 다 잘게 썰어서 처음부터 한 그릇에 다 섞어버리는 거예요.
   • 단점: 각 재료의 고유한 맛 (예: 고기의 식감, 채소의 아삭함) 이 사라질 수 있습니다. AI 가 각 데이터의 특징을 제대로 파악하기 전에 다 섞어버리는 셈이죠.

2. 후기 융합 (Late Fusion): "각자 요리해서 마지막에 섞기"

   • 양파는 따로 볶고, 고기는 따로 구워서, 마지막에 접시에 담고 소스를 뿌려서 섞는 거예요.
   • 단점: 각 요리가 서로 대화할 기회를 못 가져요. "아, 이 고기는 이 양파랑 잘 어울리는데?" 같은 깊은 상호작용이 일어나기 어렵습니다.

3. 중간 융합 (Intermediate Fusion): "요리 중 서로 맛을 보며 조화시키기" (이 논문의 주인공!)

   • 고기를 구우면서 양파를 넣고, 채소를 볶을 때 고기 육수를 살짝 섞는 식으로 요리하는 과정 (중간 단계) 에서 서로의 맛을 주고받으며 조화를 맞춥니다.
   • 장점: 각 재료의 고유한 맛도 살리면서, 서로 섞일 때 가장 맛있는 조합을 찾아낼 수 있습니다. 의료 AI 에서는 엑스레이의 '이미지 특징'과 혈액 검사의 '숫자 특징'이 서로 영향을 주며 더 정확한 진단을 내리게 됩니다.

---

📊 이 논문이 발견한 주요 사실들

연구진은 의료 분야에서 쓰인 54 개의 최신 논문들을 꼼꼼히 분석했습니다.

1. 어떤 데이터를 주로 섞나요?

• **엑스레이, MRI 같은 '이미지'**와 혈액 검사, 나이, 성별 같은 '숫자 (테이블)' 데이터를 섞는 경우가 가장 많았습니다 (약 74%).
• 마치 의사가 "엑스레이 사진 (이미지) 을 보니 폐에 문제가 있는데, 혈액 검사 수치 (숫자) 를 보니 염증 수치가 높네요"라고 종합하는 것과 비슷합니다.

2. 어떻게 섞나요? (접착제 vs 지능형 브레인)

• 가장 많이 쓰는 방법은 **단순히 붙이기 (Concatenation)**입니다. 마치 레고 블록을 그냥 옆에 나란히 붙이는 거죠. 간단하지만 효과적입니다.
• 하지만 더 똑똑한 방법들도 등장하고 있습니다. 주의 (Attention) 메커니즘을 쓰는 건데, 이는 "이 부분은 중요하니까 집중하자, 저 부분은 덜 중요하니까 가볍게 보자"라고 AI 가 스스로 판단하게 만드는 지능형 브레인 같은 역할을 합니다.

3. 아직 해결해야 할 문제들

• 데이터가 없으면 어떡하지? (결측치 문제): 환자가 엑스레이는 찍었지만 혈액 검사는 안 한 경우가 있을 수 있습니다. 대부분의 AI 는 데이터가 하나라도 빠지면 당황해서 작동하지 않습니다. 하지만 이 논문에서 소개된 몇몇 최신 기술은 "아, 이 데이터가 없구나? 그럼 다른 데이터로 추측해서 채워보자"라고 처리할 수 있어 더 튼튼해지고 있습니다.
• 블랙박스 문제: AI 가 왜 그런 진단을 내렸는지 설명해주지 않는 경우가 많습니다. 환자와 의사 모두 "왜?"라고 물었을 때 답을 할 수 있어야 신뢰를 얻죠. 이 부분도 앞으로 더 발전해야 할 과제입니다.

---

💡 결론: 왜 이 연구가 중요할까요?

이 논문은 단순히 "어떤 기술이 좋은가"를 나열하는 것을 넘어, 의료 AI 를 개발하는 사람들에게 '레시피'와 '나침반'을 제공합니다.

• 의사들에게는: AI 가 어떻게 진단을 내리는지 이해하는 데 도움을 주어, 환자에게 더 정확한 치료 계획을 세울 수 있게 합니다.
• 연구자들에게는: "무작정 섞지 말고, 중간 단계에서 서로 대화하게 하라"는 명확한 방향을 제시합니다.

결국 이 기술은 환자의 다양한 정보 (사진, 글, 숫자) 를 하나의 통합된 시선으로 바라보게 함으로써, 더 빠르고 정확한 질병 진단과 치료에 기여할 것입니다. 마치 여러 명의 전문가가 모여서 환자를会诊 (진료) 하듯, AI 도 다양한 데이터를 함께 보며 더 똑똑한 의사가 되어가는 과정이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

• 데이터의 복잡성과 이질성: 생물의학 데이터는 영상 (MRI, CT 등), 텍스트 (임상 기록), 유전체 정보, 시계열 데이터 등 다양한 모달리티로 구성되어 있으며, 고차원적이고 이질적입니다.
• 기존 융합 기법의 한계:
  • 초기 융합 (Early Fusion): 데이터 수준에서 특징을 결합하여 모달리티 고유의 특성을 잃을 수 있습니다.
  • 후기 융합 (Late Fusion): 결정 수준에서 결합하여 모달리티 간의 깊은 상호작용을 포착하지 못합니다.
  • 중간 융합 (Intermediate Fusion): 특징 추출 단계에서 모달리티별 특징을 결합하므로 가장 유망하지만, 생물의학 분야에서는 체계적인 분류와 표준화된 분석이 부족했습니다.
• 연구의 필요성: 중간 융합 기법들이 어떻게 적용되고 있는지, 어떤 도전 과제가 있는지, 그리고 향후 연구 방향은 무엇인지에 대한 체계적인 가이드가 부재했습니다.

2. 방법론 (Methodology)

• 데이터 수집 및 선정: PubMed, IEEE Xplore, Scopus, Google Scholar 등 주요 데이터베이스를 검색하여 2024 년 8 월 기준까지 발표된 논문을 대상으로 했습니다.
  • 포함 기준: 생물의학 응용, 다중 모달 데이터 사용, 딥러닝 기반 중간 융합 (End-to-End) 적용.
  • 제외 기준: 리뷰 논문, 비동료 심사 자료, 단일 모달리티 연구, 초기/후기 융합 위주 연구 등.
• 분석 대상: 최종적으로 54 편의 논문을 선정하여 심층 분석했습니다.
• 분석 프레임워크: 논문의 구성 요소를 다음과 같이 세분화하여 분석했습니다.
  1. 모달리티 (Modalities): 입력 데이터의 유형 (영상, 표, 텍스트, 시계열 등).
  2. 단일 모달 모듈 (Unimodal Module): 각 모달리티를 처리하는 신경망 아키텍처 (CNN, FCNN, RNN, Transformer 등).
  3. 융합 모듈 (Fusion Module): 특징을 결합하는 방식 (연결, 어텐션, 텐서 연산 등).
  4. 다중 모달 모듈 (Multimodal Module): 융합된 특징을 최종 태스크에 맞게 처리하는 모듈.
  5. 학습 전략 (Learning Strategies): 전이 학습, 손실 함수, 결측 모달리티 처리, 설명 가능성 (XAI) 등.

3. 주요 기여 (Key Contributions)

1. 체계적인 분류 체계 (Taxonomy) 및 표기법 제안:
   • 중간 융합 아키텍처를 분석하기 위한 공식적인 수학적 표기법을 도입했습니다. (예: $F_i = \bullet(\alpha_j^l, \alpha_k^m)$)
   • 이 표기법은 '무엇을 (What)', '몇 번 (How Many)', '언제 (When)', '어떻게 (How)' 융합하는지를 명확히 구분하여, 복잡한 융합 구조를 표준화하고 다른 도메인으로의 확장을 가능하게 합니다.
2. 생물의학 분야의 중간 융합 현황 심층 분석:
   • 54 편의 논문을 바탕으로 사용된 모달리티, 아키텍처, 융합 전략, 데이터셋 특성 등을 정량적으로 분석했습니다.
   • 특히 결측 모달리티 (Missing Modalities) 처리, **전이 학습 (Transfer Learning)**의 현황, 설명 가능성 (Explainability) 부족 문제 등을 지적했습니다.
3. 보조 자료 (Supplementary Materials) 공개:
   • 분석된 54 편의 논문별 상세 정보 (수식, 그래프, 분류) 를 GitHub 에 공개하여 연구의 재현성과 투명성을 높였습니다.

4. 주요 결과 (Key Results)

• 모달리티 및 데이터:
  • 가장 많이 사용된 모달리티는 **영상 (37%)**과 **표 (Tabular) 데이터 (35%)**였으며, MRI 와 임상 데이터의 조합이 가장 흔했습니다.
  • 데이터는 대부분 공개된 실제 데이터셋을 사용했으나, 결측 모달리티를 명시적으로 처리한 논문은 54 편 중 4 편에 불과했습니다.
  • 클래스 불균형 (Class Imbalance) 문제가 흔했으나, 이를 해결하기 위한 기법을 적용한 연구는 37% 에 그쳤습니다.
• 아키텍처 및 융합 전략:
  • 단일 모달 모듈: 영상 처리에는 CNN이, 표 데이터에는 FCNN이 주로 사용되었습니다.
  • 융합 방식: 가장 흔한 전략은 단일 급작스러운 융합 (Single Sudden Fusion) (35/54) 이었으며, 주로 연결 (Concatenation) 연산이 사용되었습니다.
  • 융합 타이밍: 비동기 (Asynchronous) 방식 (각 모달리티가 다른 깊이의 레이어를 통과한 후 융합) 이 동기 방식보다 우세했습니다.
  • 다중 모달 모듈: 융합된 특징을 처리하는 모듈은 대부분 FCNN으로 구성되었으며, 단일 모달 모듈보다 파라미터 수가 적은 경우가 많았습니다.
• 학습 및 평가:
  • 전이 학습: 데이터 부족 문제를 해결하기 위해 전이 학습을 사용한 연구는 11 편에 불과했으며, 대부분 ImageNet 등 일반 도메인 모델을 사용했습니다.
  • 결측 모달리티: 대부분의 모델은 결측 데이터에 대해 **비강건 (Not Robust)**했습니다.
  • 실험 설계: 많은 연구가 통계적 유의성 검정이나 외부 검증 세트를 사용하지 않았으며, 코드 공개 비율도 낮았습니다 (11/54).
  • 설명 가능성: 54 편 중 34 편은 설명 가능성 (XAI) 을 다루지 않았거나 미래 과제로만 언급했습니다.

5. 의의 및 결론 (Significance)

• 연구 가이드라인 제공: 생물의학 분야에서 중간 융합을 설계할 때 고려해야 할 아키텍처 선택, 데이터 처리, 학습 전략 등에 대한 명확한 기준을 제시했습니다.
• 표준화 및 확장성: 제안된 표기법과 분류 체계는 생물의학을 넘어 다른 도메인의 다중 모달 학습 연구에도 적용 가능한 공통 언어를 제공합니다.
• 향후 연구 방향 제시:
  • 결측 모달리티 처리: 임상 환경에서 필수적인 결측 데이터에 강건한 모델 개발 필요.
  • 설명 가능성 (XAI): 의료 현장의 신뢰성을 위해 모델의 의사결정 과정을 해석할 수 있는 기법 도입 필요.
  • 실험의 엄격성: 통계적 검증, 외부 검증, 코드 공개 등 재현성 있는 연구 관행 정착 필요.
  • 전이 학습: 의료 도메인 특화 전이 학습 (Medical Pre-training) 에 대한 연구 확대 필요.

이 논문은 중간 융합 기법이 생물의학 진단, 예후 예측, 치료 계획 수립 등에 어떻게 기여할 수 있는지 이해하는 데 필수적인 기초를 마련하며, 보다 정교하고 신뢰할 수 있는 다중 모달 모델 개발을 위한 로드맵을 제시합니다.