MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data

이 논문은 결측 데이터를 보정하지 않고 가용 데이터만 처리하는 마스킹 자기 주의 메커니즘을 통해 불완전한 의료 데이터를 효과적으로 분석하는 새로운 트랜스포머 기반 모델인 MARIA 를 제안하고, 다양한 진단 및 예후 과제에서 기존 최첨단 모델보다 우수한 성능과 견고성을 입증했습니다.

핵심

이 논문은 의료 현장에서 매우 흔한 문제인 **"데이터가 빠졌을 때 어떻게 진단을 내릴까?"**라는 질문에 대한 새로운 해법을 제시합니다.

제목은 MARIA (Multimodal Attention Resilient to Incomplete datA) 입니다. 쉽게 말해, **"불완전한 데이터를 잘 견디는 다재다능한 의료 AI"**라고 생각하시면 됩니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "손에 없는 정보로 요리하기"

의료진은 환자를 진단할 때 다양한 정보를 모읍니다. 혈액 검사, MRI 사진, 환자의 과거 병력, 생활 습관 등 여러 가지 (모달리티) 가 있습니다. 하지만 현실에서는 항상 모든 정보가 다 들어오지 않습니다.

• 환자가 검사받으러 오지 않았거나 (모달리티 전체 누락),
• 검사 기계가 고장 나서 일부 수치가 빠져있거나 (특정 데이터 누락),
• 기록이 분실되거나 하는 경우가 많습니다.

기존의 AI 모델들은 이런 빠진 데이터를 만나면 당황합니다. 대부분은 **"가상 데이터 (Imputation)"**를 만들어서 빈칸을 채우는 방식을 썼습니다.

비유: 요리사가 레시피에 '소금'이 빠졌다고 해서, "아마도 소금이었을 거야"라고 추측해서 가짜 소금을 넣는 것과 같습니다. 이렇게 하면 요리의 맛이 원래 의도한 것과 달라질 수 있고, 오히려 독이 될 수도 있습니다.

2. MARIA 의 해법: "없는 건 무시하고, 있는 것만 집중하기"

MARIA 는 이 문제를 완전히 다른 방식으로 해결합니다. "가짜 소금"을 만들지 않습니다. 대신, **"있는 재료만 가지고 최고의 요리를 만드는 능력"**을 기릅니다.

• 마스크된 주의 (Masked Attention): MARIA 는 마치 안개 낀 날에 운전하는 사람처럼 작동합니다. 앞이 안 보이는 부분 (빠진 데이터) 은 아예 무시하고, 안개 사이로 보이는 부분 (있는 데이터) 에만 집중해서 운전합니다.
• 중간 융합 (Intermediate Fusion): 여러 가지 정보를 한 번에 섞는 것도, 각각 따로 요리해서 나중에 섞는 것도 아니라, 요리하는 중간 단계에서 서로 대화하게 합니다.
  • 비유: 여러 명의 요리사 (각각 다른 검사 데이터) 가 함께 일할 때, 한 명이 재료를 못 가져오면 그 사람은 "내가 못 가져왔으니 너네가 그 부분을 대신해 줘"라고 말하지 않고, **"나한테 있는 재료로 내가 할 수 있는 일을 하고, 너네가 가진 재료로 너네가 할 일을 해. 그리고 그 결과물을 합쳐서 최종 요리를 하자"**는 방식입니다.

3. 실험 결과: "데이터가 얼마나 없어도 이겨낸다"

연구진은 알츠하이머 진단, 코로나19 예후 예측 등 8 가지 의료 과제를 가지고 MARIA 를 기존 AI 10 개와 비교했습니다.

• 결과: 데이터가 0% 에서 75% 까지 빠지는 극단적인 상황에서도 MARIA 가 다른 모델들보다 훨씬 좋은 성적을 냈습니다.
• 특징: 데이터가 빠질수록 기존 모델들은 성능이 뚝 떨어졌지만, MARIA 는 **"데이터가 없어도 내가 할 수 있는 만큼 최선을 다한다"**는 태도로 오히려 더 강해졌습니다.

4. 왜 중요한가요?

의료 현장에서는 완벽한 데이터를 구하는 것이 거의 불가능합니다. 환자가 병원을 옮기거나, 검사를 거부하거나, 기록이 누락되는 건 일상입니다.

• 기존 방식: "데이터가 부족하니 가짜로 채워서 추측하자" → 위험할 수 있음 (오진 가능성)
• MARIA 방식: "데이터가 부족해도 있는 정보만 믿고 정확하게 판단하자" → 안전하고 신뢰할 수 있음

요약

MARIA는 **"빠진 데이터 때문에 포기하지 않고, 있는 정보만으로 최선의 판단을 내리는 똑똑한 의료 AI"**입니다. 마치 손에 재료가 부족해도 그날 가진 재료로 최고의 요리를 해내는 셰프처럼, 불완전한 현실에서도 환자를 정확하게 진단하고 미래를 예측할 수 있게 도와줍니다.

이 기술이 발전하면, 데이터가 부족한 지역이나 응급 상황에서도 AI 가 더 신뢰할 수 있는 의료 지원을 제공할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

의료 분야에서는 임상 평가, 영상, 실험실 검사, 환자 병력 등 다양한 데이터 소스 (모달리티) 를 통합하는 것이 진단 정확도와 치료 결과를 향상시키는 데 필수적입니다. 그러나 실제 임상 환경에서는 다음과 같은 이유로 데이터 불완전성 (Missing Data) 이 빈번하게 발생합니다.

• 센서 고장, 환자의 불이행, 수집 과정의 기술적 한계, 개인정보 보호 제한 등.
• 기존 머신러닝 및 딥러닝 모델은 데이터가 불완전할 경우 성능이 급격히 저하됩니다.
• 기존 접근법의 한계: 대부분의 기존 방법은 결측치를 채우기 위해 데이터 보간 (Imputation) 기법 (예: k-NN, 평균값 대체 등) 을 사용합니다. 그러나 보간은 인위적인 값을 생성하여 편향 (Bias) 을 도입하거나, 중요한 정보 손실을 초래할 수 있으며, 특히 모달리티 전체가 누락된 경우 처리가 어렵습니다.

2. 제안된 방법론 (Methodology: MARIA)

저자들은 MARIA (Multimodal Attention Resilient to Incomplete datA) 라는 새로운 트랜스포머 기반 딥러닝 모델을 제안했습니다. MARIA 는 보간 없이 결측 데이터에 강인하게 작동하도록 설계되었습니다.

• 핵심 전략: 중간 융합 (Intermediate Fusion)

  • 초기 융합 (Early Fusion): 모든 특징을 결합하므로 결측치에 매우 취약함.
  • 후기 융합 (Late Fusion): 각 모달리티별 모델을 훈련 후 결과를 합산하므로 모달리티 간 상호작용을 포착하지 못함.
  • MARIA 의 중간 융합: 각 모달리티별 인코더를 통해 잠재 표현 (Latent Representation) 을 생성한 후, 이를 공유 인코더 (Shared Encoder) 에서 융합합니다. 이는 모달리티별 정보를 유지하면서도 모달리티 간 의존성을 포착하는 균형을 이룹니다.

• 기술적 혁신: 수정된 마스크 자기-어텐션 (Modified Masked Self-Attention)

  • 보간 제거: 결측치를 채우지 않고, 가용한 데이터만 처리합니다.
  • 마스크 메커니즘:
    • 각 모달리티 인코더 ($E_i$) 와 공유 인코더 ($E_{sh}$) 는 마스크 행렬 ($M_i, M_{sh}$) 을 사용합니다.
    • 결측된 특징이나 모달리티에 해당하는 어텐션 가중치는 $-\infty$로 설정되어 Softmax 및 ReLU 연산 후 0 이 되도록 합니다.
    • 이를 통해 모델은 결측된 정보의 영향을 완전히 배제하고, 관측된 정보에만 집중하여 잠재 표현을 생성합니다.
  • NAIM 모듈 활용: 각 모달리티 (표 형식 데이터) 는 NAIM (Neural Attention Imputation-free Model) 모듈을 기반으로 한 인코더를 사용하여 특징을 임베딩합니다.

• 정규화 기법 (Regularization for Missing Data)

  • 모델의 일반화 능력을 높이기 위해 훈련 과정에서 모달리티 드롭아웃 (Modality Dropout) 과 특징 드롭아웃 (Feature Dropout) 을 적용합니다.
  • 이는 훈련 시 무작위로 모달리티나 특징을 결측으로 처리하여, 모델이 다양한 결측 수준에 적응하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 보간 없는 강인한 모델: 데이터 보간을 전혀 사용하지 않고, 오직 관측된 데이터만을 활용하여 결측 모달리티와 결측 특징에 강인한 트랜스포머 아키텍처를 제안했습니다.
2. 중간 융합 전략의 최적화: 의료 데이터의 불완전성을 처리하기 위해 모달리티별 인코더와 공유 어텐션 메커니즘을 결합한 중간 융합 전략을 효과적으로 구현했습니다.
3. 광범위한 벤치마크: 8 가지 진단 및 예후 과제 (알츠하이머병, COVID-19 등) 에서 10 가지 최첨단 머신러닝 (ML) 및 딥러닝 (DL) 모델과 비교 평가했습니다.
4. 실제 임상 환경 대응: 실제 의료 데이터에서 흔히 발생하는 높은 결측률 (최대 75%) 환경에서도 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 알츠하이머병 신경영상 이니셔티브 (ADNI) 와 AIforCOVID 데이터셋을 사용했습니다.
• 비교 대상: 32 가지 구성 (ML/DL 모델 + 보간 유무 + 융합 전략) 의 경쟁 모델.
• 성능 평가: 결측률 (0%~75%) 이 증가함에 따라 MARIA 는 모든 과제에서 가장 우수한 성능 (AUC, MCC) 을 보였습니다.
  • ML/DL 모델 대비: 결측률이 높아질수록 MARIA 와 경쟁 모델 간의 성능 격차가 더욱 벌어졌습니다. MARIA 는 훈련 데이터의 결측률이 높아질수록 그 강인함이 두드러졌습니다.
  • 융합 전략 비교:
    • ML 모델: 초기 융합 (Early Fusion) 이 후기 융합 (Late Fusion) 보다 일반적으로 우수했으나, MARIA 는 이 둘을 능가했습니다.
    • DL 모델: 기존 DL 모델의 중간 융합 버전은 초기 융합보다 성능이 낮았으나, MARIA 는 중간 융합 전략을 통해 초기/후기 융합을 모두 능가했습니다.
  • NAIM 기반 비교: MARIA 는 단일 모달리티 모델 (NAIM) 의 초기/후기 융합 버전보다도 일관되게 높은 성능을 기록했습니다.
• 결론: MARIA 는 특히 모달리티 전체가 누락된 시나리오에서 경쟁 모델 대비 압도적인 우위를 보였습니다.

5. 의의 및 시사점 (Significance)

• 임상적 신뢰성 향상: 인위적인 보간으로 인한 편향을 제거함으로써, 의료 진단 및 예후 예측의 신뢰성을 높였습니다.
• 실용성: 실제 임상 현장에서는 데이터가 항상 완벽하지 않으므로, 결측 데이터에 강인한 모델은 즉시 적용 가능한 가치를 가집니다.
• 미래 연구 방향:
  • 현재는 표 형식 (Tabular) 데이터에 최적화되어 있으나, 의료 영상이나 텍스트 데이터로 확장할 필요가 있습니다.
  • 계산 복잡도 (Computational Complexity) 를 줄이기 위한 경량화 연구가 필요하다고 저자들은 지적했습니다.

이 논문은 의료 AI 분야에서 데이터 불완전성 문제를 해결하기 위한 새로운 패러다임을 제시하며, 보간 없이도 고품질의 예측을 가능하게 하는 모델의 잠재력을 입증했습니다.