Challenges and proposed solutions in modeling multimodal medical data: A systematic review

당신이 거대하고 복잡한 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 그런데 단순히 퍼즐 조각이 들어 있는 상자 하나가 아니라, 여러 개의 상자를 가지고 있습니다. 한 상자에는 화려한 사진들(의료 영상 같은 것)이 들어 있고, 다른 한 상자에는 긴 숫자 목록(유전 코드 같은 것)이 들어 있으며, 세 번째 상자에는 일기 기록(환자 기록 같은 것)이, 네 번째 상자에는 스마트워치 데이터(심박수 같은 것)가 들어 있습니다. 의학계에서는 이를 **멀티모달 데이터(multimodal data)**라고 부릅니다. "멀티(Multi)"는 '많은'을 의미하고, "모달(modal)"은 정보의 서로 다른 유형이나 '양식(modes)'을 의미합니다. 의사들은 X-ray나 혈액 검사 중 하나만 보는 것이 영화 전체를 이해하기 위해 단 하나의 프레임만 보는 것과 같다는 사실을 항상 알고 있었습니다. 환자의 건강이라는 전체 이야기를 이해하려면 이 모든 서로 다른 조각들을 결합해야 합니다.

하지만 이 서로 다른 퍼즐 상자들을 섞는 것은 매우 까다로운 일입니다. 조각들이 자연스럽게 맞물리지 않기 때문입니다. 모양, 크기, 색깔이 모두 다릅니다. 어떤 상자는 조각이 통째로 빠져 있기도 하고, 어떤 상자는 수천 개의 아주 작은 조각이 있는 반면 다른 상자는 몇 개밖에 없기도 하며, 때로는 조각이 너무 작거나 그림이 너무 흐릿해서 무엇을 나타내는지 알기 어려울 때도 있습니다. 이것이 바로 인공지능(AI) 분야의 과학자들이 해결하려고 노력 중인 문제입니다. 그들은 이 다양한 퍼즐 상자들을 결합하여 의사들이 더 나은 결정을 내릴 수 있도록 돕는 컴퓨터 프로그램을 만들고 있습니다. 하지만 완벽한 로봇 퍼즐 해결사를 만들기 전에, 그들은 현실 세계의 무질서함을 어떻게 다룰지 먼저 알아내야 합니다.

이 논문은 이 퍼즐을 풀기 위해 노력해 온 지난 10년간의 거대한 "성적표"입니다. 저자들인 독일 대학 연구진은 새로운 로봇을 직접 만든 것이 아닙니다. 대신 그들은 탐정처럼 행동하여 2011년부터 2023년 말까지 발표된 69개의 서로 다른 연구를 추적했습니다. 그들은 이 연구들을 하나하나 읽으며, 과학자들이 의료 데이터를 혼합할 때 어떤 문제에 부딪혔는지, 그리고 더 중요한 것은 그 문제들을 해결하기 위해 어떤 기술(tricks)을 사용했는지를 찾아냈습니다. 그들은 알고 싶었습니다. 이 분야의 가장 큰 골칫거리는 무엇이며, 우리는 그것들을 해결하는 데 있어 정말 나아지고 있는가?

다섯 가지 큰 골칫거리

수백 편의 논문을 분류한 끝에, 팀은 거의 모든 사람이 동일한 다섯 가지 전투를 치르고 있다는 것을 발견했습니다.

1. 누락된 조각 문제 (The Missing Piece Problem)
퍼즐을 풀려고 하는데, 어떤 환자의 경우 "X-ray" 상자가 완전히 비어 있다고 상상해 보세요. 기계가 고장 났거나, 환자가 검사 비용을 감당하지 못했거나, 혹은 연구에서 중도 탈락했을 수도 있습니다. 현실 세계에서는 이런 일이 항상 일어납니다. 논문에 따르면 **69개 연구 중 15개(약 22%)**가 이 문제를 다뤄야 했습니다.

• 해결책: 단순히 추측하거나 빈칸으로 남겨두는 대신, 똑똑한 컴퓨터 프로그램은 누락된 조각을 "환각(hallucinate)"하는 법을 배우고 있습니다. 그들은 **생성적 적대 신경망(GANs)**과 같은 기술을 사용하는데, 이는 마치 두 명의 AI 예술가가 게임을 하는 것과 같습니다. 한 명은 진짜처럼 보이는 가짜 X-ray를 그리려 하고, 다른 한 명은 그 가짜를 찾아내려 합니다. 이 연습을 통해 AI는 누락된 데이터에 대한 현실적인 추측을 만들어내는 법을 배웁니다. 다른 방법으로는 '지식 증류(knowledge distillation)'를 사용하는데, 이는 한 종류의 데이터에 대해 모든 것을 알고 있는 '교사' AI가 '학생' AI에게 모든 조각을 보지 못했더라도 나머지 부분을 어떻게 추측할 수 있는지 가르치는 방식입니다.

2. 작은 군중 문제 (The Tiny Crowd Problem)
때때로 퍼즐은 있지만, 그것을 푸는 데 도움을 줄 사람이 아주 소수뿐일 때가 있습니다. 의료 연구에서는 이를 **작은 데이터셋(small dataset)**이라고 부릅니다. 논문은 이것이 **17개 연구(25%)**에서 나타난 가장 흔한 과제였다고 밝혔습니다. 만약 단 다섯 개의 예시만 가지고 희귀 질환을 인식하도록 컴퓨터를 가르치려 한다면, 컴퓨터는 아마 그 다섯 개의 사진을 그냥 암기해 버리고 새로운 사진을 보았을 때는 실패할 것입니다.

• 해결책: 이를 극복하기 위해 연구자들은 **전이 학습(Transfer Learning)**을 사용합니다. 이것은 일반적인 사진(고양이나 자동차 같은 것)에 대해 이미 백만 시간 동안 공부한 학생에게 의료 영상에 대한 속성 과외를 해주는 것과 같습니다. 또한, 컴퓨터가 가진 몇 안 되는 사진을 인위적으로 회전시키거나, 뒤집거나, 밝기를 조절하여 "새로운" 연습용 사진을 만들어내는 데이터 증강(Data Augmentation) 기법을 사용하여, 작은 군중을 거대한 경기장처럼 느껴지게 만듭니다.

3. 크기 불일치 문제 (The Size Mismatch Problem)
모래 한 양동이를 쌀알 한 알과 섞으려고 한다고 상상해 보세요. 모래 양동대는 영상 데이터(수백만 개의 픽셀을 가질 수 있음)를 나타내고, 쌀알 한 알은 유전체 데이터(수천 개의 숫자만 있을 수 있음)를 나타냅니다. 만약 이 둘을 그냥 쏟아부으면, 컴퓨터는 쌀알을 무시하고 모래만 보게 될 것입니다. 이것을 **차원의 불균형(imbalance in dimensionality)**이라고 하며, 7개의 연구가 이 문제를 다루었습니다.

• 해결책: 해결책은 모래 양동이를 쌀알 크기로 줄이거나, 쌀알에 특별한 "가중치"를 부여하여 컴퓨터가 주목하게 만드는 것입니다. 연구자들은 **가중 손실 함수(weighted loss functions)**를 사용하는데, 이는 심판이 "이봐, 작은 데이터를 무시하지 마! 이것도 중요해!"라고 외치는 것과 같습니다. 이는 컴퓨터가 거대한 영상과 작은 유전 목록을 모두 동등하게 경청하도록 강제합니다.

4. "블랙박스" 문제 (The "Black Box" Problem)
컴퓨터가 퍼즐을 완벽하게 풀었을 때조차, 종종 어떻게 풀었는지 설명을 거부하곤 합니다. 의학에서 이것은 위험합니다. 만약 컴퓨터가 "이 환자는 암입니다"라고 말하면서도 왜 그런 결정을 내렸는지 설명하지 못한다면, 의사는 그것을 신뢰할 수 없습니다. 이러한 **해석 가능성(interpretability)**의 부족은 14개 연구에서 과제가 되었습니다.

• 해결책: 과학자들은 AI를 위한 "손전등"을 만들고 있습니다. 그들은 Grad-CAM이나 SHAP 같은 도구를 사용하여, 컴퓨터가 결정을 내리기 위해 X-ray의 정확히 어느 부분을 보았는지, 혹은 어떤 특정 유전자를 보았는지를 강조해 보여줍니다. 이는 컴퓨터가 X-ray의 수상한 부위에 동그라미를 치며 "나는 이것을 보았기에 나의 선택을 내렸다"라고 말하는 것과 같습니다.

5. 혼합 전략 문제 (The Mixing Strategy Problem)
마지막으로, 데이터를 어떻게 섞을 것인가의 문제가 있습니다. 원본 조각들을 먼저 섞어야 할까요(초기 융합, Early Fusion)? 조각들이 부분적으로 풀린 후에 섞어야 할까요(중간 융합, Intermediate Fusion)? 아니면 각각 따로 푼 다음 마지막에 답을 합쳐야 할까요(후기 융합, Late Fusion)? 논문은 **69개 연구 중 39개(절반 이상)**가 **중간 융합(Intermediate Fusion)**을 사용했다는 것을 발견했습니다.

• 해결책: 이 접근 방식은 전문가 팀을 갖추는 것과 같습니다. X-ray 전문가와 혈액 검사 전문가는 각자의 단서를 먼저 연구한 다음, 최종 결정을 내리기 전에 중간에서 만나 의견을 교환합니다. 이것은 처음부터 모든 것을 섞거나 맨 마지막까지 기다리는 것보다 더 효과적인 것으로 보입니다.

논문이 말하는 것 (그리고 말하지 않는 것)

저자들은 완전한 승리를 선언하지 않도록 주의를 기울였습니다. 그들은 많은 영리한 기술들이 있지만, 모든 질병이나 모든 유형의 데이터에 적용되는 단 하나의 마법 같은 해결책(magic bullet)은 없다는 것을 발견했습니다. 최선의 솔루션은 당신이 풀고자 하는 구체적인 퍼즐에 따라 전적으로 달라집니다.

또한 그들은 일부 아이디어들을 명시적으로 배제했습니다. 예를 들어, 데이터의 차이점을 고려하지 않고 단순히 모든 데이터를 붙여버리는 방식(이른바 "초기 융합")은 데이터 유형이 너무 다를 때(예를 들어 비디오와 스프레드시트를 섞는 것) 종종 실패한다는 점을 지적했습니다. 또한 많은 연구가 공공 데이터셋(18개 연구에서 사용된 Alzheimer's Disease Neuroimaging Initiative나 8개 연구에서 사용된 Cancer Genome Atlas 등)에 의존하고 있다는 점을 지적했습니다. 이러한 데이터는 테스트용으로는 훌륭하지만, 논문은 여기에 너무 의존하면 실제 병원에서 발견되는 무질서한 현실 세계의 데이터에 대해 우리의 아이디어를 제대로 테스트하지 못할 수 있다고 제안합니다.

나아가 이 논문은 우려스러운 격차를 강조합니다: 단 **69개 연구 중 19개(27.5%)**만이 자신들의 데이터와 컴퓨터 코드를 공유했습니다. 이는 대부분의 영리한 솔루션들에 대해 다른 과학자들이 그 작업을 검증하거나 그 위에 새로운 것을 쌓아 올리기가 쉽지 않음을 의미합니다. 저자들은 이 분야가 단순히 완성된 케이크를 보여주는 것이 아니라, 레시피를 공유하는 것처럼 더 개방적이어야 한다고 제고합니다.

결론

이 리뷰는 우리가 진전을 보이고 있지만, 여전히 길은 울퉁불퉁하다는 것을 시사합니다. 가장 빈번한 문제는 누락된 데이터와 학습할 수 있는 충분한 사례가 부족하다는 점입니다. 현재 가장 유망한 도구들은 컴퓨터가 누락된 조각을 추측하게 하고, 다른 작업으로부터 지식을 빌려오며, 그들이 어떻게 생각하는지 볼 수 있는 "손전등"을 사용하는 것들을 포함합니다.

논문은 미래가 단 하나의 완벽한 알고리즘을 찾는 것에 있지 않다고 결론짓습니다. 대신, 누락된 조각을 처리할 수 있고, 작은 규모의 데이터와도 협력할 수 있으며, 자신의 추론 과정을 설명할 수 있는 유연한 시스템을 구축하는 것이 목표입니다. 저자들이 말했듯, 목표는 단순히 "모델을 만드는 것"을 넘어, 견고하고 신뢰할 수 있으며 실제 병원의 의사들을 도울 준비가 된 모델을 만드는 것입니다. 그때까지 퍼즐은 여전히 진행 중인 작업이지만, 우리는 분명히 조각을 찾는 능력이 좋아지고 있습니다.