💬 NLP

Large Language Models as Unified Multimodal Learners for Clinical Prediction

이 논문은 다양한 전자 건강 기록 양식들을 단일 자연어 시퀀스로 변환하고 사전 학습된 대규모 언어 모델을 엔드 투 엔드로 미세 조정하는 것이 전문화된 멀티모달 아키텍처 및 배포된 그래디언트 부스팅 시스템과 대등하거나 이를 상회하는 임상 예측 성능을 달성함을 입증하며, 이를 통해 복잡하고 작업 특화적인 퓨전 설계의 필요성을 제거한다.

원저자: Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

의료 데이터의 세계를 거대하고 혼란스러운 도서관이라고 상상해 보십시오. 한 선반에는 심박수, 혈압, 검사 결과, 환자의 연령과 같은 숫자로 가득 찬 깔끔하고 정리된 장부들이 놓여 있습니다. 다른 선반에는 의사들이 쓴, 환자가 어떻게 느끼는지에 대한 이야기와 관찰, 묘사가 가득한 지저나고 손으로 쓴 일기들이 있습니다. 수십 년 동안 건강 상태를 예측하려는 컴퓨터들은 서로 다른 두 명의 사서를 고용해야 했습니다. 한 명은 숫자만 이해하는 사서였고, 다른 한 명은 이야기만을 이해하는 사서였습니다. 이 사서들은 각자 다른 방에서 작업하며 자신들의 발견을 요약하려 애썼고, 그 후 제삼자가 그 요약본들을 어색하게 이어 붙여 결정을 내려야 했습니다. 이는 느리고 복잡했으며, 새로운 유형의 의료 질문이 생길 때마다 처음부터 완전히 새로운 도서관 시스템을 구축해야 했습니다.

여기에 거대 언어 모델(LLM)이 등장합니다. 이들을 도서관의 거의 모든 책을 집어삼킨 매우 똑똑하고 탐욕스러운 독자라고 생각해 보십시오. 이들은 인간의 언어를 이해하는 데 매우 능숙하여, 이야기를 읽고 그 안에 단어로 적힌 숫자의 의미까지 즉각적으로 파악할 수 있습니다. 연구자들이 던져온 핵심적인 질문은 이것입니다. 우리가 이 '슈퍼 독자'에게 모든 데이터—깔끔한 장부와 지저분한 일기 모두—를 건네주고, 모든 것을 하나의 단순한 이야기로 번역하여 스스로 답을 찾아내게 할 수 있을까? 만약 이것이 가능하다면, 우리는 매번 새로운 의료 문제를 위해 복잡하고 맞춤화된 라이브러리를 구축할 필요가 없을 것입니다. 대신 하나의 보편적인 번역기를 사용할 수 있게 될 것입니다.

"Large Language Models as Unified Multimodal Learners for Clinical Prediction"이라는 제목의 이 논문은 바로 그 아이디어를 깊이 있게 파고듭니다. 독일의 AI 및 의료 센터 팀으로 구성된 연구진은 다양한 유형의 환자 데이터—활력 징후, 검사 결과, 의사의 노트—를 하나의 길고 단일한 문장이나 단락으로 변환할 수 있는지 테스트했습니다. 숫자와 텍사를 결합하기 위해 설계된 특수하고 복잡한 컴퓨터 구조를 사용하는 대신, 그들은 이 '슈퍼 스토리'를 표준화된 사전 학습 AI 모델(Llama, Gemma 등)에 그대로 입력하고, AI에게 환자에게 어떤 일이 일어날지 예측하도록 요청했습니다.

결과는 놀라울 정도로 효과적이었습니다. 연구팀은 이 '하나의 이야기' 접근 방식을 세 가지 매우 다른 의료 과제에 대해 테스트했습니다: 중환자실 내 사망 여부 예측, 신장 이식 실패 가능성 추측, 그리고 응급실 방문의 긴급도 결정입니다. 모든 경우에서, 데이터를 텍스트로 변환하여 AI가 읽게 하는 이 단순한 방식은 현재 의사들이 사용하는 복잡하고 맞춤 제작된 시스템만큼, 혹은 그보다 더 뛰어난 성능을 보였습니다. 실제로 신장 이식 예측의 경우, 이들의 새로운 방식은 현재 독일의 한 병원에서 실제로 운영 중인 특정 컴퓨터 프로그램보다 더 나은 성과를 거두었습니다.

이 논문은 우리가 의료적인 퍼즐마다 새로운 화려한 기계를 발명할 필요가 없음을 시사합니다. 대신, 우리는 모든 것을 AI가 이미 유창하게 구사할 수 있는 언어로 번으로 번역하기만 하면 됩니다. 저자들은 방대한 양의 데이터를 텍스트로 변환하는 것이 때때로 '이야기'를 너무 길게 만들어(이는 AI가 한 번에 모두 읽는 데 어려움을 줄 수 있음) 까다로울 수 있다고 언급했지만, 이들의 연구 결과는 이 통합된 텍스트 기반 접근 방식이 컴퓨터가 환자의 건강에 대한 전체적인 그림을 이해하도록 돕는 강력하고 더 단순한 방법임을 보여줍니다. 이는 매 작업마다 맞춤형 도구를 만드는 것에서 벗어나, 모든 것을 처리할 수 있는 믿을 수 없을 만큼 다재다능한 하나의 도구를 사용하는 것으로의 전환입니다.

기술 요약: 임상 예측을 위한 통합 멀티모달 학습 도구로서의 대규모 언어 모델(LLM)

문제 정의
전자 건강 기록(EHR)은 본질적으로 멀티모달(multimodal)이며, 자유 텍스트 형태의 임상 서사와 구조화된 측정값(예: 활력 징후, 실험실 수치, 인구통계학적 정보)을 결합하고 있습니다. 현재의 임상 예측 시스템은 일반적으로 **태스크 특화형 융합 아키텍처(task-specific fusion architectures)**에 의존합니다. 이러한 시스템은 각 모달리티를 위한 전용 인코더를 사용한 후 학습된 결합 메커니즘(예: 게이트 어텐션, 교차 모달 트랜스포머)을 따릅니다. 이러한 방식은 효과적이긴 하지만, 상당한 실무적 제약을 수반합니다. 즉, 새로운 임상 태스크가 생길 때마다 맞춤형 아키텍처 설계, 모달리티별 전처리, 광범 والا한 튜닝이 필요합니다. 결과적으로 기존 시스템은 파편화되어 있고, 재사용이 어려우며, 다양한 환경에 배포하는 데 비용이 많이 듭니다. 또한, 최근 연구들이 구조화된 데이터를 텍스트로 직렬화(serialization)하는 것이 개별 태스크에서는 유효함을 보여주었으나, 실제 환경의 예측을 위해 자유 텍스트 서사와 구조화된 측정치를 하나의 통합된 프레임워크 내에서 체계적으로 통합하는 문제는 아직 해결되지 않았습니다.

방법론
저자들은 맞춤형 융합 아키텍처의 필요성을 제거하는 **통합 직렬화 기반 패러다임(unified serialization-based paradigm)**을 제안합니다. 핵심 방법론은 다음과 같습니다:

데이터 직렬화(Data Serialization): 모든 환자 데이터를 모달리티에 관계없이 단일 자연어 시퀀스로 변환합니다. 구조화된 변수(인구통계, 동반 질환, 실험실 수치, 활력 징후)는 키-값(key-value) 형태의 텍스트 표현으로 직렬화됩니다.
통합 입력(Unified Input): 이러한 텍스트화된 구조적 변수들을 임상 서사와 결합하여 하나의 통합된 입력 시퀀스( $x = \text{Serialize}(x_{struct}) \oplus x_{text}$ )를 형성합니다.
엔드 투 엔드 미세 조정(End-to-End Fine-Tuning): 사전 학습된 대규모 언어 모델(LLM)을 융합을 위한 별도의 아키텍처 수정 없이 이 통합 시퀀스에 대해 미세 조정합니다. 모델은 고유한 셀프 어텐션(self-attention) 메커니즘을 활용하여 교차 모달 관계를 학습합니다.
모델 평가(Model Evaluation): 이 접근 방식은 인코더 기반(ModernBERT) 및 디코더 기반(Llama 3.1, Gemma, DeepSeek-R1-Qwen, Qwen3) 아키텍처를 모두 사용하여 평가되었습니다.

실험 설정
본 방법론은 데이터 소스와 목적이 서로 다른 세 가지 별개의 임상 예측 태스크를 통해 평가되었습니다:

병원 내 사망률 (MIMIC-III): 중환자실 입원 후 48시간 이내의 사망 여부를 예측하는 이진 분류 태스크로, 임상 노트와 13개의 시계열 활력 징후/실험실 특징을 결합합니다.
이식 실패 예측 (독일 이식 센터): 사망 검열된(death-censored) 360일 이내의 이식 실패를 예측하는 이진 분류 태스크로, 임상 경과 기록과 종단적 실험실 수치, 활력 징후 및 동반 질환을 결합합니다. 이 태스크에는 현재 임상 현장에서 배포 중인 그래디언트 부스팅 결정 트리(GBDT) 모델과의 비교가 포함되었습니다.
응급 분류 (KIBATИН): 짧은 구급차 기록, 활력 징후, 통증 점수 및 글래스고 혼수 척도(GCS) 점수를 사용하여 치료 긴급도(맨체스터 분류 체계)를 예측하는 다중 클래스 분류 태스크입니다.

주요 결과
연구 결과, 통합 직렬화 모델은 확립된 멀티모달 베이스라인 모델의 성능과 일치하거나 이를 상회하는 것으로 나타났습니다:

MIMIC-III (사망률): 통합 모델(ModernBERT 및 DeepSeek-R1)은 멀티모달 데이터를 사용하여 0.93의 AUROC를 달성하였으며, 이는 전용 게이트 융합 베이스라인(0.90)보다 높은 수치입니다. 멀티모달 구성은 테스트된 모든 LLM에서 일관되게 단일 모달(unimodal) 구성보다 우수한 성능을 보였습니다.
응급 분류 (KIBATIN): 생성형 모델인 DeepSeek-R1은 직렬화된 멀티모달 입력을 통해 0.56의 Macro F1을 달성하였으며, 이는 클래식 융합 베이스라인(0.40)과 인코더 기반의 ModernBERT(0.49)를 크게 앞지른 결과입니다.
이식 실패 (PRIMA-AI): 직렬화된 LLM(ModernBERT 및 DeepSeek-R1)은 0.90의 AUROC를 달성하여, 임상에서 사용 중인 그래디언트 부스팅 시스템(0.89)을 능가했습니다. 또한 직렬화된 모델은 AUPR(0.47 vs. 0.43)에서도 더 우수한 성능을 보여, 소수 클래스(이식 실패) 탐지 능력이 뛰어남을 입증했습니다.

의의 및 주장
본 논문은 단일 직렬화 기반 패러다임이 멀티모달 임상 예측을 수행하기에 충분하며, 특화된 멀티모달 설계에 대한 간편한 대안을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

통합 프레임워크: 이질적인 EHR 데이터를 사전 학습된 LLM과 호환되는 단일 텍스트 표현으로 변환하는 일반적인 방법을 제시하여, 태스크 특화형 아키텍처의 필요성을 제거했습니다.
체계적 검증: 이 접근 방식이 중환자 치료, 이식 의학, 응급 분류 전반에 걸쳐 일반화될 수 있으며, 인코더 및 디코더 모델 모두에서 견고하게 작동함을 입증했습니다.
임상적 관련성: 이 방법은 실제 이식 실패 예측에 사용되는 프로덕션 단계의 그래디언트 부스팅 시스템보다 우수한 성능을 보여, 실제 현장 배포 가능성을 시사합니다.

한계 및 향후 과제
저자들은 텍스트 직렬화가 구조화된 데이터의 차원을 증가시켜 더 많은 토큰을 소비하고, 방대한 종단적 기록을 가진 환자의 컨텍스트 윈도우(context window)에 부담을 줄 수 있음을 인정합니다. 향후 연구에서는 효율적인 직렬화 전략과 모델이 임상의가 신뢰할 수 있는 근거를 제공할 수 있도록 하는 멀티모달 해석 가능성(interpretability)을 조사할 것을 제안합니다. 본 논문은 시간-사건(time-to-event) 모델링이나 캘리브레이션(calibration)과 같은 모든 임상 AI의 과제를 해결한다고 주장하지 않으며, 다만 통합 직렬화가 높은 예측 정확도를 유지하면서도 시스템 복잡성을 줄이는 중요한 단계임을 제시합니다.

유사한 논문