Pretraining on Adult ICU Data Accelerates Data Efficient AI Model Development in Critically Ill Children

병원은 인간의 경험이 집약된 거대한 저장소로, 모든 심장 박동, 호흡, 그리고 혈액 검사 결과를 디지털 스트림으로 기록합니다. 수십 년 동안 과학자들은 컴퓨터가 이 스트림을 읽는 법을 가르쳐서, 환자가 언제 상태가 악화될지 혹은 언제 퇴원할 준비가 되었는지를 예측하고자 노력해 왔습니다. 임상 머신러닝이라고 알려진 이 분야는 학습할 수 있는 데이터의 산더미가 있을 때 가장 잘 작동합니다. 문제는 이러한 산더미가 고르게 분포되어 있지 않다는 점입니다. 성인 중환자실은 규모가 크고 자금이 풍부하며, 연구자들이 접근하고 연구할 수 있는 방대한 양의 정보를 생성합니다. 반면, 아이들이 치료받는 소아 중환자실은 훨씬 규모가 작고, 종종 전문 센터들에 흩어져 있으며, 그 데이터는 공유되거나 쉽게 접근하기 어려운 경우가 많습니다. 이는 다음과 같은 어려운 상황을 만듭니다. 아픈 아이들을 가르칠 수 있는 충분한 사례가 부족할 때, 어떻게 아픈 아이들을 도울 똑똑한 컴퓨터 프로그램을 만들 것인가?

한 가지 잠재적인 해결책은 전이 학습(transfer learning)이라 불리는 기법입니다. 한 나라의 역사를 수년간 공부한 학생이 이웃 나라의 역사를 배우려고 노력하는 모습을 상상해 보십시오. 날짜와 사건이 다르기 때문에 이전의 노트를 그대로 복사할 수는 없겠지만, 제국이 어떻게 흥망성쇠를 거듭하는지, 혹은 지형이 정치를 어떻게 형성하는지에 대한 이해를 활용하여, 처음부터 시작하는 사람보다 훨씬 빠르게 새로운 역사를 배울 수 있습니다. 인공지능의 세계에서 이것은 성인 환자의 거대한 데이터셋으로부터 이미 학습한 모델을 가져와, 아이들에 대해 학습하는 출발점으로 사용하는 것을 의미합니다. 연구자들이 직면한 큰 질문은 이 지름길이 실제로 작동하느냐는 것이었습니다. 컴퓨터가 정말로 질병의 근본적인 패턴을 이해하여 아이들에게 도움을 줄 수 있을 만큼 충분히 파악하고 있는가, 아니면 성인과 아이 사이의 차이가 모델이 메우기에는 너무나 큰 것인가?

임페리얼 칼리지 런던과 영국의 여러 병원 연구진은 이 접근 방식의 한계를 테스트함으로써 이 질문에 답하기 위해 나섰습니다. 그들은 미국의 MIMIC-IV라고 알려진 71,000명 이상의 성인 중환자 체류 데이터를 포함하는 거대한 데이터셋으로 시작했습니다. 그들은 이 성인 데이터를 사용하여 여섯 가지 특정 과업을 수행하도록 컴퓨터 모델을 훈련시켰습니다: 사망 여부 예측, 입원 기간 예측, 신장 손상 발생 여부, 패혈증 발생 여부, 신장 기능의 상태, 그리고 인공호흡기를 뗄 준비가 되었는지 여부입니다. 일단 이 모델들이 훈련되면, 연구진은 이를 약 17,700명의 어린이 데이터를 보유한 영국의 세 곳의 서로 다른 소아 중환자실로 가져갔습니다.

첫 번째 테스트는 성인용으로 훈련된 모델을 추가적인 조정 없이 그대로 소아 환자에게 적용했을 때 어떤 일이 일어나는지 확인하는 것이었습니다. 이는 컴퓨터가 자신의 성인 지식을 새로운 상황에 직접 적용하도록 하는 '제로샷(zero-shot)' 배포로 알려져 있습니다. 결과는 명확했고 실망스러웠습니다. 모델들은 제대로 작동하지 못했습니다. 사망을 예측할 때, 성인 모델은 소아 데이터에 특화되어 훈련된 모델보다 훨씬 정확도가 떨어졌습니다. 또한 패혈증과 신장 문제를 예측할 때도 상당한 오류를 범했습니다. 사실, 모델들은 틀린 답에 대해 너무나 확신에 차 있어서, 실제로 상태가 양호한 아이들에게도 매우 높은 사망 위험을 예측하기도 했습니다. 이는 성인을 위해 구축된 모델을 가져와서 아이들에게 적용하기를 기대해서는 안 된다는 것을 보여주었습니다. 생물학적 차이가 무시하기에는 너무나 컸기 때문입니다.

하지만 이야기는 거기서 끝나지 않았습니다. 연구진은 더 미묘한 질문을 던졌습니다. 만약 성인 모델로 시작하되, 소량의 현지 소아 데이터를 통해 학습하게 한다면 모델이 더 좋아질 것인가? 그들은 성인 훈련 모델을 가져와 단 100건의 소아 환자 기록을 사용하여 '미세 조정(fine-tuning)'하는 실험을 진행했습니다. 이를 동일한 100건의 기록을 사용하여 아무것도 없는 상태에서 새롭게 훈련시킨 모델과 비교했습니다. 그 차이는 놀라웠습니다. 성인의 지식에서 시작하여 소아에게 적응한 모델이 아무것도 없는 상태에서 시작한 모델보다 성능이 월등히 높았습니다. 모든 과업과 모든 병원 현장에서, 성인의 머리 위에서 시작한 모델이 더 정확했습니다. 예를 들어, 사망을 예측할 때 그 이점은 상당했는데, 적응된 모델은 생존자와 사망자를 구별하는 훨씬 더 명확한 능력을 보여주었습니다.

연구진은 또한 데이터가 늘어남에 따라 어떤 일이 발생하는지도 살펴보았습니다. 소아 기록의 수를 100건에서 수천 건의 전체 데이터셋까지 늘림에 따라 두 접근 방식 사이의 격차는 좁혀졌습니다. 이는 당연한 결과입니다. 데이터가 충분하다면 도움 없이도 새로운 모델에게 필요한 모든 것을 가르칠 수 있기 때문입니다. 그러나 핵심적인 발견은 성인 사전 훈련이 훨씬 적은 소아 사례만으로도 모델이 높은 수준의 성능에 도달할 수 있게 해준다는 것이었습니다. 많은 경우, 성인 지식에서 시작하여 수백 명의 아이들을 통해 학습한 모델은 수천 명의 아이들을 대상으로 처음부터 훈련시킨 모델만큼이나 높은 성능을 보였습니다. 이는 데이터가 매우 적은 병원들에게 있어 성인의 지식을 토대로 삼는 것이 강력한 시작 방법이 될 수 있음을 시사합니다.

연구진은 또한 컴퓨터가 이 작업을 수행하기 위해 정확히 무엇을 바꿔야 했는지도 조사했습니다. 그들은 단순히 환자를 측정하는 수치(예를 들어 평균 혈압을 계산하는 방식)를 조정하는 것만으로는 문제를 해결하기에 충분하지 않다는 것을 발견했습니다. 컴퓨터는 데이터 포인트 간의 관계를 실제로 다시 학습해야 했습니다. 연구진이 패턴을 인식하는 부분을 고정하고 최종 결정 레이어만을 훈련시켰을 때, 모델은 크게 개선되었으며 손실되었던 정확도의 대부분을 회복했습니다. 이는 성인 모델이 신체적 스트레스와 질병에 대한 반응에 관한 유용한 패턴을 학습했지만, 그 패턴을 아이의 신체라는 특정 맥락에 적용하기 위해서는 재훈련이 필요했음을 나타냅니다.

궁극적으로, 이 연구는 소아 의료 분야에서 인공지능을 개발하기 위한 명확한 경로를 제시합니다. 성인 모델을 단순히 복사하여 붙여넣는 것으로 아이를 구할 수는 없지만, 성인 모델을 강력한 도약대로 사용할 수는 있다는 것을 보여줍니다. 방대한 성인 중환자 케어 지식에서 시작하여 현지의 소아 데이터를 통해 세심하게 적응시킴으로써, 병원은 훨씬 적은 데이터로도 훨씬 빠르게 효과적인 의사결정 지원 도구를 구축할 수 있습니다. 이 연구는 데이터가 가장 희소한 곳에서 이 접근 방식이 가장 가치 있다는 것을 확인시켜 주며, 그렇지 않았다면 뒤처졌을 작은 전문 센터들에게도 첨단 의료 AI를 도입할 수 있는 길을 열어줍니다. 이는 가장 아픈 환자들을 돕기 위한 여정에서, 우리가 차이점을 이해하려는 노력을 기울이기만 한다면 때때로 타인의 경험으로부터 배울 수 있다는 점을 상기시켜 줍니다.