Cross-Outbreak Transfer Learning Under Data/Label Scarcity: Foundation ML model for epidemiology

탐정의 딜레마: 오래된 단서가 새로운 범죄에 맞지 않을 때

당신이 새롭고 신비로운 범죄를 해결하려는 탐정이라고 상상해 보십시오. 당신에게는 과거에 해결된 사건들의 방대한 파일 캐비닛이 있습니다. 도둑들이 어떻게 집에 침입했는지, 도둑들이 어떻게 보석을 훔쳤는지, 그리고 그들이 어떻게 잡혔는지에 대한 수천 페이지의 기록이 담겨 있습니다. 이것이 당신의 "훈련 데이터"입니다. 이제 당신의 책상 위에 새로운 사건 하나가 놓였습니다. 다른 도시에서 발생한, 규칙도 다르고 생소하며 희귀한 강도 사건입니다. 당신에게 주어진 것은 단 32개 또는 64개의 단서가 적힌 작은 종이 한 장뿐입니다.

인공지능(AI)의 세계에서도 새로운 질병 유행이 시작될 때 정확히 이런 일이 일듭니다. 과학자들은 과거의 유행병(예: 2022년 엠폭스 바이러스)으로부터 얻은 방대한 데이터를 가지고 있지만, 새로운 유행(이 이야기에서는 2026년 에볼라 발생)이 나타나면 확진 환자의 기록이 손에 꼽을 정도로 적은 경우가 많습니다. 이를 "데이터 희소성(data scarcity)"이라고 부릅니다. 질문은 이것입니다: 우리는 컴퓨터가 과거 사례의 "경험"을 사용하여 새로운 문제를 해결하도록 가르칠 수 있을까요?

까다로운 점은 모든 질병이 다르다는 것입니다. 엠폭스에 대해 학습된 모델은 "발열"이 "고위험"을 의미한다고 배울 수 있지만, 새로운 에볼라 발생에서는 누가 병에 걸린 것으로 확진되는지에 대한 규칙이 완전히 다를 수 있습니다. 만약 컴퓨터가 과거의 습관을 맹목적으로 복제한다면, 위험한 실수를 저지를 수 있습니다. 이를 "부정적 전이(negative transfer)"라고 합니다. 이는 마치 체스의 규칙을 사용하여 체커 문제를 풀려고 하는 것과 같습니다. 이 연구의 목표는 언제 과거의 경험에 귀를 기울이고 언제 그것을 무시해야 하는지 아는 똑똑한 AI 탐정을 구축하여, 현재의 비상 상황이 가진 새롭고 기이한 규칙들 때문에 혼란에 빠지지 않도록 하는 것입니다.

논문의 이야기: AI에게 똑똑한 탐정이 되는 법을 가르치기

이 논문은 역학(질병이 어떻게 퍼지는지 연구하는 학문)을 위한 새로운 AI 모델 구축 방식인 OBFM-SafeEnsemble을 소개합니다. 연구진은 2나 69,595개의 기록을 가진 2022년 엠폭스 유행 데이터로 학습된 모델을 가져와서, 단 2,900개의 기록만을 가진(심지어 시작할 때 레이블이 붙은 기록이 32개뿐인 경우도 있는) 2026년의 훨씬 작은 에볼라 유행을 예측하는 데 사용할 수 있는지 확인하고자 했습니다.

"그저 복제하기"의 문제점
먼저, 연구진은 가장 뻔한 접근 방식을 시도했습니다. 그냥 예전의 엠폭스 모델을 가져와서 새로운 에볼라 데이터에 대해 추측하게 하는 것입니다. 이를 "제로샷(zero-shot)" 전이라고 합니다. 결과는 어땠을까요? 재앙이었습니다. 모델은 무작위 추측보다 나은 성과를 내지 못했습니다(AUROC 0.487, 사실상 동전 던지기와 다를 바 없음). 왜일까요? 예전 모델이 엠폭스에 특화된 특정 지름길들을 학습했기 때문에 에볼라에는 적용되지 않았기 때문입니다. 이는 마치 소매치기를 잡는 법만 아는 탐정이 은행 강도 사건을 해결하려는 것과 같았습니다. 기술이 맞지 않았던 것입니다. 심지어 모델이 레이블이 없는 새로운 에볼라 기록을 "읽게" 만드는 것(unlabeled adaptation)조차 아주 조금의 도움만 주었을 뿐, 점수를 0.523으로 올리는 데 그쳤으며 이는 여전히 유용하지 않은 수준이었습니다.

"안전한" 해결책: 듣기는 하되, 복종하지는 않기
연구진은 그 후 OBFM-SafeEnsemble이라는 더 똑똑한 시스템을 구축했습니다. 새로운 모델이 예전 모델에 복종하도록 강요하는 대신, 예전 모델의 지식을 "법"이 아닌 "조언"으로 취급했습니다.

작동 방식은 간단한 비유를 통해 설명할 수 있습니다:
당신이 새로운 케이크(에볼라 발생)를 굽고 있는데, 달걀(레이블 데이터)이 몇 개 없습니다. 당신에게는 다른 종류의 케이크(엠폭스 발생)를 위한 유명한 레시피 북이 있습니다.

1. 옛날 방식: 당신은 옛날 레시피를 맹목적으로 따릅니다. 재료가 다르기 때문에 케이크 맛이 이상해집니다.
2. 새로운 방식 (SafeEnsemble): 당신은 몇 번의 테스트 배치를 굽습니다. 한 배치는 당신만의 새로운 레시피를 따릅니다. 다른 배치는 옛날 레시피를 조금 섞습니다. 당신은 그것들을 모두 맛봅니다. 만약 섞은 것이 맛이 더 좋다면, 그것을 유지합니다. 만약 옛날 레시피가 케이크를 망친다면, 그것을 버리고 당신의 레시피대로 갑니다.

기술적인 용어로, 이 시스템은 여러 개의 서로 다른 "헤드(heads, 예측기)"를 훈련시킵니다. 어떤 것들은 오직 새로운 에볼라 데이터에만 의존합니다. 다른 것들은 예전의 엠폭스 데이터를 "사전 정보(prior, 부드러운 제안)"로 사용하려고 시도합니다. 그런 다음 시스템은 별도의 "검증(validation)" 세트를 통해 어떤 조합이 가장 잘 작동하는지 확인합니다. 결정적으로, 시스템에는 안전 스위치가 있습니다. 만약 예전 데이터가 상황을 악화시킨다면, 시스템은 자동으로 그것을 무시하고 오직 새로운 데이터로만 훈련된 모델로 돌아갑니다.

연구진이 발견한 것
결과는 유망했지만, 매우 중요한 조건이 있었습니다. 바로 "안전" 기능이 필수적이었다는 점입니다.

• 레이블이 부족할 때 (32~64개의 기록): 세이프 앙상블 모델은 새로운 데이터로만 훈련된 모델보다 현저히 뛰어났습니다. 예를 들어, 64개의 기록이 있을 때, 세이프 모델은 순위 점수(AUROC)를 0.452에서 0.687로 높였습니다. 이는 엄청난 도약입니다.
• "평균화"의 기술: 연구진은 단 하나의 "최고" 모델을 선택하는 것이 너무 위험할 수 있다는 것을 발견했습니다. 데이터가 너무 적으면 "최고"의 모델이 그저 운이 좋았던 것일 수도 있기 때문입니다. 대신, 그들은 여러 좋은 후보 모델의 예측을 평균화하는 것(상위 2~3개의 후보의 평균을 내는 것과 같은 방식)이 결과를 훨씬 더 안정적이고 정확하게 만든다는 것을 발견했습니다.
• 안전망: 새로운 데이터가 늘어남에 따라(최대 128개 기록), 시스템은 자연스럽게 예전 엠폭스의 조언에 덜 의존하게 되었습니다. 128개의 기록에 도달했을 때, 시스템은 새로운 데이터가 스스로 서기에 충분히 강력해졌기 때문에 예전 데이터를 거의 무시했습니다. 이는 시스템이 "부정적 전이"를 성공적으로 피했다는 것을 증명했습니다. 즉, 시스템은 언제 옛날 조언을 멈춰야 할지 알았던 것입니다.

이 논문이 부정하는 것들
논문은 AI 분야의 몇 가지 일반적인 생각에 대해 명시적으로 반박합니다:

• 맹목적인 미세 조정(Fine-Tuning): 거대한 모델을 가져와서 아주 작은 새로운 데이터셋으로 모든 부분을 업데이트하려고 하는 것은 불안정하며 종종 최악의 결과를 초래한다는 것을 보여주었습니다.
• 제로샷이면 충분하다: 단순히 예전 데이터로 모델을 사전 훈련시킨 뒤, 새로운 훈련 없이 모델이 추측하게 두는 것만으로는 충분하지 않다는 것을 증명했습니다. 유행 사이에는 데이터의 "의미"가 너무 많이 변하기 때문입니다.
• 복잡성이 최고다: 더 복-잡한 신경망 층을 추가하는 것이 도움이 되지 않는다는 것을 발견했습니다. 오히려 여러 가지 접근 방식을 평균화한 단순한 모델이 단일한 초복잡 모델보다 더 효과적이었습니다.

얼마나 확실한가?
저자들은 이러한 결과가 특정 데이터 분할과 에볼라 데이터의 단일 스냅샷을 기반으로 한다는 점을 신중하게 밝히고 있습니다. 그들은 개선 정도(예: 64개 레이블에서의 +0.235 이득)를 측정했고, 실험 범위 내에서 그것이 실제임을 확인했습니다. 그러나 테스트 데이터를 개발하는 데 사용했기 때문에, 모델이 테스트 세트를 "암기"했을 위험이 있다는 점도 인정합니다. 그들은 다음 단계로, 이 방법이 실제 세상에서 작동함을 증명하기 위해 다른 시간이나 장소에서 가져온 완전히 새로운, 고정된 데이터셋에서 테스트할 것을 제안합니다.

핵심 요약
이 논문은 우리가 과거의 유행으로부터 배워서 새로운 유행을 돕는 AI를 구축할 수 있음을 시사하지만, 반드시 "안전 밸브"를 만들어야 한다는 점을 강조합니다. AI는 단순히 과거의 지식을 복사-붙여넣기 해서는 안 됩니다. 과거의 지식을 약한 제안으로 취급하고, 새로운 현실에 비추어 테스트하며, 그것이 맞지 않는다면 기꺼이 버릴 수 있어야 합니다. 여러 가지 추측을 평균화하고 항상 "질병 전용" 백업 계획을 유지함으로써, 이 시스템은 데이터가 가장 부족할 때 아주 적은 양의 새로운 데이터를 훨씬 더 똑똑한 예측기로 바꾸어 놓았습니다.