Do Medical Foundation Models Generalize on the African Brain?

의사들이 수백만 권의 의학 교과서를 읽고 수많은 X선 사진과 스캔을 살펴본 초지능형 비서가 있는 세상을 상상해 보세요. 이 비서는 "파운데이션 모델(Foundation Model)"이라고 불립니다. 이것은 북미와 유럽의 가장 진보되고 잘 갖춰진 도서관에서 평생을 공부한 아주 똑똑한 학생과 같습니다. 이 학생은 뇌 스캔에서 패턴을 찾아내는 데, 예를 들어 종양을 발견하거나 치매를 판별하는 데 매우 뛰어납니다. 하지만 문제는 이 학생이 아프리카의 도서관을 실제로 방문해 본 적이 없다는 점입니다. 그곳의 책들이 어떻게 생겼는지, 조명은 어떻게 다른지, 혹은 환자들의 배경이 어떻게 다른지 알지 못합니다.

과학자들이 던지는 큰 질문은 이것입니다. 만약 이 초지능형 학생이 나이지리아나 다른 아프리카 국가의 의사를 도우려 한다면, 여전히 똑똑할 수 있을까요? 아니면 "책"(뇌 스캔)의 모습이 다르기 때문에 혼란에 빠질까요? 이는 매우 중요한 문제입니다. 만약 이 스마트한 AI 도구들이 특정 집단에게만 잘 작동한다면, 의도치 않게 실수를 저질러 불공정한 의료 환경을 만들 수 있기 때문입니다. 연구자들은 이 디지털 두뇌들이 진정으로 보편적인지, 아니면 아프리카 환자들에 대한 사각지대를 가지고 있는지 확인하고 싶었습니다.

---

위대한 뇌 스캔 테스트

이 연구에서 연구팀은 이 "파운데이션 모델"들을 궁극적인 테스트에 투입하기로 했습니다. 그들은 두 가지 매우 다른 유형의 AI 비서를 데려와 아프리카 환자들의 뇌 스캔을 사용하여 두 가지 서로 다른 작업을 수행하게 했습니다.

첫 번째 작업은 탐정 게임이었습니다. AI가 뇌 스캔을 보고 사람이 치매(기억력에 영향을 미치는 질환)를 앓고 있는지, 아니면 건강한 상태인지를 맞출 수 있을까요? 연구진은 나이지리아의 데이터셋을 사용했습니다.
두 번째 작업은 색칠 공부 게임이었습니다. AI가 스캔 영상을 보고 뇌종양의 윤곽을 완벽하게 그려낼 수 있을까요? 연구진은 사하라 이남 아프리카의 데이터셋을 사용했습니다.

AI가 공정한지를 확인하기 위해, 연구진은 동일한 테스트를 미국과 네덜란드의 뇌 스캔을 사용하여 AI에게도 실시했습니다. 그들은 AI가 "고향" 데이터(미국/유럽)에서 더 잘 수행하는지, 아니면 "새로운" 데이터(아프리카)도 그만큼 잘 다룰 수 있는지 알고 싶었습니다.

탐정 게임 결과: "그저 그렇다, 별 차이 없다"

탐정 게임(치매 분류)에 있어서 결과는 다소 실망스러웠습니다. 연구진은 이러한 화려한 사전 학습된 AI 모델들이 이 특정 작업을 위해 처음부터 구축된 기본적인 AI보다 딱히 더 나은 성능을 보여주지 못한다는 것을 발견했습니다.

• 나이지리아 데이터에 대해, 가장 뛰어난 파운데이션 모델(BrainIAC)은 0.86의 점수(정확하게 맞히는 정도를 나타내는 척도)를 받았습니다.
• 처음부터 만든 기본 AI는 0.85의 점수를 받았습니다.

이는 숙련된 셰프에게 한 번도 본 적 없는 레시피를 주는 것과 같습니다. 그들은 적당히 해낼 수는 있겠지만, 현지 식재료를 완벽하게 알고 있는 현지 요리사보다 반드시 더 낫다고 할 수는 없습니다. 연구진은 치매와 같이 미묘한 것을 포착하는 데 있어서는, 이 거대한 사전 학습 모델들이 환자가 아프리카인이든 유럽인이든 상관없이 큰 이점을 제공하지 않는다고 제안합니다.

색칠 공부 게임 결과: "와우, 빛을 발하다!"

하지만 연구진이 색칠 공부 게임(종양 분할)으로 전환하자 이야기는 완전히 바뀌었습니다. 여기서 파운데이션 모델들은 그야말로 스타였습니다.

• Med-SAM2라고 불리는 한 모델은 아프리카 종양 데이터에서 0.86이라는 점수를 기록하며 압도적인 모습을 보였습니다.
• 처음부터 만든 기본 AI는 어땠을까요? 다양한 종류의 스캔 이미지를 볼 때 단 0.21의 점수를 얻으며 고전했습니다. 가장 좋은 유형의 이미지만 보았을 때조차 기본 AI는 0.55에 그쳤습니다.

마치 파운데이션 모델들은 이미 수백만 번 모양 그리기 연습을 해왔기에, 새로운 종양을 보았을 때 즉각적으로 놀라운 정밀도로 윤곽을 그려낼 수 있었던 것과 같습니다. 반면, 종양을 한 번도 본 적 없는 기본 AI는 그저 무작위로 추측하고 있었습니다. 이러한 엄청난 향상은 아프리카 데이터와 유럽 데이터 모두에서 나타났으며, 이는 이 모델들이 어디에서든 종양을 찾고 윤곽을 그리는 데 탁월하다는 것을 시사합니다.

큰 놀라움: "편향성"은 발견되지 않았다

이 이야기에서 가장 흥endo한 부분은 연구진이 발견하지 못한 것입니다. 연구진은 AI가 주로 유럽인 데이터를 바탕으로 학습되었기 때문에 아프리카 환자의 뇌를 이해하는 데 훨씬 못 미치는, 즉 "편향된" 모습을 보일까 봐 걱정했습니다.

하지만 결과는 AI가 아프리카 환자에게 본질적으로 편향되어 있지 않음을 보여주었습니다.

• 연구진이 점수를 비교했을 때, AI가 아프리카 데이터에서 수행한 성적과 유럽 데이터에서의 성적 차이는 작고 일관성이 없었습니다. 때로는 아프리카에서 약간 더 좋았고, 때로는 다른 쪽이 더 좋기도 했습니다.
• AI가 유럽 데이터에서 더 높은 성적을 낸 주된 이유는 데이터가 "더 좋아서"나 AI가 유럽 데이터를 "선호해서"가 아니었습니다. 단순히 데이터의 양이 더 많았기 때문이었습니다. AI에게 유럽의 학습 사례를 더 많이 주었을 때 성능이 좋아졌지만, 사례의 수를 동일하게 맞추었을 때(아프리카 150개, 유럽 150개) 성능은 거의 비슷했습니다.

진짜 문제: 데이터의 부족

그렇다면 진짜 문제는 무엇일까요? 논문은 문제가 AI의 인종차별이나 편향성이 아니라, AI를 제대로 가르칠 수 있는 아프리카 뇌 스캔 데이터 자체가 충분하지 않다는 점이라고 시사합니다.

연구진은 사용된 아프리카 데이터셋이 상당히 작다는 점을 지적했습니다. 예를 들어, 치매 데이터셋에는 단 50명의 데이터가 있었던 반면, 유럽 데이터에는 97명이 있었습니다. 종양 데이터셋의 경우 아프리카는 146개의 스캔이었으나 유럽은 625개라는 방대한 양이었습니다.

연구는 결론적으로 이 파운데이션 모델들이 아프리카의 뇌에 효과적으로 일반화될 수 있다고 밝히고 있습니다. 이 모델들에게는 본질적인 "사각지대"가 없습니다. 하지만 아프리카의 스캔 데이터가 매우 적기 때문에 100% 확신하기는 어려우며, 더 많은 데이터가 있다면 모델이 더 많이 배울 수 있음에도 불구하고 현재는 그만큼 배우지 못하고 있습니다. 가장 큰 장벽은 AI의 지능이 아니라, AI를 훈련하고 테스트할 수 있는 아프리카 병원으로부터의 다양하고 고품질인 데이터의 부재입니다.

요약하자면, 초지능형 AI 비서들은 아프리카 의사들을 도울 준비가 되어 있지만, 그들이 직무를 더 잘 수행할 수 있도록 더 많은 아프리카 뇌 스캔을 공부할 기회를 주어야 합니다.