FUSEP: A Multi-Center Benchmark for Diverse Tasks in Early Pregnancy Fetal Ultrasound Screening

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보세요. 하지만 발자국이나 지문을 찾는 대신, 소용돌이치고 구름이 낀 안개 속에 숨겨진 아주 작고 보이지 않는 단서들을 찾고 있습니다. 이것이 바로 의료 초음파의 세계입니다. 의사들은 음파를 사용하여 자궁 속에서 발달 중인 아기의 모습을 촬영합니다. 하지만 이러한 이미지들은 종종 거칠고, 어둡고, "노이즈"로 가득 차 있어 중요한 세부 사항을 가리기도 합니다. 오랫동안 이 사진들을 판독하는 것은 두꺼운 장갑을 끼고 건초더미 속에서 바늘을 찾는 것과 같았습니다. 이는 전적으로 의사의 경험에 의존하며, 때로는 작지만 결정적인 단서들을 놓치기도 합니다. 이는 특히 임신 초기, 아기가 아직 아주 작은 묘목 단계일 때 매우 까다로운데, 장기들이 너무 작아 포착하기 어렵기 때문입니다. 과학자들은 "딥러닝"이라는 인공지능의 한 분야를 사용하여 컴퓨터가 더 나은 탐정이 되도록 가르치려고 노력해 왔습니다. 딥러닝은 수천 개의 사례를 보여줌으로써 컴퓨터가 패턴을 인식하도록 가르치는 것과 같습니다. 하지만 컴퓨터를 잘 가르치기 위해서는 고품질의 라벨이 붙은 방대한 라이브러리가 필요한데, 지금까지는 초기 임신 스캔을 위한 이러한 라이브러리가 부족했습니다.

이 논문은 FUSEP(Fetal Ultrasound Screening in Early Pregnancy)라는 새로운 대규모 라이브러리를 소개합니다. FUSEP를 세 개의 다른 도시에서 진행되는 거대한 보물 찾기라고 생각해 보세요. 연구진은 세 곳의 병원에서 4,017장의 초음파 이미지를 수집했습니다. 그들은 단순히 사진을 찍은 것이 아니라, 코, 뇌, 심장과 같은 아기의 신체 부위 14곳을 둘러싸는 박스를 그리는 데 수없이 많은 시간을 보냈으며, 45,000개가 넘는 전문가 라벨을 생성했습니다. 저자들은 컴퓨터가 이러한 작은 부분들을 찾아내는 데는 능숙해지고 있지만, 사진이 서로 다른 병원에서 왔거나 서로 다른 초음파 기계에서 온 경우 어려움을 겪는다는 것을 발견했습니다. 이는 마치 조명이 바뀌거나 카메라 각도가 바뀌면 혼란을 느낄 수 있는 탐정과 같습니다. 이 논문은 이 새로운 데이터셋을 사용함으로써 우리가 컴퓨터를 더 견고하게(robust) 만들 수 있고, 이미지가 완벽하지 않더라도 질병을 더 빠르고 정확하게 발견하도록 도울 수 있다고 제안합니다. 그들은 다양한 컴퓨터 "탐정"들을 테스트했으며, 어떤 것들은 더 빠르고, 어떤 것들은 더 정확하다는 것을 발견했지만, 아직 완벽한 것은 없었습니다. 이 연구는 이 새로운 벤치마크가 의사들이 심각한 문제가 되기 전에 건강 문제를 포착할 수 있도록 돕는 더 스마트한 도구를 구축하는 데 중요한 첫걸음임을 시사합니다.

큰 그림: 왜 우리는 작은 아기들을 위한 더 나은 "X-레이"가 필요한가

매년 수백만 명의 아기들이 조기에 발견될 수 있었던 건강 문제를 가지고 태어납니다. 출생 전 아기의 건강을 확인하는 가장 좋은 방법 중 하나는 초음파 검사입니다. 이것은 빛 대신 음파를 사용하여 아기의 라이브 영상을 찍는 것과 같습니다. 안전하고, 실시간이며, 아프지 않습니다. 하지만 문제는 여기에 있습니다. 임신 아주 초기(11주에서 14주 사이)에는 아기가 믿을 수 없을 정도로 작습니다. 장기들은 아주 작고, 이미지는 흐릿할 수 있습니다. 의사들은 목 뒤의 피부 두께(태아 목 투명대, Nuchal Translucency)나 머리부터 엉덩이까지의 길이(머리-엉덩이 길이, Crown-rump Length)를 측정하기 위해 특정 "표준 뷰(standard views)"—예를 들어 아기 얼굴의 완벽한 측면 프로필이나 전신 샷—를 찾아야 합니다. 만약 이 측정값이 틀리거나 코와 같은 작은 뼈가 보이지 않는다면, 이는 심각한 문제를 암시할 수 있습니다.

문제는 사람의 눈은 피로해질 수 있고, 의사마다 보는 방식이 다를 수 있다는 점입니다. 또한 이미지 자체도 까다롭습니다. 그림자, 입자감(graininess)이 있고, 때로는 아기가 움직여서 사진이 흐릿해지기도 합니다. 이를 해결하기 위해 과학자들은 인공지능(AI)을 사용하려고 노력하고 있습니다. 학생이 수천 장의 고양이 사진을 보고 고양이를 인식하는 법을 배우는 것과 같습니다. 그것이 AI가 작동하는 방식입니다. 하지만 AI가 아주 작은 태아의 코나 특정 뇌 구조를 찾아내도록 학습하려면, 방대한 예시가 담긴 교과서가 필요합니다. 지금까지는 이러한 특정 초기 임신 이미지들을 위한 공개적인 교과서가 없었습니다. 이 논문이 바로 그 간극을 메우는 것입니다.

새로운 보물 지도: FUSEP 소개

이 논문의 저자들은 그 부족했던 교과서를 직접 만들기로 했습니다. 그들은 FUSEP라고 부르는 데이터셋을 구축했습니다. 이것은 단순한 몇 장의 사진이 아닙니다. 세 곳의 병원에서 수집한 4,017장의 초음파 이미지로 구성된 거대한 컬렉션입니다. 왜 세 곳일까요? 현실 세계에서는 병원마다 사용하는 기계, 초음파 검사자(프로브를 잡는 사람), 그리고 스캐닝 스타일이 다르기 때문입니다. 여러 장소에서 데이터를 수집함으로써, 연구진은 그들의 "교과서"가 단순히 완벽하고 가짜인 세상이 아니라, 다양하고 현실적인 것이 되도록 보장했습니다.

이 데이터셋에서 전문가들은 두 가지 특정 뷰, 즉 아기의 전체를 보여주는 머리-엉덩이 길이(CRL) 뷰와 목과 머리에 집중하는 태아 목 투명대(NT) 뷰에서 14가지의 서로 다른 해부학적 구조를 따라 정교하게 박스를 그렸습니다. 그들은 이 구조물들에 대해 45,820개 이상의 라벨을 붙였습니다. 이는 공개 데이터셋 중 초기 임신 구조에 대해 가장 상세한 라벨링이 이루어진 사례로서 매우 중요한 성과입니다.

연구진은 단순히 데이터를 수집하는 데 그치지 않고, 다양한 AI 모델이 이를 얼마나 잘 활용할 수 있는지 테스트했습니다. 그들은 데이터셋을 다양한 유형의 "탐정 알고리즘"을 위한 시험장으로 삼았습니다. 그들은 다음과 같은 질문을 던졌습니다: AI가 이전에 본 적 없는 특정 기계의 사진을 보더라도 아기의 코를 찾을 수 있는가? 만약 라벨이 붙은 사진을 몇 장만 보고 나머지는 추측해야 한다면 제대로 작동할 수 있는가? 실제 초음파 영상이 가진 "노이즈"와 "그림자"를 처리할 수 있는가?

탐정들이 발견한 것 (그리고 발을 헛디딘 곳)

논문은 "Transformer"(맥락을 이해하는 데 매우 뛰어난 AI 아키텍처의 일종) 기반의 최신 모델부터 오래된 고전적 방법까지 다양한 AI 모델을 테스트했습니다. 발견된 내용은 다음과 같습니다:

1. "최고의" 탐정: 테스트된 모델 중 Relation-DETR이라는 방법이 가장 우수한 성능을 보였습니다. 이 모델은 전신 뷰에서 85.6%, 목 뷰에서 **95.6%**의 정확도(mAP로 측정)로 구조물을 찾아냈습니다. 이 수치가 높아 보이지만, 저자들은 여전히 완벽하지 않다고 언급했습니다. 두 번째로 좋은 모델은 약간 뒤처져 있었으며, 이는 여전히 개선의 여지가 있음을 보여줍니다.
2. 속도와 정확도의 트레이드오프: 어떤 모델들은 믿을 수 없을 정도로 빨랐습니다. 예를 들어, YOLOX는 이미지를 단 8.942 밀리초(눈 깜빡임보다 빠릅니다!) 만에 처리할 수 있었지만, 느리고 복잡한 모델들만큼 정확하지는 않았습니다. 이는 달리기 선수 중 빠른 대신 넘어지기 쉬운 선수와, 느리지만 매우 꾸준한 마라톤 선수를 선택하는 것과 같습니다.
3. "다른 기계" 문제: 논문이 강조하는 가장 큰 과제 중 หนึ่ง은 **도메인 시프트(Domain Shift)**입니다. 이는 "병원 A의 사진으로 학습된 AI가 병원 B의 사진을 보게 되면 어떻게 되는가?"를 뜻하는 전문 용어입니다. 결과에 따르면, AI가 한 병원에서 다른 병원으로 이동할 때 성능이 크게 떨어졌습니다. 예를 들어, 병원 1에서 병원 3으로 이동했을 때 일부 작은 구조물에 대한 정확도는 **6.9%**까지 떨어졌습니다. 이는 AI가 학습한 특정 기계의 "외형"에 너무 의존하고 있음을 시사합니다.
4. "작은 단서" 문제: 논문은 **비강 골(Nasal Bone)**과 같은 일부 구조물이 전체 이미지 면적의 단 **0.2%에서 0.5%**만을 차지할 정도로 매우 작다는 점을 지적합니다. 이는 눈을 가린 채 해변에서 모래알 하나를 찾는 것과 같습니다. AI는 이러한 "극단적인 규모 변화"에 어려움을 겪으며, 종종 이를 완전히 놓치곤 합니다 합니다.

적은 데이터로 AI 가르치기: 준지도 학습 실험

연구진은 또한 어려운 질문을 던졌습니다: "만약 라벨이 붙은 사진이 충분하지 않다면 어떻게 될까?" 현실 세계에서 전문가가 수천 장의 이미지에 박스를 그리는 작업은 시간이 엄청나게 걸립니다. 그래서 그들은 AI에게 라벨이 붙은 사진 몇 장(데이터의 5% 또는 10%)과 라벨이 없는 많은 사진을 함께 보여주고, 라벨이 없는 데이터로부터도 학습하게 하는 **준지도 학습(Semi-Supervised Learning)**을 테스트했습니다.

결과는 엇갈렸지만 유망했습니다. 모델은 라벨이 붙은 데이터를 더 많이 볼수록 성능이 좋아졌지만, 가장 어려운 부분에서는 여전히 고전했습니다. 예를 들어, 데이터의 **5%**만 라벨링되었을 때, 비강 골을 찾는 AI의 능력은 병원에 따라 약 **14.9%에서 22.3%**의 정확도로 떨어졌습니다. 이는 준지도 학습이 도움이 되는 도구이긴 하지만, 아직 마법의 지팡이는 아니라는 것을 시사합니다. 즉, 가장 어려운 구조물에 대해서는 여전히 고품질의 라벨이 필요하다는 것입니다.

"소스 프리(Source-Free)" 도전: 원본 책 없이 학습하기

아마도 가장 흥ente한 실험은 **소스 프리 비지도 도메인 적응(Source-Free Unsupervised Domain Adaptation, SFCDA)**이었을 것입니다. 상상해 보세요. 한 도시의 단서가 담긴 책을 공부한 탐정이 있는데, 이제 다른 도시에서 사건을 해결해야 합니다. 그런데 그는 원래의 책을 볼 수도 없고, 책을 쓴 사람들과 대화할 수도 없습니다. 그는 오직 자신이 기억하는 책의 내용과 새로운 사건 현장만을 가지고 있습니다.

연구진은 원래의 훈련 데이터에 접근할 수 없는 상태에서 새로운 병원에 적응해야 하는 AI 모델들을 테스트했습니다. 결과는 이 모델들이 여전히 어느 정도 준수한 성능을 보일 수 있음을 보여주었지만, 원래의 데이터를 가지고 있을 때만큼 좋지는 않았습니다. 이는 환자의 개인 정보를 공유하지 않고도 서로 다른 병원에서 작동하는 AI를 구축하는 것이 가능하긴 하지만, 여전히 풀기 매우 어려운 퍼즐임을 시사합니다. 논문은 단순히 픽셀을 보는 것보다 아기 몸의 "구조"와 "위상(topology)"(각 부분이 서로 어떻게 연결되어 있는지)에 집중하는 방법이 더 효과적이라고 제안했습니다.

이것이 미래에 의미하는 바

저자들은 자신들이 초기 임신 스크리닝 문제를 "해결했다"고 말하는 것을 경계합니다. 대신, FUSEP가 필수적인 디딤돌이라고 제안합니다. 다양하고 공개적인 데이터셋을 제공함으로써, 다른 과학자들이 자신의 아이디어를 테스트할 수 있는 공통의 놀이터를 만들어 준 것입니다.

이 논문은 현재의 AI가 의사를 대체할 준비가 되었다는 생각을 명시적으로 부정합니다. 병원 간 이동 시 발생하는 성능 저하와 작은 구조물을 포착하는 데 따르는 어려움은 인간 전문가가 여전히 필수적임을 의미합니다. 그러나 이 연구는 AI가 잠재적인 문제를 알리고, 이미지 품질을 체크하며, 작은 단서 하나라도 놓치지 않도록 돕는 강력한 조력자가 될 수 있음을 시사합니다.

또한 저자들은 이것이 시작일 뿐이라고 강조합니다. 그들은 더 많은 유형의 뷰를 포함하도록 데이터셋을 확장하고, 더 정밀하게 아기의 성장을 측정하기 위해 "세그멘테이션 마스크(segmentation masks)"(단순히 박스를 그리는 것이 아니라 선 안을 색칠하는 것과 같은 방식)를 추가할 계획입니다.

요약하자면, FUSEP는 컴퓨터가 얼마나 작은 태아 구조를 잘 찾아낼 수 있는지 이해하는 데 도움을 주는, 새롭고 방대하며 다양한 초기 임신 초음파 이미지 라이브러리입니다. 이는 컴퓨터가 점점 더 똑똑해지고 있지만, 서로 다른 기계와 작은 디테일이 존재하는 복잡한 현실 속에서는 여전히 어려움을 겪고 있음을 보여줍니다. 하지만 이 새로운 벤치마크를 통해 앞으로 나아갈 길은 더 명확해졌으며, 더 스마트하고 신뢰할 수 있는 의료 도구를 향한 잠재력은 그 어느 때보다 밝습니다.