Data quality biases normative models derived from fetal brain MRI

당신이 태아의 자궁 속에서 뇌가 어떻게 성장하는지 그 지도를 그리려고 한다고 상상해 보세요. 이 지도를 정확하게 만들기 위해 과학자들은 '규범적 모델링(normative modeling)'이라는 기술을 사용합니다. 이것은 키와 몸무게를 기록하는 성장 곡선을 만드는 것과 비슷하지만, 뇌 구조를 대상으로 하는 것입니다. 만약 아기의 뇌가 '평균' 선에 위치한다면 정상적으로 발달하고 있는 것이고, 그 선에서 아주 멀리 벗어나 있다면 추가적인 주의가 필요할 수도 있습니다.

이 차트를 만들기 위해서 연구자들은 방대한 데이터가 필요합니다. 예를 들어, 다양한 단계에 있는 아기들의 사진 수천 장을 찍는 것과 같습니다. 당신이 묻고 있는 논문은 매우 구체적인 질문을 던집니다. 만약 그 사진들 중 일부가 흐릿하다면 어떻게 될까요?

문제점: "흐릿한 사진" 효과

태아 MRI 스캔은 아기가 어머니의 자궁 안에서 움직이기 때문에 까다롭습니다. 때로는 이미지가 선명하지만, 어떤 경우에는 약간 뿌옇거나 "노이즈"가 섞여 있기도 합니다.

연구자들은 여러 병원에서 수집한 635개의 스캔 데이터를 모았습니다. 그들은 엄격한 미술 비평가처럼 행동하며 모든 이미지를 품질 점수로 평가했습니다. 그런 다음 두 가지 다른 방식으로 뇌 성장 차트를 구축했습니다.

1. 엄격한 방식: 수정처럼 맑고 고품질인 이미지들만 사용했습니다.
2. 완화된 방식: "데이터가 많을수록 무조건 좋은 거 아닌가?"라는 생각으로, 흐릿하고 품질이 낮은 이미지들을 추가하기 시작했습니다.

발견: 데이터가 많다고 항상 더 좋은 것은 아니다

연구 결과 놀라운 반전이 있었습니다. 흐릿한 이미지들을 섞었을 때, 성장 차트는 단순히 조금 흐릿해지는 데 그치지 않고 왜곡되었습니다.

여기 비유가 있습니다. 당신이 한 집단의 평균 키를 추측하려고 한다고 가정해 봅시다.

• 만약 완벽한 자를 사용하여 100명을 측정한다면, 정확한 평균값을 얻을 것입니다.
• 하지만 만약 약간 휘거나 늘어난 자로 측정한 사람 1,000명을 더 추가한다면, 당신이 구한 새로운 "평균"은 틀린 값이 될 것입니다.

이 연구에서 "휘어진 자"는 낮은 이미지 품질이었습니다. 낮은 품질의 스캔을 포함했을 때, 결과물인 성장 차트는 이동(shift)했습니다. 가장 위험한 부분은 차트의 양 끝단(extremes), 즉 맨 위와 맨 아래였습니다.

"꼬리(Tail)" 문제

논문은 특히 차트의 하단부(하위 1~10 백분위수)가 가장 큰 영향을 받았다고 명시합니다.

• 이것이 의미하는 바: 만약 아기의 뇌가 실제로 작지만 건강한 상태라면, 왜곡된 차트는 그 뇌를 실제보다 훨씬 더 작게 보이게 만들거나, 반대로 차트 전체가 아래로 끌려 내려감으로써 정말 작은 뇌를 "정상"처럼 보이게 만들 수도 있습니다.
• 보이지 않는 변화: 연구자들은 개별 뇌 스캔을 육안으로 볼 때는 이러한 오류를 항상 알아차릴 수 없다는 것을 발견했습니다. 이미지는 괜찮아 보였지만, 그것을 컴퓨터 모델에 입력하자 수학적 계산이 어긋나 버린 것입니다.

핵심 결론

이 논문의 주요 교훈은 간단합니다. 양보다 질입니다.

뇌가 어떻게 성장하는지에 대한 신뢰할 수 있는 지도를 만들고자 한다면, 대부분이 흐릿한 사진으로 이루어진 거대한 지도보다는 완벽하고 선명한 사진들로 만든 작은 지도를 갖는 것이 더 낫습니다. 흐릿한 사진을 더 많이 추가하는 것은 단순히 "더 많은 정보"를 더하는 것이 아닙니다. 그것은 게임의 규칙을 능동적으로 오염시켜서, 도움이 필요한 아기를 찾아내는 데 있어 차트를 덜 유용하게 만듭니다.

요약하자면, 이러한 태아 뇌 모델의 경우, 좋은 사진 몇 장이 나쁜 사진 여러 장보다 훨씬 가치 있습니다.