Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
여러 딥러닝 아키텍처가 구강 초음파에서 유사하게 높은 수준의 기본 판별력을 달성함에도 불구하고, 이들은 합성 폐쇄(synthetic occlusion) 상황에서 극적으로 다르고 종종 신뢰할 수 없는 동작을 보이는데, 특히 EfficientNet-B0는 다른 모델들과 비교하여 심각한 성능 붕괴, 과잉 확신, 그리고 낮은 재현성을 나타낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
인체 내부의 입안에서는 특수 초음파 프로브를 사용하여 방사선 없이 실시간으로 연조직 영상을 포착할 수 있습니다. 이 영상은 근육과 피부의 층을 드러내어, 수술 계획을 세우거나 조직의 건강 상태를 평가하는 데 유용한 해부학적 창을 제공합니다. 하지만 이 사진들을 신뢰할 수 있는 진단으로 바꾸기 위해서는 단순히 선명한 이미지만 필요한 것이 아닙니다. 모델이 보는 것을 올바르게 해석할 수 있는 컴퓨터 프로그램, 즉 모델이 필요합니다. 최근 몇 년 동안 과학자들은 의료 영상을 인식하도록 많은 컴퓨터 모델을 훈련시켜 왔습니다. 이러한 모델을 판단하는 일반적인 방법은 일련의 테스트 영상에 대해 모델이 얼마나 자주 정답을 맞히는지 확인하는 것입니다. 하지만 표준 테스트에서의 높은 점수가 모든 이야기를 들려주는 것은 아닙니다. 그 점수는 이미지가 변경되었을 때 모델이 어떻게 행동하는지, 틀렸을 때도 확신을 유지하는지, 혹은 모델이 내린 결정의 근거가 일관적인지를 밝혀내지 못합니다.
대한민국의 연세대학교 연구팀은 단순한 테스트 점수를 넘어 살펴보는 데 집중했습니다. 그들은 특정 작업에 초점을 맞추었습니다. 바로 볼 점막(buccal mucosa)이라 불리는 뺨 안쪽의 두 영역을 구별하는 것입니다. 한 영역은 광대뼈 근육 위에 위치하고, 다른 하나는 주요 뺨 근육 위에 위치합니다. 의사는 프로브가 정확히 어디에 놓여 있는지 알고 있지만, 컴퓨터 모델은 오직 사진을 보는 것만으로 이 두 영역을 구별하는 법을 배워야 합니다. 연구진은 수백 장의 건강한 자원봉사자로부터 촬영된 영상을 사용하여 다섯 가지 서로 다른 유형의 컴퓨터 모델을 훈련시켰습니다. 다섯 모델 모두 표준 테스트에서 매우 우수한 성적을 거두었으며, 거의 모든 경우에서 해당 영역을 정확하게 식별했습니다. 이러한 높은 성능은 그들이 모두 미래의 의료용으로서 동등하게 좋은 후보임을 시사했습니다.
모델들이 정말로 유사한지 테스트하기 위해, 연구진은 일련의 통제된 변화를 모델에 가했습니다. 연구진은 이미지의 일부를 균일한 회색 블록으로 덮어 이미지의 윗부분이나 아랫부분의 정보를 효과적으로 삭제했습니다. '가림(occlusion)'이라고 알려진 이 과정은 이미지의 일부가 흐릿하거나 누락되었을 때 발생할 수 있는 상황을 시뮬레이션합니다. 연구진이 이미지의 절반을 제거했을 때, 다섯 모델 중 네 개는 여전히 우수한 성능을 보이며 남은 부분에서 필요한 단서를 여전히 찾을 수 있음을 보여주었습니다. 그러나 한 모델은 매우 다르게 반응했습니다. 이미지의 절반이 가려졌을 때, 이 모델의 두 영역을 구별하는 능력은 무너져 내려 무작위 추측 수준보다도 낮은 단계로 떨어졌습니다.
가장 놀라운 발견은 단순히 이 하나의 모델이 실패했다는 점이 아니라, 어떻게 실패했느냐 하는 점이었습니다. 다른 모델들이 실수를 할 때는 답변에 대해 확신이 없는 경향을 보였습니다. 반면, 실패한 모델은 위험할 정도로 확신에 차 있었습니다. 정확도가 무작위 추측 수준으로 급락했음에도 불구하고, 이 모델은 자신의 오답에 대해 극도로 높은 확실성을 부여했습니다. 이는 마치 모델이 차이를 식별하는 능력은 상실했지만, 자신이 옳다는 믿음은 잃지 않은 것과 같았습니다. 이러한 행동은 모델이 표준 테스트에서는 매우 신뢰할 수 있는 것처럼 보일 수 있지만, 특정 이미지 부분에 대한 취약한 의존성을 숨기고 있으며, 그 부분이 제거될 경우 완전히 무너질 수 있음을 시사합니다.
연구진은 또한 모델이 자신의 결정을 어떻게 "설명"하는지도 조사했습니다. 모델이 주목하는 이미지의 부분을 강조하는 기법을 사용하여, 이러한 설명들이 일관적인지 확인했습니다. 연구진은 모델이 어떻게 훈련되었는지에 따라 강조되는 영역이 크게 달라진다는 것을 발견했으며, 이는 최종 테스트 점수가 동일하더라도 마찬가지였습니다. 이는 한 모델 버전의 설명이 그럴듯해 보일 수는 있어도, 모델이 실제로 무엇을 배우고 있는지에 대한 안정적인 지표로서 신뢰될 수는 없음을 의미합니다. 주의(attention)의 패턴은 재현 가능하지 않았으며, 이는 이러한 시각적 설명을 모델의 논리를 이해하는 데 사용하는 것을 어렵게 만듭니다.
이 연구는 두 모델이 표준 성적표상으로는 동일해 보일지라도, 입력값이 변경되었을 때 완전히 상반되게 행동할 수 있다는 결론을 내립니다. 연구진은 유사한 기초 성능이 정보 누락에 매우 민전하고 확신에 찬 오류를 범하기 쉬운 모델을 은폐할 수 있음을 발견했습니다. 연구진은 이러한 실패를 일으키는 단일한 구조적 결함을 찾아내지는 못했으며, 이 특정 실패가 실제 환자를 대상으로 하는 임상 현장에서 발생할 것이라는 점을 증명하지도 않았습니다. 대신, 그들은 모델을 평가하는 데 있어 정확도를 확인하는 것 이상의 작업이 필요하다는 점을 입증했습니다. 컴퓨터가 의료 영상을 해석하는 능력을 진정으로 이해하기 위해서는, 누락된 데이터를 어떻게 처리하는지, 틀렸을 때 확신을 어떻게 표현하는지, 그리고 그 추론이 일관성을 유지하는지를 반드시 테스트해야 합니다. 이러한 검증 없이는, 서류상으로는 완벽해 보이는 모델이 실제 현장에서는 신뢰할 수 없는 존재가 될 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.