A Cognitive Explainer for Fetal ultrasound images classifier Based on Medical Concepts

이 논문은 의료 전문가의 인지 관점에서 해석 가능한 fetal 초음파 이미지 분류를 위해 핵심 의료 개념과 개념 기반 그래프 합성곱 신경망 (GCN) 을 활용한 프레임워크를 제안합니다.

핵심

이 논문은 **"임신 중 태아 초음파 사진을 보고 '이게 정상적인지, 어떤 부위인지'를 AI 가 어떻게 판단하는지, 의사들이 이해할 수 있는 언어로 설명해주는 시스템"**을 소개합니다.

기존의 AI 는 "정답"만 알려주지 "왜 그런 답을 냈는지"를 설명하지 못해 (블랙박스), 의사들이 신뢰하기 어려웠습니다. 이 연구는 AI 가 의사처럼 '생각하는 과정'을 그림과 개념으로 보여줌으로써 그 신뢰를 얻으려 합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

🏥 1. 문제 상황: "어느 날, AI 가 태아 사진을 보고 '이건 배예요'라고만 말한다면?"

임신 중기에는 태아의 건강을 확인하기 위해 초음파로 태아의 배 (복부), 머리 (뇌), 다리 (대퇴골) 등 특정 부위를 정확히 찍어야 합니다. 이를 '표준 스캔'이라고 합니다.

• 현실: 숙련된 산과 전문의는 태아의 배 모양, 척추 위치, 위장 모양 등을 보고 "아, 이건 태아의 배 사진이구나"라고 바로 알아봅니다. 하지만 초보 의사나 일반인은 복잡한 초음파 이미지 속에서 어떤 것이 배인지, 어떤 것이 뇌인지 구별하기 매우 어렵습니다.
• 기존 AI 의 한계: 최신 AI 는 이 사진을 보고 "100% 태아 배 사진입니다!"라고 정답을 맞출 수는 있습니다. 하지만 **"왜 배라고 생각했지?"**라고 물으면, AI 는 "저는 픽셀 (이미지 점) 들을 분석해서 그렇게 판단했습니다"라고만 말합니다. 이는 의사들에게는 "어디가 문제인지, 어떤 구조를 봤는지"가 보이지 않는 불투명한 결과입니다.

💡 2. 해결책: "AI 에게 '의사처럼 생각'하게 만들기"

이 연구팀은 AI 가 단순히 픽셀을 보는 게 아니라, **의사가 실제로 보는 '중요한 개념 (Medical Concepts)'**을 먼저 찾아내게 했습니다.

🧩 비유: "수색대 (AI) 가 지도 (의사 지식) 를 들고 건물을 찾는 과정"

이 시스템은 크게 세 단계로 작동합니다.

1 단계: 중요한 단서 찾기 (개념 추출)

• 상황: 의사가 태아 배 사진을 볼 때, 무작정 전체를 보는 게 아니라 "위장 (Stomach Bubble)", "척추 (Spine)", "제대 정맥 (Umbilical Vein)" 같은 핵심 단서들을 먼저 찾습니다.
• AI 의 행동: 이 연구의 AI 는 초음파 이미지에서 이 '핵심 단서들'을 자동으로 찾아냅니다. 마치 수색대가 지도를 보고 "아, 이 건물은 위장이 있고 저기엔 척추 모양이 있구나"라고 단서를 먼저 수집하는 것과 같습니다.

2 단계: 단서들을 연결하는 네트워크 (그래프 신경망)

• 상황: 의사는 "위장이 왼쪽에 있고, 척추는 오른쪽에 있으며, 두 구조가 일정한 거리를 두고 있다"는 관계를 통해 진단합니다.
• AI 의 행동: AI 는 찾은 단서들 (위장, 척추 등) 을 점 (Node) 으로 만들고, 그들 사이의 위치 관계를 선 (Edge) 으로 연결합니다. 이를 **그래프 (Graph)**라고 합니다.
  • 비유: 수색대원들이 각자 찾은 단서들을 서로 연결하며 "이 위장은 척추와 이렇게 떨어져 있어야 정상이지!"라고 대화하는 모습입니다. AI 는 이 '관계'를 학습해서 최종 판단을 내립니다.

3 단계: 의사에게 설명하기 (해석 가능한 결과)

• 결과: AI 가 "태아 배 사진"이라고 판단했을 때, 단순히 점만 뜨는 게 아니라 **"위장 (빨간색) 과 척추 (노란색) 가 이 위치에 있어서 배라고 판단했습니다"**라고 설명합니다.
• 효과: 의사들은 AI 가 어떤 해부학적 구조를 보고, 어떤 관계를 기준으로 판단했는지를 한눈에 볼 수 있게 됩니다. 마치 수색대가 "우리는 이 단서 A 와 단서 B 를 연결해서 이 건물이 병원이라고 결론 내렸습니다"라고 보고서를 제출하는 것과 같습니다.

---

🌟 3. 이 연구의 핵심 가치 (왜 중요한가?)

1. 블랙박스 탈출: "AI 가 왜 그런 말을 했지?"라는 의심을 없앱니다. AI 가 의사처럼 의학적 논리로 생각했음을 보여줍니다.
2. 신뢰도 향상: 의사들은 AI 가 단순히 패턴을 외운 게 아니라, **실제 해부학적 지식 (위장, 척추 등)**을 활용했음을 확인하므로 AI 를 더 신뢰하고 진료에 활용할 수 있습니다.
3. 실수 찾기: 만약 AI 가 틀린 판단을 내렸다면, **"어떤 단서를 잘못 찾았거나, 단서 간의 관계를 잘못 연결했는지"**를 바로 파악할 수 있어 시스템을 고치기 쉽습니다.

📝 요약

이 논문은 **"AI 가 태아 초음파를 볼 때, 의사들이 중요하게 생각하는 '해부학적 단서 (위장, 척추 등)'를 먼저 찾고, 그 단서들 사이의 '관계'를 분석해서 결론을 내리는 방식"**을 개발했습니다.

그리고 AI 가 내린 결론에 대해 **"왜 이 단서들이 중요했는지"**를 의사들이 이해할 수 있는 언어 (개념과 관계) 로 설명해 줍니다. 이는 마치 AI 가 의사에게 "저는 이 단서 A 와 B 를 보고 이렇게 판단했습니다"라고 설명하는 것과 같아, 의료 현장에서 AI 를 더 안전하게 쓸 수 있는 길을 열어줍니다.

기술 요약

논문 요약: 의료 개념 기반 태아 초음파 이미지 분류를 위한 인지적 설명기

1. 문제 정의 (Problem Statement)

• 배경: 태아 성장 및 해부학적 구조 평가를 위한 2 차원 초음파 (US) 검사는 산전 관리의 핵심 요소입니다. 특히 임신 중반의 표준 스캔 평면 (Standard Scan Plane) 을 획득하는 것은 숙련된 기술과 해부학적 지식을 요구하는 복잡한 작업입니다.
• 현황: 심층 신경망 (DNN) 은 이러한 작업을 자동화할 잠재력이 있으나, 대부분의 기존 모델은 '블랙박스 (Black-box)' 특성으로 인해 투명성과 해석 가능성이 부족합니다.
• 한계: 기존 해석 가능성 (Interpretability) 연구들은 주로 **픽셀 수준 (Pixel-level)**의 특징 (예: Saliency maps) 에만 초점을 맞추고 있습니다. 이는 방사선 전문의나 초음파 의사들이 사용하는 해부학적 구조 간의 관계나 의학적 선험 지식 (Medical Prior Knowledge) 을 반영하지 못하여, 임상 현장에서 신뢰를 얻기 어렵습니다.
• 목표: 의사의 인지 과정 (Cognition) 을 모방하여, 의료 전문가가 이해할 수 있는 **개념 기반 (Concept-based)**의 해석 가능한 분류 프레임워크를 제안하는 것.

2. 방법론 (Methodology)

제안된 프레임워크는 다음과 같은 4 단계 파이프라인으로 구성됩니다.

1 단계: 의료 개념 식별 (Medical Concepts Identification)

• 목표: 초음파 의사들이 표준 평면을 판별할 때 사용하는 핵심 해부학적 구조를 식별합니다.
• 대상: 태아 복부 표준 평면 (FASP), 태아 시상부 표준 평면 (FTSP), 태아 대퇴골 표준 평면 (FFSP).
• 구현:
  • SLIC (Simple Linear Iterative Clustering): 초음파 이미지를 슈퍼픽셀 (Superpixel) 단위로 분할하여 후보 개념을 추출합니다.
  • 의학적 선험 지식 활용: 의사들이 사용하는 해부학적 지식 (위치, 모양, 질감, 밝기 등) 을 결합하여 불필요한 배경을 제거하고 핵심 구조를定位합니다.
    • 예시 (FASP): 위장 (Stomach Bubble), 제대정맥 (Umbilical Vein), 척추 (Spine) 의 위치와 형태적 특징을 기반으로 식별.
  • Grad-CAM: 전경 (Foreground) 영역을 강조하여 배경 노이즈를 줄이고 개념 추출의 정확도를 높입니다.

2 단계: 개념 그래프 구성 (Concept Graph Construction)

• 그래프 정의: $G = (V, E)$로 정의되며, 노드 ($V$) 는 식별된 의료 개념, 엣지 ($E$) 는 개념 간의 관계를 나타냅니다.
• 노드 속성: 사전 훈련된 CNN 을 통해 추출된 고차원 특징 (High-order features) 을 사용합니다.
• 엣지 속성:
  1. 공간적 관계: 이미지 내 두 개념의 상대적 위치.
  2. 상관관계: 의학적 선험 지식에 기반한 개념 간의 연관성 (예: 척추와 제대정맥의 근접성).

3 단계: 개념 그래프 학습 (Concept Graph Learning)

• 모델: 그래프 합성곱 신경망 (GCN, Graph Convolutional Network) 을 활용합니다.
• 작동 원리:
  • 메시지 집계 (Message Aggregation) 와 업데이트 단계를 통해 노드 (개념) 와 엣지 (관계) 간의 상호작용을 학습합니다.
  • 사전 정의된 선험 계수 ($\alpha$) 를 사용하여 개념 간의 의존성을 반영합니다.
  • 최종적으로 MLP 를 통해 표준 평면 클래스에 대한 확률 분포를 출력합니다.

4 단계: 사후 그래프 설명 (Post-hoc Graph Explainer)

• 목적: 블랙박스 GCN 모델의 의사 결정 메커니즘을 설명합니다.
• 기법:
  1. 그래프 민감도 분석 (Graph SA): 입력에 대한 그래디언트의 노름을 계산하여 기여도를 산출.
  2. 그래프 통합 그래디언트 (Graph IG): 대조적 입력 (Counterfactuals) 을 통해 특징의 중요도 평가.
  3. 그래드 CAM (Graph Grad-CAM): 중간 계층의 활성화와 그래디언트를 결합하여 개념 공간에서의 기여도 시각화.

3. 주요 기여 (Key Contributions)

1. 의료 개념 기반 해석 가능 프레임워크: 의학적 선험 지식을 통해 식별된 핵심 개념을 기반으로 태아 초음파 표준 평면 분류를 설명하는 새로운 프레임워크를 제안했습니다.
2. 의사 인지 관점의 설명: 초음파 의사가 중요하게 여기는 개념과 그들 간의 공간적/상관관계를 그래프로 인코딩하여, 의사의 의사 결정 과정을 모방한 해석을 제공합니다.
3. 정성적 및 정량적 검증: 다양한 그래프 설명 기법을 태아 초음파 데이터에 적용하고, 전문가 초음파 의사를 통한 검증 과정을 거쳤습니다.

4. 실험 결과 (Results)

• 데이터셋: 두 병원 (Hospital A, B) 에서 수집된 태아 초음파 이미지 (FASP, FTSP, FFSP 및 기타) 를 사용했습니다.
• 정량적 성능:
  • CNN 기반 분류기 (ResNet, VGG, MobileNet 등) 와 결합된 GCN 모델은 테스트 세트에서 높은 정확도 (ACC) 를 보였습니다.
  • 특히 MobileNetV2와 DenseNet121 기반의 GCN 모델이 우수한 성능을 보였습니다 (테스트 세트 ACC 약 96% 이상, 외부 데이터셋에서도 견고한 성능).
• 정성적 평가 (전문가 검증):
  • 5 명의 초음파 의사를 대상으로 한 실험에서, 제안된 방법은 기존 Grad-CAM, CAMERAS 등 다른 해석 방법보다 임상적으로 더 유용하다고 평가받았습니다.
  • 의사는 모델이 어떤 해부학적 구조 (예: 위장, 척추) 를 기반으로 판단했는지를 명확히 이해할 수 있어 모델에 대한 신뢰도가 향상되었습니다.
  • 특히 고차원 관계 (High-order relations) 를 기반으로 오류를 식별하는 능력이 탁월했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 신뢰도 향상: 단순한 픽셀 강조가 아닌, 해부학적 구조와 그 관계를 설명함으로써 의료진이 AI 모델의 판단을 신뢰하고 임상 현장에 도입하는 데 기여합니다.
• 인지적 일관성: AI 의 설명이 의료 전문가의 지식 체계와 일치하도록 설계되어, "컴퓨터 보조 진단 (CAD)" 시스템으로서의 실용성을 높였습니다.
• 향후 전망: 이 연구는 의료 AI 의 '블랙박스' 문제를 해결하고, 설명 가능한 AI (XAI) 가 실제 임상 환경에서 널리 채택되는 데 중요한 발판이 될 것으로 기대됩니다.

---

핵심 요약: 이 논문은 태아 초음파 이미지 분류에서 AI 모델의 '왜 (Why)'를 설명하기 위해, 픽셀 단위가 아닌 의사가 사용하는 해부학적 개념과 그 관계를 그래프로 모델링한 새로운 접근법을 제시합니다. 이를 통해 AI 의 판단 근거를 의사가 이해할 수 있는 언어로 변환하여 임상 적용 가능성을 크게 높였습니다.