Application of deep learning and explainable AI-supported medical decision-making for facial phenotyping in genetic syndromes

이 연구는 유전 증후군 안면 특징 식별 시 AI 예측 확률의 영향력이 설명 가능한 AI(XAI) 보다 의사결정에 더 큰 영향을 미쳤으며, 참가자들은 XAI 를 실제 판단에 효과적으로 통합하지 못했음을 보여줍니다.

핵심

AI 가 얼굴을 보고 유전병을 진단할 때, '이유'를 알려주는 게 정말 도움이 될까?

이 연구는 **"인공지능 (AI) 이 환자의 얼굴 사진을 보고 유전성 질환을 진단할 때, AI 가 '왜' 그렇게 판단했는지 설명해 주면 (XAI), 실제 의사들이 더 잘 진단할 수 있을까?"**라는 질문을 던집니다.

이 복잡한 연구를 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 배경: AI 는 천재지만, '말'을 못 하는 수리공?

유전성 질환은 매우 드물고 다양해서, 일반 의사들은 진단하기가 매우 어렵습니다. 마치 수천 가지 종류의 복잡한 시계 중 아주 희귀한 모델 하나를 찾아내는 것과 비슷합니다.

최근 AI(딥러닝) 는 이 얼굴 사진을 보고 유전병을 찾아내는 데 아주 뛰어난 실력을 보여줍니다. 하지만 AI 는 **"정답은 A 야!"**라고만 외칠 뿐, **"왜 A 라고 생각했는지"**는 설명해주지 못합니다.

그래서 연구팀은 AI 에게 **"너가 왜 A 라고 생각했는지, 사진의 어떤 부분 (코, 눈, 입) 을 보고 판단했는지"**를 보여주는 기술인 **'설명 가능한 AI(XAI)'**를 도입했습니다.

• AI 만 있는 경우: "이 사람은 A 병이야 (확률 90%)."
• XAI 가 있는 경우: "이 사람은 A 병이야 (확률 90%). 왜냐하면 코와 눈 주위가 이 병의 특징과 비슷해서야." (사진에 해당 부위가 빛나는 마커로 표시됨)

2. 실험: 전문가들을 시험장에 세우다

연구팀은 44 명의 유전 전문 의사들을 두 팀으로 나누어 실험했습니다.

• 팀 A (AI 만 보는 팀): AI 가 진단한 결과와 확률만 보고 판단.
• 팀 B (XAI 보는 팀): AI 의 결과 + "어떤 부분을 보고 판단했는지" 설명 (빛나는 마커) 을 보고 판단.

의사들은 18 명의 환자 사진을 보고, "이 사람이 어떤 병인가?"를 맞히는 게임을 했습니다. 처음에는 혼자서, 그다음에는 AI 의 도움을 받아 다시 맞혀보았습니다.

3. 결과: 설명 (XAI) 은 의외로 '무용지물'이었다?

📈 AI 가 맞았을 때: "오, AI 가 맞네!"

AI 가 진단을 정확히 했을 때는, 설명 (XAI) 이 있든 없든 의사들의 정확도와 자신감 모두 높아졌습니다.

• 비유: AI 가 "이 시계는 3 시를 가리키고 있어"라고 말하고, 실제로 3 시를 가리키고 있다면, 설명이 없어도 우리는 믿고 따릅니다.

📉 AI 가 틀렸을 때: "AI 가 망했네!"

AI 가 진단을 틀렸을 때는 상황이 달라졌습니다.

• AI 만 본 팀: AI 가 "A 병이야"라고 확신 있게 말하면, 의사들도 혼란스러워하며 잘못된 답을 따라가는 경향이 있었습니다.
• XAI 를 본 팀: 설명을 봤을 때, **"아, AI 가 엉뚱한 부분을 보고 판단했구나"**라고 깨닫는 경우가 많았습니다. 하지만 그걸로 인해 더 혼란스러워지거나, 오히려 자신감을 잃고 잘못된 판단을 내리기도 했습니다.
• 핵심: 설명을 받았다고 해서 의사들이 AI 의 잘못된 판단을 바로잡고 더 잘 진단한 것은 아니었습니다. 오히려 설명이 "AI 가 왜 틀렸는지"를 보여주었지만, 의사들은 그 설명을 활용해서 정답을 찾아내지 못했습니다.

😐 설명에 대한 반응: "별로야"

의사들에게 "AI 의 설명이 도움이 되었나요?"라고 물었더니, **AI 의 확률 수치 (숫자) 는 "유용하다"**고 했지만, **빛나는 마커나 설명 그래프 (XAI) 는 "별로 도움이 안 된다"거나 "오히려 방해된다"**고 평가했습니다.

• 비유: 요리사가 "이 요리는 소금 10g 이 들어갔어요"라고 말해줄 때 (확률) 는 이해가 되지만, "소금이 들어간 부분을 빨간색으로 칠해놨어요"라고 그림을 보여줄 때 (XAI) 는 오히려 "그게 뭐가 중요하지?"라고 생각하며 당황하는 것과 비슷합니다.

4. 결론: 왜 설명이 도움이 안 됐을까?

연구팀은 다음과 같은 결론을 내렸습니다.

1. 의사들은 이미 전문가입니다: 유전병 진단은 매우 복잡해서, AI 가 "어떤 부위를 봤다"고 설명해줘도, 그 부위가 정말 중요한지 아닌지 판단하는 것은 결국 의사의 전문 지식에 달려 있습니다.
2. 설명 방식이 아직 부족합니다: 현재 AI 가 보여주는 "빛나는 마커" 방식은 너무 추상적일 수 있습니다. 의사들은 "코가 튀어나와서 A 병이다"처럼 구체적인 의학적 용어로 설명받기를 원합니다.
3. AI 의 확신이 위험할 수 있습니다: AI 가 틀렸는데도 90% 확신으로 말하면, 의사들도 흔들립니다. 이때 설명이 있어도, 의사들은 AI 의 잘못된 확신을 믿고 따라가는 경향이 있었습니다.

🌟 한 줄 요약

"AI 가 얼굴을 보고 병을 찾아내는 건 훌륭하지만, '왜' 찾았는지 보여주는 설명 (XAI) 은 아직 의사들의 판단을 돕기엔 너무 어렵거나, 오히려 혼란을 줄 수 있습니다. AI 는 '정답'을 알려줄 때 가장 유용하고, '이유'를 설명할 때는 아직 갈 길이 멉니다."

이 연구는 앞으로 AI 를 의료 현장에 도입할 때, 단순히 "기술이 좋다"는 것보다 **"의사들이 실제로 어떻게 받아들이고 활용할지"**를 고려해야 함을 일깨워줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 희귀 유전 질환은 전체 인구의 약 10% 에 영향을 미치지만, 개별 질환은 매우 드물어 진단이 어렵습니다. 최근 딥러닝 (DL) 기반 AI 도구가 안면 이미지를 분석하여 희귀 질환의 특징적인 안면 기형 (Facial Dysmorphology) 을 식별하고 감별 진단을 제공하는 데 활용되고 있습니다.
• 문제: 기존 연구들은 AI 도구가 반드시 인간의 진단 능력을 향상시키는 것은 아니며, 오히려 의사결정을 방해할 수도 있음을 시사합니다. 특히, AI 의 예측 결과에 대한 설명 가능성 (Explainable AI, XAI) 이 의료진의 신뢰와 실제 진단 행동에 어떻게 영향을 미치는지에 대한 명확한 증거는 부족합니다.
• 연구 목적: 안면 이미지를 기반으로 한 유전 질환 인식 시, 주의도 기반 (Saliency-based) XAI가 의료진 (유전학 전문가) 의 진단 정확도, 자신감, 그리고 AI 추천 수용도에 미치는 영향을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

가. 데이터 및 모델

• 데이터: 22q11.2 결손 증후군, 앵글만 증후군, 카부키 증후군, 누난 증후군, 윌리엄스 증후군 등 5 가지 유전 질환과 정상인의 안면 이미지 (총 3,547 장) 를 사용했습니다. 사용자 연구에는 이 중 18 장 (각 질환별 3 장, 정상 3 장) 을 선정하여 사용했습니다.
• AI 모델: 6 가지 레이블 (5 가지 질환 + 정상) 을 분류하는 ResNet-50 분류기를 훈련시켰습니다.
• XAI 기법:
  • DeepLIFT: 예측된 레이블에 기여하는 관심 영역 (AOI) 을 시각화한 주의도 지도 (Saliency Maps) 생성.
  • Region Relevance Scores: 주의도 지도를 정량화하여 눈, 코, 입 등 3 가지 주요 안면 영역의 기여도를 히스토그램으로 요약한 지표.

나. 실험 설계 및 참여자

• 참여자: 안면 기형학 전문 의료진 (Board-certified/eligible) 총 44 명.
  • AI-only 그룹 (n=23): AI 예측 확률만 제공.
  • XAI 지원 그룹 (n=21): AI 예측 확률 + 주의도 지도 및 지역 관련성 점수 제공.
• 과제:
  1. 1 차 진단: AI 지원 없이 이미지 18 장을 분류하고 자신감 점수 (5 점 리커트 척도) 기록.
  2. 2 차 진단: AI 예측 결과 (및 XAI 그룹의 경우 설명 자료) 를 제공받은 후 재분류 및 자신감 재기록.
  3. 평가: AI/XAI 도구의 유용성 평가 및 개방형 피드백 수집.
• 분석: 정확도 변화, 자신감 변화, 유용성 점수 상관관계 분석, 그리고 매개 분석 (Mediation Analysis) 을 통해 AI 예측 확률과 XAI 가 의사결정 (AI 추종 여부) 에 미치는 직접/간접 효과 분석.

3. 주요 결과 (Key Results)

가. 진단 정확도 및 자신감에 미치는 영향

• AI 가 정확할 때: 두 그룹 모두 AI 의 정확한 분류 시 진단 정확도가 향상되었습니다 (AI-only: +0.20, XAI: +0.19). 또한 자신감도 증가했습니다.
• AI 가 틀릴 때: AI 의 잘못된 분류는 두 그룹 모두에서 진단 정확도를 감소시켰습니다 (AI-only: -0.20, XAI: -0.21).
• XAI 의 효과: XAI 지원은 AI-only 그룹에 비해 정확도나 자신감 향상 측면에서 통계적으로 유의미한 추가 이점을 제공하지 않았습니다. 오히려 AI 가 틀린 경우, XAI 를 본 그룹의 자신감 감소 폭이 더 컸습니다.

나. 유용성 평가 (Perceived Usefulness)

• 예측 확률: 의료진들은 AI 의 예측 확률 (Prediction Probability) 을 전반적으로 유용하게 평가했습니다 (평균 점수 양수).
• XAI 설명 (주의도 지도 및 점수): 주의도 지도와 지역 관련성 점수는 부정적이거나 중립적인 평가를 받았습니다 (평균 점수 음수). 약 25~27% 의 참여자가 가장 낮은 점수 (-2) 를 부여했습니다.
• 상관관계: AI 가 틀린 경우, 정확도 향상과 예측 확률의 유용성 간에 부적 상관관계가 관찰되었습니다 (즉, AI 가 틀렸을 때 의료진은 AI 예측을 신뢰하지 않고 오히려 정확도가 떨어지는 경향).

다. 매개 분석 (Mediation Analysis)

• AI 가 정확한 경우, 사용자의 초기 자신감과 AI 추종 결정 사이에서 AI 예측 확률이 유의미한 매개 효과를 가졌습니다.
• 반면, XAI 요소 (주의도 지도, 관련성 점수) 는 사용자의 'AI 추종' 결정에 직접적이거나 간접적인 유의미한 영향을 미치지 않았습니다. 의료진은 설명 자료보다는 초기 직관과 AI 의 확률 수치에 더 의존했습니다.

라. 질적 피드백

• 많은 참여자가 XAI 도구가 해석하기 어렵거나 인지 부하를 증가시킨다고 보고했습니다.
• 일부 전문가는 주의도 지도가 실제 임상적 특징 (예: 눈, 코, 입의 특정 형태) 과 일치하지 않거나, 임상적 맥락과 다를 수 있다고 지적했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. XAI 의 임상적 효용성 검증: 안면 표현형 분석이라는 구체적인 의료 분야에서, 현재 널리 사용되는 주의도 기반 XAI 기법이 의료진의 실제 진단 성능을 향상시키지 못함을 실증적으로 보였습니다.
2. 인간-AI 협업의 복잡성 규명: AI 의 예측 확률 (숫자) 은 의사결정에 큰 영향을 미치지만, 시각적 설명 (XAI) 은 오히려 혼란을 주거나 신뢰를 떨어뜨릴 수 있음을 보여주었습니다. 특히 AI 가 틀린 경우 XAI 가 의료진을 더 비판적으로 만들지만, 이를 실제 추가 정보 수집으로 이어지지 못하게 하는 실험 환경의 한계도 지적했습니다.
3. 향후 연구 방향 제시:
   • 단순한 시각적 주의도 지도보다는 개념 기반 (Concept-based) 설명이나 반사실적 (Counterfactual) 설명이 더 유용할 수 있음을 시사합니다.
   • 의료진이 실제로 사용하는 안면 특징 (Human Phenotype Ontology 등) 과 정렬된 설명 방식의 개발 필요성 강조.
   • 대규모 임상 연구를 통해 XAI 가 어떤 시나리오에서 진단 정확도를 높일 수 있는지 규명해야 함.

5. 결론 (Conclusion)

이 연구는 딥러닝 기반 안면 표현형 분석 도구에서 AI 의 예측 확률 자체는 유용하지만, 현재 사용 중인 주의도 기반 XAI 기법은 의료진의 진단 정확도 향상이나 신뢰도 증대에 기여하지 못한다는 결론을 내렸습니다. 의료진이 XAI 설명을 효과적으로 통합하지 못하는 이유는 설명의 해석 난이도, 임상적 불일치, 그리고 AI 의 과신 (Overconfidence) 문제 때문으로 분석됩니다. 따라서 향후 의료용 AI 소프트웨어 (SaMD) 개발 시, 단순한 시각화보다는 의료진의 임상적 사고 과정과 부합하는 더 직관적이고 해석 가능한 설명 방식을 모색해야 합니다.