Anatomical Accuracy of Generative AI for Congenital Heart Disease Illustrations: Gemini NanoBanana Versus ChatGPT Models in a Blinded Comparative Study

이 연구는 선천성 심장 질환 교육용 일러스트레이션 생성 시 Gemini NanoBanana 가 ChatGPT 모델보다 해부학적 정확도가 높지만, 전문가가 수정한 이미지에는 미치지 못하므로 AI 생성 이미지는 전문가 검토를 거친 교육 워크플로우 내에서만 사용해야 함을 시사합니다.

핵심

🍳 핵심 비유: "요리 레시피와 그림 그리기 대회"

이 연구는 마치 **"요리 레시피 (의학 지식) 를 바탕으로 그림을 그리는 대회"**를 열었다고 상상해 보세요.

1. 참가자 (AI 모델들):

   • 제미니 나노바나나 (Gemini NanoBanana): 재능은 좋지만 가끔 실수를 하는 신예 화가.
   • 챗지피티 (ChatGPT-5, ChatGPT-Images): 매우 화려하고 예쁜 그림을 잘 그리지만, 정작 중요한 부분 (심장 구조) 을 엉망으로 그리는 '환상적인' 화가.
   • 인간 전문가 (Human-modified): 오랜 훈련을 받은 베테랑 의학 일러스트레이터.

2. 주제 (선천성 심장병):

   • 심장은 복잡한 기계처럼 생겼습니다. 문이 몇 개 있고, 관이 어떻게 연결되는지 정확해야 합니다. 이걸 그리는 건 마치 미세한 시계 부품을 그리는 것과 같습니다.

3. 심사위원 (의사들):

   • 심장 전문의 10 명과 일반 의사 10 명 등 총 20 명이 심사를 했습니다. 그들은 그림을 보고 "이게 진짜 심장일까?", "이 그림으로 학생들에게 가르쳐도 될까?"를 평가했습니다.

---

🔍 실험 결과: 누가 이겼을까?

1. "예쁘지만 거짓말쟁이" (챗지피티)

• 결과: 챗지피티가 그린 그림은 거의 90% 가 완전히 틀렸습니다.
• 비유: 챗지피티는 그림을 그릴 때 "심장처럼 보이는 것"을 그리기만 했지, 실제 심장의 구조는 전혀 모릅니다. 마치 "치킨"을 그리라고 했을 때, 닭 모양은 비슷하지만 다리가 6 개 달리고 부리가 이상한 괴물을 그려낸 것과 같습니다.
• 문제: 그림은 매우 예쁘고 그럴듯해 보이지만, 안을 들여다보면 문이 거꾸로 달렸거나 혈관이 엉뚱한 곳으로 이어져 있습니다. 이런 그림을 학생들에게 보여주면 학생들이 잘못된 지식을 배우게 되어 위험합니다.

2. "재능은 있지만 아직 초보" (제미니 나노바나나)

• 결과: 챗지피티보다는 훨씬 낫지만, 인간 전문가보다는 떨어졌습니다.
• 비유: 제미니는 재능 있는 신예 화가입니다. 그림의 전체적인 느낌은 좋지만, 세부적인 부분 (예: 혈관의 연결 부위) 에서 여전히 실수가 많습니다.
• 평가: 이 그림을 바로 수업에 쓰기엔 무리가 있지만, 전문가가 수정 (교정) 을 해준다면 쓸모가 있을 것으로 평가받았습니다.

3. "최고의 전문가" (인간이 수정한 그림)

• 결과: 압도적인 1 위였습니다.
• 비유: 오랜 시간 해부학을 공부한 베테랑 화가가 그린 그림입니다. 구조가 완벽하고, 라벨 (이름표) 도 정확합니다.
• 평가: 학생들에게 가르치기에 가장 안전하고 신뢰할 수 있는 기준이 됩니다.

---

💡 중요한 발견들 (알아두면 좋은 점)

1. "예쁜 그림"은 함정일 수 있습니다.

   • AI 가 그린 그림은 매우 화려하고 매력적이었습니다. 하지만 이 매력 때문에 사람들은 "아, 이 그림이 진짜겠지?"라고 착각하기 쉽습니다.
   • 경고: 심장은 정확함이 생명입니다. 예쁘지만 틀린 그림은 학생들의 머릿속에 잘못된 지도를 심어줄 수 있습니다.

2. 전문가 vs 비전문가의 눈

   • 심장 전문의들은 AI 그림의 오류를 아주 빠르게 찾아냈고, "이건 쓸 수 없어!"라고 엄격하게 평가했습니다.
   • 반면, 심장 전문가는 아닌 일반 의사들은 "오, 꽤 예쁘네?"라고 더 호의적으로 평가했습니다.
   • 교훈: AI 가 만든 복잡한 의학 그림을 볼 때는 반드시 해당 분야의 전문가가 검수해야 합니다.

3. AI 의 역할은 '도움말'일 뿐

   • AI 는 **초안 (Draft)**을 빠르게 만들어주는 '비서' 역할은 할 수 있습니다. 하지만 그 초안을 그대로 책에 싣거나 수업에 쓰는 것은 위험합니다.
   • 올바른 사용법: AI 가 그린 그림을 가져와서, 전문 의사가 "여기는 틀렸네, 고쳐야지"라고 수정한 뒤에야 교육 자료로 쓸 수 있습니다.

---

📝 한 줄 요약

"AI 가 그린 심장 그림은 마치 '보이는 대로' 예쁘지만, 안을 들여다보면 구조가 엉망인 가짜입니다. 따라서 의학 교육에서는 AI 가 그린 그림을 그대로 쓰지 말고, 반드시 전문 의사가 수정하고 검증한 후에만 사용해야 합니다."

이 연구는 AI 기술이 발전했지만, 의학처럼 정밀함이 생명인 분야에서는 인간의 전문가 검증이 여전히 절대적임을 다시 한번 일깨워줍니다.

기술 요약

논문 요약: 선천성 심장 질환 (CHD) 일러스트레이션에 대한 생성형 AI 의 해부학적 정확도 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 의료 교육, 특히 선천성 심장 질환 (CHD) 과 같은 복잡한 해부학적 구조를 설명할 때 고품질의 시각적 자료가 필수적입니다. 전통적으로 교과서, 해부학 아틀라스, 3D 모델 등이 사용되어 왔으나, 접근성, 비용, 커스터마이징의 한계가 존재했습니다.
• 문제: 생성형 AI(GenAI) 가 의료 교육용 이미지 제작에 빠르게 도입되고 있으나, 해부학적 정확성 (Anatomical Accuracy) 이 검증되지 않았습니다. 특히 CHD 와 같이 3 차원적 공간 관계와 미세한 구조적 변이가 중요한 분야에서, AI 가 생성한 이미지가 시각적으로 매력적일지라도 해부학적으로 오류 (fabrication) 를 포함할 경우 학습자의 오개념을 형성할 위험이 큽니다.
• 연구 목적: 현재 가장 최신의 텍스트 - 이미지 생성 모델 (Gemini NanoBanana, ChatGPT-5, ChatGPT-Images) 과 전문가가 수정한 인간 제작 이미지를 비교하여, CHD 일러스트레이션의 해부학적 정확도, 라벨의 유용성, 시각적 매력도, 교육적 적합성을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 평가자 맹검 (Assessor-blinded) 비교 연구.
• 데이터셋 구성:
  • 대상: 정상 심장을 포함하여 20 가지 주요 CHD 유형 (총 21 개 카테고리).
  • 이미지 생성: 각 카테고리당 총 8 장의 이미지를 생성/선별.
    • ChatGPT-5: 3 장
    • Gemini NanoBanana: 3 장
    • ChatGPT-Images (최신 모델): 1 장
    • 참조 이미지 (Human-modified): 전문 해부학 소스를 기반으로 제작된 후, 3 번째 AI 플랫폼을 통해 스타일을 통일하여 'AI 스타일'로 렌더링된 인간 수정 이미지 (1 장). 이 방식은 평가자가 출처를 유추하는 것을 방지하기 위함.
  • 총 이미지 수: 168 장 (21 카테고리 × 8 장).
• 평가자: 총 20 명의 의사 (심장 전문의 10 명, 비심장 전문 의료진 10 명).
• 평가 도구: 4 가지 도메인에서 3 점 척도 (1~3 점) 로 평가.
  1. 해부학적 정확도: 정확한지, 부분적 맞는지, 조작/오류인지.
  2. 텍스트 라벨 유용성: 라벨이 유용한지, 중간인지, 무용/오류인지.
  3. 시각적 매력도: 의료 전문가에게 매력적인지.
  4. 교육적 적합성: 수정 없이 사용 가능한지, 수정 후 사용 가능한지, 사용 불가인지.
  • 총점: 4~12 점 (각 도메인 합계).
• 통계 분석: 카이제곱 검정, 만 - 휘트니 U 검정, 크루스칼 - 월리스 검정, 혼합 효과 일반화 선형 모델 (GLM) 을 사용하여 모델 간 차이와 평가자 특성을 분석.

3. 주요 결과 (Key Results)

• 해부학적 정확도:
  • Human-modified (참조): 정확하다고 평가된 비율이 48.3% 로 가장 높음.
  • Gemini NanoBanana: 정확도 22.7%.
  • ChatGPT-5 & ChatGPT-Images: 정확도가 극히 낮음 (각각 2.8%, 3.3%). 오히려 86.3% (ChatGPT-5) 와 85.2% (ChatGPT-Images) 가 "조작되거나 오류가 있음 (Fabricated)"으로 평가됨.
• 교육적 유용성 (Usability):
  • Human-modified: "수정 없이 사용 가능 (As is)" 비율 37.9%.
  • Gemini NanoBanana: "수정 후 사용 가능" 비율이 높음 (47.6%), "수정 없이 사용 가능"은 13.1%.
  • ChatGPT 모델: 교육용으로 "사용 불가" 비율이 90% 이상 (ChatGPT-5: 94%, ChatGPT-Images: 89.8%).
• 시각적 매력도:
  • Gemini NanoBanana가 가장 높은 매력도 (34.6%) 를 보였으며, 이는 Human-modified 이미지 (16.4%) 보다 높았습니다. 이는 시각적 매력과 해부학적 정확도가 반비례할 수 있음을 시사.
• 모델별 성능 비교:
  • Gemini NanoBanana가 ChatGPT 계열 모델보다 해부학적 정확도와 교육적 가치가 월등히 우수했으나, 여전히 인간 제작 이미지에는 미치지 못함.
  • ChatGPT-5와 ChatGPT-Images는 CHD 의 복잡한 해부학적 구조를 표현하는 데 심각한 실패를 보임.
• 평가자 전문성 영향:
  • 심장 전문의 (Cardiology Experts) 는 비전문가보다 이미지의 오류를 더 민감하게 감지하여 낮은 점수를 매겼으며, 복잡한 병변에 대해 더 높은 복잡도를 인식함.

4. 주요 기여 및 결론 (Key Contributions & Conclusions)

• 모델 간 성능 격차 확인: 생성형 AI 모델은 모두 해부학적 정확도에서 인간 제작 이미지에 미치지 못하지만, Gemini NanoBanana가 ChatGPT 계열보다 상대적으로 우월한 성능을 보임. 이는 모델 선택이 교육적 결과에 결정적임을 시사.
• 시각적 매력의 함정: AI 생성 이미지는 시각적으로 매우 매력적일 수 있으나, 이는 해부학적 오류를 가릴 수 있는 위험 요소임을 강조. 특히 CHD 와 같이 공간적 이해가 중요한 분야에서는 "잘 보이는 이미지"가 "잘못된 학습"으로 이어질 수 있음.
• 라벨의 중요성: 해부학적 정확도와 텍스트 라벨의 정확도가 교육적 유용성과 강한 상관관계를 보임. AI 는 라벨링에서도 심각한 오류를 범함.
• 실무적 권고:
  • AI 생성 CHD 이미지는 독립적인 교육 자료로 사용해서는 안 됨.
  • 반드시 전문가 (심장 전문의) 의 검토와 수정 (Human-in-the-loop) 을 거친 후 보조 자료 (프로토타입, 다양한 각도의 시각화 등) 로만 활용해야 함.
  • 기관 차원의 가이드라인과 거버넌스 체계가 필요함.

5. 의의 및 시사점 (Significance)

• 의료 AI 검증의 필요성: 의료 교육용 AI 도구 도입 전, 단순한 시각적 품질이 아닌 해부학적 정확성에 대한 엄격한 검증이 필수적임을 입증.
• 교육적 안전성: CHD 교육에서 AI 의 무분별한 사용은 학습자의 정신적 모델 (Mental Model) 을 왜곡시킬 수 있으므로, 전문가 감독 하에 제한적으로 사용해야 함을 경고.
• 미래 방향: 생성형 AI 는 이미지 제작의 속도와 다양성을 높일 수 있는 도구이나, 최종적인 해부학적 진실성과 교육적 책임은 인간 전문가에게 남아있어야 함을 강조.

이 연구는 생성형 AI 가 의료 교육, 특히 고난도 해부학 분야에서 아직 초기 단계임을 보여주며, 기술의 발전과 함께 이를 통제하고 검증하는 체계의 중요성을 부각시켰습니다.