Can Parents and Patients Understand Myopia Using Large Language Model-Based Chatbots?

본 연구는 ChatGPT 와 DeepSeek 이 부모 및 환자가 묻는 근시에 대한 질문에 대해 일관되게 높은 품질의 답변을 제공한 반면, Gemini 는 상대적으로 낮은 점수를 받았으나 전반적으로 AI 채팅봇이 근에 대한 이해를 돕는 데 유효함을 보여주었다.

핵심

이 연구는 **"부모님과 환자분들이 AI 챗봇을 통해 근시 (근시) 에 대해 제대로 이해할 수 있을까?"**라는 질문에 답하기 위해 진행된 실험입니다.

쉽게 비유하자면, **세 명의 AI 요리사 (챗봇)**가 **20 가지의 근시 관련 레시피 (질문)**를 받아 요리를 해보게 한 뒤, **4 명의 미식가 (전문가)**가 그 요리의 맛과 영양가를 평가한 이야기입니다.

🍽️ 실험의 구성: 세 명의 AI 요리사 vs 20 가지 질문

연구진은 부모님과 환자들이 실제로 병원에서 자주 묻는 20 가지 질문을 준비했습니다.

• 질문 예시: "휴대폰을 멀리 보면 근시가 걸릴까?", "근시 치료는 가능한가?", "근시의 합병증은 무엇인가?" 등
• 참가한 AI 요리사 (챗봇):
  1. ChatGPT (OpenAI 의 최신 모델)
  2. DeepSeek (중국의 최신 AI 모델)
  3. Gemini (구글의 AI 모델)

이 세 챗봇에게 "답변은 50 단어 이내로 간결하게, 일반인도 쉽게 이해할 수 있게"라고 지시했습니다. (너무 길면 읽기 힘들기 때문입니다.)

👨‍🍳 평가 과정: 미식가들의 점수 매기기

이 답변들을 4 명의 전문가 (근시 치료 경험이 풍부한 시니어 의사 2 명, 주니어 의사 1 명, 연구원 1 명) 가 맹검 (누가 어떤 AI 가 답했는지 모르게) 상태로 평가했습니다.

• 점수 기준: 1 점 (매우 나쁨) ~ 5 점 (매우 훌륭함)
• 평가 내용: 의학적 사실은 정확한지, 설명이 명확한지, 오해의 소지는 없는지 확인했습니다.

🏆 실험 결과: 누가 이겼을까?

결과를 한 마디로 요약하면, **"ChatGPT 와 DeepSeek 은 훌륭한 요리사, Gemini 는 그럭저럭 괜찮은 요리사"**였습니다.

1. ChatGPT & DeepSeek (우승 후보):

   • 전체적으로 **4 점 (좋음)**을 받았습니다.
   • 답변의 약 66~67% 가 '좋음' 또는 '매우 좋음'으로 평가받았습니다.
   • 특히 근시의 원인과 예방법, 합병증에 대한 설명이 정확하고 이해하기 쉬웠습니다.
   • 비유: 마치 맛집의 셰프가 만든 요리처럼, 영양가도 있고 맛도 일관되게 훌륭했습니다.

2. Gemini (준우승):

   • 전체적으로 **3 점 (보통)**을 받았습니다.
   • ChatGPT 나 DeepSeek 에 비해 점수가 유의미하게 낮았습니다.
   • '나쁨'이나 '매우 나쁨'으로 평가받은 비율이 다른 두 챗봇보다 높았습니다.
   • 비유: 요리 실력은 나쁘지 않지만, 가끔 재료를 잘못 쓰거나 설명이 다소 모호한 초보 셰프 같은 느낌입니다. (예: 아트로핀 약을 언급할 때 '저농도'라는 중요한 단어를 빼먹는 등)

💡 중요한 발견들

• 일관성 문제: 같은 질문을 다시 물어봐도, AI 챗봇들은 매번 다른 답변을 내놓을 수 있습니다. (오늘은 맛있는 요리를 했다가, 내일은 맛이 다를 수 있음) 이는 AI 가 계속 학습하고 변하기 때문입니다.
• 전문가의 평가 차이: 의사들끼리도 같은 답변에 대해 점수를 다르게 매긴 경우가 있었습니다. (누가 더 엄격하게 평가했는지에 따라 다름)
• 전반적인 결론: AI 챗봇은 근시에 대한 초기 정보를 얻는 데는 매우 유용합니다. 하지만 100% 신뢰하기보다는, **의사와 상담하기 전의 '예비 지식'**으로 활용하는 것이 가장 좋습니다.

📝 결론: 부모님과 환자를 위한 조언

이 연구는 **"AI 챗봇이 근시에 대한 정보를 찾는 부모님과 환자에게 훌륭한 도구가 될 수 있다"**는 것을 보여줍니다.

• ChatGPT나 DeepSeek는 특히 신뢰할 만한 정보를 제공했습니다.
• 하지만 AI 가 모든 것을 다 알려주는 것은 아니므로, 중요한 치료 결정은 반드시 실제 의사와 상의해야 합니다.
• 마치 **요리책 (AI)**을 보고 요리를 배울 수는 있지만, **실제 요리사 (의사)**의 도움을 받아 완성도를 높이는 것이 가장 안전하다는 뜻입니다.

이 연구는 AI 기술이 의료 정보의 '벽'을 허물고, 누구나 쉽게 눈 건강 정보를 얻을 수 있게 해주는 희망적인 신호를 보냈습니다.

기술 요약

논문 요약: 근시 (Myopia) 이해를 위한 대규모 언어 모델 (LLM) 기반 챗봇의 신뢰성 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 포스트 코로나 시대, 인공지능 (AI) 의 발전과 인터넷 접근성 향상으로 환자와 보호자들이 건강 정보를 얻기 위해 온라인과 소셜 미디어를 적극 활용하고 있습니다. 특히 근시 (Myopia) 는 21 세기의 주요 공중보건 문제로 대두되었으며, 그 유병률 증가와 시력 위협적 합병증으로 인해 사회적, 경제적 부담이 커지고 있습니다.
• 문제: 임상가들의 인식은 높아지고 있지만, 부모와 보호자들의 근시에 대한 이해도는 여전히 부족합니다. 환자들은 주로 인터넷과 AI 챗봇을 통해 정보를 찾지만, 온라인 정보의 신뢰성 편차와 전문의 조언 간의 불일치로 인해 혼란을 겪을 수 있습니다.
• 연구 목적: ChatGPT, Gemini, DeepSeek 와 같은 최신 LLM 기반 챗봇이 부모와 환자가 제기하는 근시 관련 질문에 대해 얼마나 정확하고 신뢰할 수 있는 정보를 제공하는지 비교 평가하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 전향적 비교 신뢰성 연구 (Prospective comparative reliability study).
• 대상 챗봇:
  • ChatGPT (OpenAI GPT-5, 2025 년 버전 가정)
  • Gemini (Google Gemini 2.0, 2025 년 버전 가정)
  • DeepSeek (DeepSeek-R1/V3)
• 질문 개발:
  • 근시 전문가 (시니어 임상가 2 명, 주니어 임상가 1 명, 연구자 1 명) 와 펠로우들의 그룹 토의 및 실제 환자/부모 25 명과의 인터뷰를 통해 근시 관련 20 개의 질문을 도출했습니다.
  • 질문 범주: 일반적 근시 질문 (8 개), 근시 예방 및 조절 (7 개), 근시 합병증 (5 개).
• 실험 프로세스:
  • 입력: 20 개의 질문을 각 챗봇에 입력하되, 응답의 가독성과 인지 부하 감소를 위해 50 단어 이내로 답변을 요청했습니다.
  • 평가: 4 명의 평가자 (시니어 임상가 2 명, 주니어 임상가 1 명, 근시 연구자 1 명) 가 맹검 (Masked) 상태로 응답을 평가했습니다.
  • 평가 척도: 5 점 리커트 척도 (1: 매우 나쁨, 2: 나쁨, 3: 허용 가능, 4: 좋음, 5: 매우 좋음).
  • 신뢰도 검증:
    • 내부 일관성: 크론바흐 알파 (Cronbach's α) 분석.
    • 반복성 (Repeatability): 동일 질문에 대해 다른 날짜와 로그인 ID 로 5 회 반복 입력하여 응답 일관성 확인.
    • 평가자 간/내 신뢰도: ICC (Intraclass Correlation Coefficient) 분석.
• 통계 분석: SPSS 를 사용, 중앙값 (Q1, Q3) 보고, Kruskal-Wallis H 검정 및 Mann-Whitney U 검정으로 챗봇 간 차이 분석.

3. 주요 기여 (Key Contributions)

• 최신 모델 비교: 기존 연구가 주로 ChatGPT 에 집중했던 것과 달리, 최신 버전의 ChatGPT, Gemini, 그리고 DeepSeek 을 동시에 비교한 최초의 연구 중 하나입니다.
• 실제 임상 기반 질문: 연구자 주도가 아닌 실제 환자 및 부모의 관점에서 도출된 20 개의 구체적인 질문을 사용하여 임상적 관련성을 높였습니다.
• 다양한 평가자 구성: 다양한 경력 수준 (시니어, 주니어, 연구자) 의 전문가를 참여시켜 평가의 객관성과 신뢰도를 확보했습니다.
• 근시 제어 및 합병증 심층 분석: 단순한 정의뿐만 아니라 근시 조절 (Control) 과 합병증 (Complications) 에 대한 답변의 정확성을 세분화하여 평가했습니다.

4. 연구 결과 (Results)

• 전체 평가:
  • 전체 챗봇의 중앙값 평가는 **4 점 ("좋음")**이었습니다.
  • ChatGPT와 DeepSeek은 중앙값 4 점 ("좋음") 을 기록하여 통계적으로 유의미한 차이가 없었습니다 (p=0.48).
  • Gemini는 중앙값 3 점 ("허용 가능") 으로 다른 두 챗봇보다 유의하게 낮은 점수를 받았습니다 (p≤0.001).
• 범주별 성능:
  • 일반 질문: ChatGPT 와 DeepSeek 은 "좋음", Gemini 는 "허용 가능".
  • 예방 및 조절: 세 챗봇 모두 "좋음"으로 평가됨.
  • 합병증: ChatGPT 는 "좋음", Gemini 와 DeepSeek 은 "허용 가능"으로 평가됨.
• 구체적 통계:
  • "좋음"과 "매우 좋음" 비율: ChatGPT (66.0%), DeepSeek (67.5%), Gemini (40.0%).
  • "나쁨"과 "매우 나쁨" 비율: Gemini (7.5%) 가 가장 높았으며, ChatGPT (5.0%) 와 DeepSeek (4.0%) 는 낮았습니다.
  • 반복성: 챗봇마다 동일한 질문에 대해 다른 날짜에 입력했을 때 응답이 달라지는 경향이 관찰되었습니다 (DeepSeek 제외 대부분의 경우 크론바흐 α가 낮음).
  • 평가자 신뢰도: 평가자 간 일치도 (ICC) 는 ChatGPT (0.61) 와 DeepSeek (0.57) 에서 양호했으나, Gemini (0.13) 는 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 결론: ChatGPT 와 DeepSeek 은 부모와 환자가 근시에 대해 이해하는 데 도움이 될 수 있는 일관되고 고품질의 정보를 제공하는 것으로 나타났습니다. Gemini 는 점수가 다소 낮았으나 여전히 '허용 가능한' 수준이었습니다.
• 임상적 함의: AI 챗봇은 근시에 대한 초기 교육과 정보 제공을 위한 유망한 도구로 활용될 수 있습니다. 특히 접근성이 높고 무료라는 장점이 있습니다.
• 한계 및 제언:
  • 50 단어 제한이 답변의 깊이와 뉘앙스를 제한했을 수 있습니다.
  • AI 모델의 지속적인 학습으로 인해 응답이 시간에 따라 변할 수 있어 (반복성 문제), 임상적 판단을 대체하기보다는 보조 도구로 사용해야 합니다.
  • 향후 연구에서는 증거 기반 데이터 학습 강화, 맥락 이해도 향상, 다국어 지원 등을 통해 공중보건 커뮤니케이션 도구로서의 역할을 극대화할 필요가 있습니다.

이 연구는 AI 챗봇이 근시와 같은 안과 질환에 대한 대중의 이해를 높이는 데 기여할 수 있음을 실증적으로 보여주었으며, 특히 ChatGPT 와 DeepSeek 의 우수한 성능을 강조했습니다.