Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
터키어 기반의 편도 절제술 후 교육을 위해 ChatGPT와 Gemini를 비교한 전문가 기반 평가 결과, 두 모델 간의 전반적인 품질이나 안전성에서 통계적으로 유의미한 차이가 발견되지 않았으며, 이는 AI가 생성한 환자 정보를 사용하기 전 임상의의 검토가 필수적임을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 수백만 명의 사람들이 목 뒤에 있는 편도를 제거하는 흔한 수술인 편도 절제술을 받습니다. 이 절차는 일상적이지만, 회복 과정은 종종 힘듭니다. 환자들은 심한 통증, 삼킴 곤란, 그리고 출혈이나 탈수에 대한 끊임 없는 걱증을 안고 깨어납니다. 대부분의 회복이 집에서 이루어지기 때문에, 가족들은 무엇이 정상이고 언제 의사의 도움을 받아야 하는지 알기 위해 명확한 지침에 의존합니다. 최근 몇 년 동안 많은 이들이 이러한 답을 즉각적으로 얻기 위해 인공지능 도구로 눈을 돌렸습니다. 대규모 언 언어 모델로 알려진 이 컴퓨터 프로그램들은 대화를 나누고 매우 인간적인 텍-스트를 생성할 수 있습니다. 이들은 의료 용어를 설명하거나 조언을 제공하기 위해 24시간 내내 이용 가능하다는 약속을 합니다. 그러나 이 프로그램들은 의학에 대한 깊은 이해가 아니라 데이터의 패턴을 기반으로 답변을 생성하기 때문에, 혼란스럽거나 시대에 뒤떨어지거나, 심지어 위험한 조언을 제공할 위험이 있습니다. 의사와 환자가 직면한 질문은 간단합니다. 우리는 이 기계들이 한 가족의 힘든 회복 과정을 안내하도록 신뢰할 수 있을까요, 아니면 인간 전문가가 그들의 작업을 검토해야 할까요?
이를 확인하기 위해 터키의 한 연구팀은 현재 사용 가능한 가장 진보된 두 가지 인공지능 시스템인 ChatGPT와 Gemini를 대상으로 정교한 테스트를 설정했습니다. 연구진은 컴퓨터에 무작위 질문을 던지지 않았습니다. 대신, 그들은 실제 사람들로부터 시작했습니다. 연구진은 최근 편도 절제술을 받은 40명의 환자로부터 질문을 수집했습니다. 이 환자들은 통증 관리, 식단, 응급 상황 시 도움을 요청해야 할 때와 같은 주제를 다루며 자신이 알고 싶은 내용을 정확히 적었습니다. 이후 10명의 전문가로 구성된 패널이 이를 15개의 명확한 질문으로 다듬어 터키어로 만들었습니다. 연구진은 단 하루 동안 ChatGPT와 Gemini에게 이 15개의 질문에 모두 답하도록 요청했습니다. 컴퓨터는 응답을 생성했고, 연구진은 단 한 단어도 바꾸지 않고 나타난 그대로 저장했습니다.
다음으로, 연구진은 16명의 서로 다른 이비인후과 전문의들을 심사위원으로 초빙했습니다. 이 의사들은 어떤 컴퓨터 프로그램이 어떤 답변을 작성했는지 알지 못했습니다. 그들은 단지 "응답 A"와 "응답 B"라고만 표시된 두 세트의 응답만을 보았습니다. 각 의사는 15개 질문에 대한 모든 답변을 읽고 네 가지 특정 항목에 대해 평가했습니다: 정보가 과학적으로 얼마나 정확한지, 조언이 실제 환자에게 적절한지, 이해하기 쉬운지, 그리고 가장 중요한 것은 답변이 안전한지 또는 환자를 해로운 상황으로 오도할 수 있는 내용을 포함하고 있는지였습니다. 의사들은 각 카테고리에 대해 최고 점수인 5점을 포함하여 1점에서 5점 사이의 점수를 부여했습니다. 결과적으로 팀은 두 시스템을 나란히 비교하기 위해 총 2,000개에 가까운 개별 평가를 수집했습니다.
결과는 두 인공지능 프로그램 모두 전반적으로 꽤 잘 수행했다는 것을 보여주었습니다. 이들은 일반적으로 정확하고 임상적으로 적절한 정보를 제공했으며, 의학적 사실을 정확히 전달하는 부분에서 높은 점수를 받았습니다. 연구진이 총점을 살펴보았을 때, ChatGPT가 Gemini보다 약간 더 높은 평균 점수를 받았으나, 그 차이는 너무 작아서 우연히 발생했을 가능성이 충분했습니다. 실제로 전문가들이 특정 카테고리를 살펴보았을 때, 두 프로그램은 정확한 의학적 사실을 제공하는 능력에서 거의 동일했습니다. 어느 한 프로그램이 다른 프로그램보다 확실히 낫다고 단정할 수 있을 만큼의 데이터는 확인되지 않았습니다. 연구는 이 특정 과업에 있어 한 모델이 다른 모델보다 우월하다는 증거를 찾지 못했습니다.
하지만 더 자세히 들여다보니 환자 안전에 관한 더 중요한 이야기가 드러났습니다. 두 프로그램 모두 환자 안전 카테고리에서 가장 낮은 점수를 받았습니다. 이는 답변이 종종 사실적으로는 정확할지라도, 전문가들이 출혈에 대한 경고를 누락하거나 약물 복용에 대해 모호한 조언을 하는 등의 잠재적 위험을 발견했음을 의미합니다. ChatGPT가 Gemini보다 안전성 점수에서 약간 높게 나타나긴 했지만, 그 차이가 어느 한쪽을 더 안전한 선택이라고 선언할 만큼 유의미하지는 않았습니다. 전문가들은 또한 안전성을 평가할 때 의사들 사이에서도 의견이 일치하지 않는 경우가 있다는 점을 언급했는데, 이는 텍스트 속의 숨겨진 위험을 찾아내는 것이 전문가들에게도 어려운 작업임을 시사합니다. 이러한 완벽한 합의의 부재는 안전이란 단순한 사실 확인이 아니라 복잡한 판단임을 강조합니다.
연구는 이러한 인공지능 도구들이 인상적이고 유용한 정보를 생성할 수는 있지만, 아직 의사의 조언을 대체할 준비는 되지 않았다고 결론짓습니다. 두 시스템 모두 낮은 안전 점수를 받았다는 사실은 인간 전문가가 환자에게 정보를 전달하기 전에 반드시 검토해야 함을 시사합니다. 연구는 한 프로그램이 명확한 승자라는 것을 보여주지 않으며, 그 자체로 완벽하게 안전하다는 것을 증명하지도 않습니다. 대신, 이 도구들은 의료 전문가가 내용을 확인하고 수정할 수 있는 정보의 초안을 제공하는 보조자로서 가장 잘 작동한다는 것을 시사합니다. 기술이 인간의 도움 없이도 모든 잠재적 위험을 일관되게 식별하고 피할 수 있는 수준으로 발전할 때까지, 환자에게 가장 안전한 길은 자신의 의사와 대화하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.