Comparative Reliability of Gemini and NotebookLM on AAPD Guideline-Based Pediatric Dentistry Multiple-Choice Questions: Accuracy, Consistency, and Error-Pattern Analysis

현대 치의학 분야, 특히 아동을 치료할 때 의사들은 올바른 선택을 하기 위해 상세한 규칙서에 의존합니다. 임상 지침(clinical guidelines)이라고 불리는 이 규칙서들은 깊은 충치나 유치의 감염과 같은 복잡한 상황을 헤쳐 나가기 위한 지도 역할을 합니다. 이 지침들은 어떤 치료가 가장 효과적인지, 얼마나 오래 지속되는지, 그리고 무엇을 주의해야 하는지를 전문가들에게 정확히 알려줍니다. 그러나 바쁜 일과 중이나 강의실 수업 중에 이러한 서술된 규칙들을 빠르고 신뢰할 수 있는 답변으로 바꾸는 것은 항상 간단한 일이 아닙니다. 최근에는 텍스트를 읽고 질문에 즉각적으로 답할 수 있는 거대 언어 모델(large language model)이라는 새로운 유형의 컴퓨터 프로그램이 도구로서 등장했습니다. 이 프로그램들은 말을 걸면 대답해 주는 방대한 도서관과 같지만, 때때로 실수를 하거나 같은 질문을 했을 때 마음을 바꾸기도 합니다. 이러한 프로그램들을 더 신뢰할 수 있게 만들기 위해, 개발자들은 컴퓨터가 추측하는 대신 사실에 근거하도록 특정 문서를 반드시 먼저 확인하게 만드는 방법을 고안했습니다. 연구자들의 과제는 이 추가적인 문서 확인 단계가 실제로 컴퓨터를 더 신뢰할 수 있게 만드는지, 아니면 단순히 새로운 종류의 오류를 숨긴 채 더 자신감 있게 보이게만 만드는 것인지 확인하는 것입니다.

중국의 상양 치과 병원(Xiangya Stomatological Hospital) 연구진은 이 아이디어를 테스트하기 위해 2024년 미국 소아치과학회(American Academy of Pediatric Dentistry)의 유치 치료 지침을 바탕으로 한 특정 질문 세트를 사용하여 실험을 진행했습니다. 그들은 컴퓨터에게 실제 환자를 진료하라고 시킨 것이 아니라, 컴퓨터가 의료 시험에서 볼 법한 90개의 객관식 질문에 답해야 하는 시뮬레이션을 만들었습니다. 각 질문은 아이의 치아 상태에 대한 시나리오를 제시하고 네 가지 가능한 답변을 제공하며, 그중 단 하나만이 공식 지침에 따른 정답입니다. 연구진은 두 가지 서로 다른 방식의 컴퓨터 활용법이 어떻게 수행되는지 보고 싶었습니다. 첫 번째 방법은 표준 채팅 방식으로, 컴퓨터가 인터넷과 학습 데이터로부터 배운 모든 것을 바탕으로 답변하는 방식입니다. 두 번째 방법은 NotebookLM이라는 도구를 사용한 것으로, 컴퓨터에게 실제 가이드라인 문서를 주고 답변하기 전에 이를 먼저 읽게 하여 응답의 근거를 해당 텍스트에 두도록 강제했습니다. 결과가 단순히 운 좋게 맞춘 것이 아님을 보장하기 위해, 연구진은 세 개의 서로 다른 컴퓨터 계정에게 모든 질문에 답하게 하여 수백 개의 응답을 생성하고 패턴을 분석했습니다.

결과에 따르면 두 방법 모두 정답을 맞히는 데 꽤 뛰어났지만, 매우 다르게 행동했습니다. 표준 채팅 버전은 약 92%의 확률로 대다수의 정답을 맞혔습니다. 그러나 이는 일관성이 없었습니다. 세 개의 서로 다른 계정이 동일한 질문에 답했을 때, 그들은 자주 서로 의견이 엇갈렸습니다. 계정 1/6의 비율로 계정들이 서로 다른 답을 내놓았는데, 이는 컴퓨터가 불확실해하거나 선택지 사이에서 방황하고 있음을 시사했습니다. 반면, 문서를 먼저 읽은 버전은 정답률이 거의 99%에 달했습니다. 더 중요한 점은, 이 버전은 완벽하게 일관적이었다는 것입니다. 세 계정이 질문에 답할 때마다 매번 정확히 동일한 응답을 내놓았습니다. 이는 컴퓨터에게 문서를 읽게 하는 것이 컴퓨터를 훨씬 더 안정적으로 만들고, 의견을 바꾸는 일을 줄여준다는 것을 시사합니다. 비록 그것이 반드시 완벽함을 의미하는 것은 아닐지라도 말입니다.

하지만 연구진은 이러한 안정성에 숨겨진 함정이 있다는 것을 발견했습니다. 표준 채팅은 시도할 때마다 변하는 실수를 저지르는 반면, 문서를 읽는 버전은 매번 똑같은 실수를 저질렀습니다. 화학적 기계적 충치 제거(chemomechanical caries removal)와 회전 버(rotary-bur)를 이용한 충치 제거를 비교하는 특정 질문에 대해, 문서 읽기 도구의 세 계정 모두 똑같이 틀린 답을 냈습니다. 이는 위험성 측면에서 매우 중요한 차이입니다. 컴퓨터가 매번 다른 오답을 내놓으면, 사용자는 혼란을 감지하고 무언가 잘못되었다는 것을 알아차릴 수 있습니다. 하지만 컴퓨터가 매번 똑같은 오답을 내놓으면서 문서를 인용까지 한다면, 그것은 매우 권위 있고 신뢰할 만해 보입니다. 오류가 일관적이고 확신에 차 있기 때문에, 학생이나 의사가 정보가 틀렸다는 것을 알아차리기가 훨씬 더 어렵습니다. 연구진은 이러한 오류가 단순한 사실보다는 성공률이나 도구의 효과성처럼 숫자를 비교해야 하는 질문에서 발생하는 경향이 있음을 발견했습니다.

연구는 단순히 컴퓨터에게 문서를 읽게 하는 것이 정보의 완벽한 이해를 보장하지는 않는다고 결론짓습니다. 대신, 이 방법의 주요 이점은 컴퓨터가 예측 불가능해지는 것을 막아준다는 점입니다. 이는 안정적이고 반복 가능한 시스템을 만들어내며, 이는 교육과 훈련에 있어 가치가 있습니다. 그러나 이러한 안정성은 시스템이 무언가를 틀렸을 때 그 오류가 일관되게 반복된다는 것을 의미하며, 이는 컴퓨터를 너무 신뢰하는 사용자들을 오도할 가능성이 있습니다. 연구진은 우리가 컴퓨터가 얼마나 자주 정답을 맞히는지뿐만 아니라, 틀렸을 때 어떻게 행동하는지도 살펴봐야 한다고 제안합니다. 향에 의료 결정을 위한 도구들은 단순히 정확도뿐만 아니라, 그 오류가 명백한지 혹은 숨겨져 있는지, 그리고 다시 물었을 때 일관성을 유지할 수 있는지에 따라 평가되어야 합니다. 이러한 접근 방식은 우리가 이 강력한 도구들을 교실과 병원으로 도입할 때, 그 강점과 특정한 실패 방식 모두를 이해할 수 있도록 도와줍니다.