Can Large Language Models Provide Safe and Evidence-Based Nutritional Recommendations for Dental Implant Patients? A Comparative Benchmarking Study

치과의사가 가짜 치아를 고정하기 위해 턱뼈에 티타늄 나사를 심을 때, 인체는 이 금속을 적이 아닌 친구로 대우해야 합니다. 뼈가 임플란트 주변으로 단단하게 자라나 이를 고정하는 이 과정은 단순히 수술 기술 그 이상의 것에 의존하는 섬세한 생물학적 춤과 같습니다. 이는 환자의 전반적인 건강, 특히 무엇을 먹느냐에 크게 좌우됩니다. 집이 서 있기 위해 튼튼한 벽돌과 모르타르가 필요한 것처럼, 치유되는 조직과 새로운 뼈는 수술 후 스스로를 재건하기 위해 단백질, 비타민, 미네 minerals와 같은 특정 영양소를 필요로 합니다. 만약 이러한 구성 요소들이 부족하다면, 임플란트가 통합되지 못하거나 주변 잇몸 조직이 염증이 생기고 병들 수 있습니다. 수십 년 동안 의사들은 좋은 영양 섭취가 도움이 된다는 사실을 알고 있었지만, 정확히 무엇을, 언제 먹어야 하며, 어떤 보충제가 효과적인지에 대한 과학적 조언의 양이 너무 방대해져서 매우 압도적인 수준이 되었습니다. 이 복잡한 환경 속에서 새로운 종류의 디지털 비서가 등장했습니다. 바로 거대 언어 모델입니다. 이들은 방대한 양의 텍스트를 학습하여 질문에 답하고, 연구 내용을 요약하며, 인간의 언어로 조언을 제공할 수 있는 강력한 컴퓨터 프로그램입니다. 이러한 도구들이 클리닉에서 흔해짐에 따라, 환자를 본 적도 없고 수술을 수행한 적도 없는 컴퓨터가 사람에게 임플란트 성공을 돕기 위해 무엇을 먹어야 할지 안전하고 정확하게 말해줄 수 있는가라는 중요한 질문이 제기됩니다.

연구진은 가장 인기 있는 네 가지 인공지능 시스템을 엄격한 테스트에 투입함으로써 이 질문에 답하고자 했습니다. 그들은 컴퓨터에게 단순히 "뼈에 무엇이 좋은가?"와 같은 일반적인 질문을 던지지 않았습니다. 대신, 치과의사가 직면할 수 있는 구체적이고 현실적인 120가지 시나리오를 만들었습니다. 이 상황들은 수술 전 환자의 식단을 확인하는 것부터 수술 후 합병증 관리, 그리고 다른 심각한 건강 상태를 가진 환자를 다루는 것까지 임플란트 치료의 전 과정을 포괄했습니다. 이 시나리오들은 컴퓨터가 다양한 증거를 저울질하고, 단순히 사실적으로 옳은 것을 넘어 실제 사람에게 안전하고 실용적인 권고를 제공하도록 설계되었습니다. 테스트의 공정성을 보장하기 위해, 연구진은 모든 시나리오를 GPT-5, Claude, Gemini, Copilot이라는 네 가지 서로 다른 AI 모델에 동일한 지침을 사용하여 제출했습니다. 그들은 각 모델에 동일한 질문을 세 번씩 던져 매번 같은 조언을 하는지 확인했으며, 분석을 위해 총 1,440개의 응답을 수집했습니다.

이 답변들을 평가하기 위해, 연구진은 구강 치유 과정을 수십 년간 연구해 온 전문의와 영양 과학자를 포함한 5명의 전문가 패널을 구성했습니다. 이 전문가들은 '블라인드 테스트' 방식으로 진행되어, 어떤 컴퓨터가 어떤 답변을 생성했는지 알지 못했습니다. 그들은 모든 AI 응답을 최신 의학 가이드라인과 과학적 연구에 기반한 엄격하고 미리 작성된 표준과 비교했습니다. 전문가들은 다음과 같은 사항들을 검토했습니다. 조언이 과학과 일치하는가? 안전한가? 컴퓨터가 가짜 연구나 참고 문헌을 만들어냈는가? 그리고 과학적 근거가 불분명할 때 이를 인정했는가? 결과에 따르면, 모든 컴퓨터가 영양에 대해 이야기할 수는 있었지만, 안전하고 정확하며 근거에 기반한 조언을 제공하는 능력은 현저히 차이가 났습니다. 한 모델인 GPT-5는 다른 모델들을 지속적으로 능가하며 전문가 표준에 가장 부합하는 권고를 제공했습니다. 이 모델은 영양 조언 측면에서 가장 정확했고, 경고 측면에서 가장 안전했으며, 현재의 과학적 지식의 한계에 대해 가장 정직했습니다. 또한 가짜 연구 논문을 지어내는 것과 같은 실수를 가장 적게 범했습니다.

다른 세 모델도 준수한 성적을 보였으나 특정 분야에서 부족함을 드러냈습니다. 두 번째로 우수한 모델인 Claude는 선두 모델에 근접했으나 여전히 더 많은 오류를 범했습니다. 나머지 두 모델인 Gemini와 Copilot은 안전성과 정확성 측면에서 더 자주 어려움을 겪었습니다. 모든 모델의 주요 실패 지점은 질문에 상업적인 영양 보충제가 포함되었을 때였습니다. 과학적 근거가 종종 모호하거나 상충하는 이 경우에, 컴퓨터들은 지나치게 자신만만한 태도를 보이며 과학적 근거가 뒷받침되지 않음에도 불구하고 확정적인 조언을 제공하는 경향이 있었습니다. 또한 신뢰도 면에서도 차이를 보였는데, 어떤 모델은 동일한 질문을 여러 번 했을 때 매번 다른 답변을 내놓은 반면, 어떤 모델은 일관성을 유지했습니다. 연구 결과, 가장 성능이 좋은 컴퓨터조차도 약 4.4%의 비율로 과학적 참고 문헌을 허구로 만들어내는 '환각(hallucination)' 현상을 보였습니다. 이는 낮은 비율이긴 하지만 여전히 존재하는 문제였습니다. 이는 AI가 정보를 요약하는 데는 유용한 도구가 될 수 있지만, 아직 독자적으로 최종 결정을 내릴 만큼 신뢰할 수는 없음을 의미합니다.

연구진은 이러한 인공지능 시스템이 치과의사와 환자가 임플란트 영양이라는 복잡한 세계를 탐색하는 데 도움을 줄 수 있는 강력한 조수이지만, 인간의 판단을 대체할 준비는 되지 않았다고 결론지었습니다. 가장 우수한 모델들은 치유되는 뼈의 생물학적 요구를 이해하고 타당한 일반적 조언을 제공할 수 있음을 보여주었지만, 증거가 약하거나 특정 상업 제품이 개입될 때는 여전히 실수를 저질렀습니다. 이 연구는 치과 분야에서 이러한 도구를 사용하는 미래가 컴퓨터가 근거에 기반한 빠른 요약을 제공하고, 인간 전문가가 세부 사항을 검증하며, 안전성을 확인하고, 환자 개개인에게 맞춤형 조언을 제공하는 파트너십에 있다고 시사합니다. 컴퓨터가 일관되게 사실을 지어내는 것을 피하고 인간 의사와 같은 주의 깊은 태도로 불확실한 증거를 다룰 수 있을 때까지, 그 역할은 결정적인 것이 아니라 지원적인 역할에 머물러야 합니다. 기술은 빠르게 발전하고 있지만, 현재로서는 환자의 임플란트를 위한 가장 안전한 길은 컴퓨터가 조사를 하고 인간이 결정을 내리도록 하는 것입니다.