Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

남성이 전립선암 진단을 받으면, 그 여정은 종종 중대한 결정, 즉 로봇 보조 수술 기법을 사용하여 전립선 전체를 제거할 것인지의 여부를 포함하게 됩니다. 로봇 보조 근치적 전립선 절제술(robot-assisted radical prostatectomy)로 알려진 이 절차는 국소 질환에 대한 표준적인 치료법이지만, 환자가 이해해야 할 복잡한 정보의 그물을 동반합니다. 환자는 수술이 어떻게 진행되는지, 회복 과정은 어떠한지, 그리고 수술이 방광 조절 능력이나 성 기능에 어떤 영향을 미칠 수 있는지, 또한 의사들이 암의 재발을 어떻게 감시할 것인지 알아야 합니다. 과거에는 환자들이 인쇄된 브로슈어나 외과의와의 단 한 번의 대화에 의존하여 이러한 질문들을 해결했습니다. 오늘날 많은 이들은 즉각적인 답변을 얻기 위해 인공지능 챗봇을 찾습니다. 이러한 거대 언어 모델들은 인간의 조언처럼 보이고 들리는 텍스트를 생성할 수 있지만, 결정적인 질문은 여전히 남아 있습니다. 과연 이들이 삶을 바꾸는 의료적 여정을 정확하고 명확하게 설명하는 데 신뢰받을 수 있는가 하는 점입니다.

북사천 의과대학 부속 병원의 연구팀은 바로 이 질문을 테스트하기 위해 나섰습니다. 그들은 ChatGPT, DeepSeek, Doubea라는 세 가지 인기 있는 인공지능 시스템에 초점을 맞췄습니다. 연구팀은 기계에게 수술을 수행하거나 특정 개인을 진단하라고 요구하지 않았습니다. 대신, 그들은 모델들을 정보 제공자로 취급했습니다. 연구진은 암 선별 검사 단계부터 수술 후 장기 추적 관찰에 이르기까지, 환자가 케어 과정의 각 단계에서 던질 수 있는 25가지의 서로 다른 질문 목록을 작성했습니다. 이 질문들은 검사 결과 해석부터 신경 손상의 위험을 이해하는 것에 이르기까지 모든 것을 다루었습니다. 그런 다음 연구진은 이 25개의 질문을 각각의 모델에 입력하여 총 75개의 개별 응답을 생성했습니다. 공정한 테스트를 위해, 모델들이 동일한 채팅 세션 내에서 이전 답변으로부터 학습할 수 없도록 각 질문은 별도의 대화에서 개별적으로 질문되었습니다.

응답이 수집된 후, 연구진은 그 품질을 판단할 방법이 필요했습니다. 연구진은 세 명의 의료 전문가를 블라인드 검토자로 모집했는데, 이는 전문가들이 어떤 인공지능이 어떤 답변을 작성했는지 알지 못하는 상태에서 진행되었음을 의미합니다. 전문가들은 환자 교육의 질을 측정하기 위해 설계된 몇 가지 확립된 도구들을 사용하여 텍스트를 평가했습니다. 그들은 정보가 완전한지, 환자가 실제로 사용할 수 있는 실용적인 조언을 제공하는지, 그리고 이해하기 쉬운 방식으로 작성되었는지를 살펴보았습니다. 또한 가공의 사실이나 시대에 뒤떨어진 의학적 권고와 같은 구체적인 오류를 확인했으며, 텍스트의 가독성이 일반인에게 얼마나 어려운지도 계산했습니다. 목표는 하나의 기계가 다른 기계들보다 일관되게 뛰어난 성능을 보이는지, 아니면 모두가 동일한 문제로 어려움을 겪는지 확인하는 것이었습니다.

결과는 세 모델 모두 일반적으로 안전하고 정확한 정보를 생성했지만, 각기 뚜렷한 개성과 강점을 가지고 있음을 보여주었습니다. 한 모델인 ChatGPT는 일관되게 가장 실행 가능한 조언을 제공했습니다. 환자가 다음 단계로 무엇을 해야 하는지 물었을 때, 이 모델은 사람이 따를 수 있는 명확하고 단계적인 지침을 제공할 가능성이 더 높았습니다. 또한 이 모델은 환자의 의사결정을 지원하기 위해 정보가 얼마나 잘 구조화되어 있는지에 대한 척도에서도 높은 점수를 받았습니다. 또 다른 모델인 DeepSeek은 눈에 띄게 읽기 쉬운 텍스트를 생성했습니다. 문장이 다소 덜 복잡했고, 어휘 또한 다른 모델들에 비해 다소 접근하기 쉬웠습니다. 그러나 "쉬운" 텍스트인 DeepSeek의 글조차도 많은 성인이 편안하게 읽기에는 어려운 수준이었으며, 공중 보건 자료에 권장되는 읽기 수준을 초과했습니다. 세 번째 모델인 Doubao는 정확도 측면에서는 다른 모델들과 비슷하게 수행했으나, 가독성 면에서 더 고전했으며 때때로 핵심적인 세부 사항을 누락하기도 했습니다.

이러한 차이점에도 불구하고, 본 연구는 어떤 단일 모델도 완벽하지 않으며, 그 누구도 의사의 조언을 대체해서는 안 된다는 점을 발견했습니다. 연구진은 기계들이 사실을 지어내거나 위험할 정도로 시대에 뒤떨어진 조언을 하는 경우는 드물었지만, 특히 DeepSeek과 Doubao의 응답에서 중요한 정보를 누락하는 경우가 있음을 발견했습니다. 또한, 답변을 채점한 인간 전문가들 사이에서도 항상 의견이 일치하지는 않았습니다. 이러한 의견 불일치는 의료적 조언의 품질을 판단하는 것이 훈련된 전문가들에게도 어려운 작업임을 시사하며, 모델 간의 미세한 점수 차이가 겉으로 보이는 것만큼 의미 있는 것은 아닐 수도 있음을 나타냅니다. 연구는 또한 지속적인 과제를 강조했습니다. 세 모델 모두 일반적인 사람들에게는 너무 복잡한 텍스트를 생성했다는 점입니다. 의학 용어와 문장 구조는 이를 완전히 파악하기 위해 고등학교 교육 이상의 수준을 요구했으며, 이는 이 정보가 가장 필요한 많은 환자들에게 장벽을 형성합니다.

연구진은 결론적으로, 이러한 인공지능 도구들이 의사들을 돕는 조력자로서 유망하며, 비뇨기과 의사가 검토하고 다듬을 수 있는 교육 자료의 초안 역할을 할 수 있다고 보았습니다. 이들은 광범위한 주제를 다루는 설명을 빠르게 생성할 수 있지만, 아직 의사와 환자 사이에 일어나는 미묘하고 개인화된 대화를 대체할 수는 없습니다. 로봇은 수술의 위험성을 나열할 수는 있지만, 환자의 눈을 맞추고, 그들의 특정한 두려움을 이해하며, 환자의 의료 기록과 개인적 가치의 독특한 균형을 저울질할 수는 없습니다. 현재로서는, 이 강력한 기계들의 최선의 용도는 독립적인 의료 가이드 원천이 아니라 임상의를 위한 지원 도구로서의 역할입니다. 이 연구는 기술이 정보를 더 쉽게 이용할 수 있게 만들 수는 있지만, 정보가 단순히 정확한 것을 넘어 진정으로 이해될 수 있도록 하기 위해서는 인간적인 돌봄의 요소가 필수적이라는 점을 상기시켜 줍니다.