Performance of Five Mainstream Large Language Models on Common Small Cell Lung Cancer Questions: Readability, Patient- Education Suitability, and Information Quality

심각한 질병을 새로 진단받은 환자가 조용한 방에 앉아 자신의 몸에 무슨 일이 일어나고 있는지 이해하려고 애쓰고 있다고 상상해 보십시오. 그들은 자신의 상태, 이용 가능한 치료법, 그리고 미래에 어떤 일이 일어날지에 대해 명확한 답을 찾고자 인터넷을 뒤적입니다. 최근 몇 년 동안, 많은 이들이 즉각적이고 인간다운 설명을 듣기 위해 인공지능 시스템에 이러한 질문을 던지기 시작했습니다. 대규모 언어 모델로 알려진 이 시스템들은 방대한 양의 텍스트를 학습하여 거의 모든 질문에 대해 유창하고 일관된 답변을 생성할 수 있습니다. 하지만 유창함이 명확함이나 정확성을 보장하는 것은 아닙니다. 복잡한 질병에 직면한 환자에게 도움이 되는 설명과 혼란스러운 의학 용어의 나열 사이의 차이는, 환자가 스스로를 고무시키느냐 아니면 길을 잃느냐를 결정짓는 차이가 될 수 있습니다. 이는 특히 치료 계획이 빠르게 변하고 환자가 필요로 하는 정보가 밀도 높고 기술적인, 진행 속도가 빠르고 공격적인 형태의 질환인 소세포 폐암의 경우 더욱 그러합니다.

중국 다�连의 병원 연구진은 가장 인기 있는 5가지 인공지능 시스템이 이 특정 질병을 일반인에게 설명할 때 얼마나 잘 수행하는지를 테스트하기 위해 나섰습니다. 그들은 단순히 답변이 옳은지를 묻는 데 그치지 않고, 그 답변이 건강에 대해 배우고자 하는 환자에게 실제로 유용한지를 물었습니다. 연구진은 질병의 원인, 주의 깊게 살펴봐야 할 증상, 의사가 이를 진단하는 방법, 표준 치료법, 그리고 치료 후의 삶을 관리하는 방법 등 환자가 가질 수 있는 가장 흔한 우려 사항들을 다루는 20개의 표준 질문을 만들었습니다. 그런 다음 이 20개의 동일한 질문을 DeepSeek, Doubao, GPT-5, Tongyi Qianwen, Wenxin Yiyan이라는 다섯 가지 서로 다른 AI 모델에 입력했습니다. 이를 통해 생성된 100개의 고유한 응답을 바탕으로, 연구진은 텍스트의 가독성과 정보의 구조가 환자의 이해와 행동을 돕기에 얼마나 적절한지를 측정하도록 설계된 도구들을 사용하여 분석했습니다.

결과는 환자 교육에 있어 모든 인공지능이 동일하게 만들어진 것이 아님을 보여주었습니다. 한 모델인 GPT-5는 전문가들로부터 가장 높은 품질로 평가받는 답변을 일관되로 생성했습니다. 이 응답들은 잘 조직되어 있었고, 필요한 정보를 명확하게 다루었으며, 환자 교육에 가장 적합한 것으로 간주되었습니다. 반면, 또 다른 모델인 Wenxin Yiyan은 더 단순한 문장 구조와 적은 수의 복잡한 단어를 사용하여 훨씬 읽기 쉬운 텍스트를 생성했지만, 전반적인 품질과 유용성 측면에서는 낮은 평가를 받았습니다. 이러한 발견은 중요한 괴리를 강조합니다. 즉, 가장 읽기 쉬운 글을 쓴 시스템이 반드시 가장 유용한 글을 쓴 것은 아니며, 가장 좋은 정보를 작성한 시스템이 항상 읽기 쉬운 글을 작성한 것은 아니라는 점입니다.

연구진은 또한 질문의 주제가 사용된 AI 모델만큼이나 중요하다는 것을 발견했습니다. 증상과 징후에 관한 질문은 일반적으로 이해하기 쉬운 언어로 답변되었는데, 이는 이러한 주제가 느낌이나 눈에 보이는 변화를 묘사하는 데 의존하기 때문으로 보입니다. 그러나 표준화된 치료, 병기 결정, 그리고 추적 관리에 관한 질문은 어떤 AI를 사용하든 일관되게 더 복잡한 언어로 나타났습니다. 이는 주제 자체의 난이도가 AI로 하여금 더 기술적인 용어와 긴 문장을 사용하게끔 강제하며, 환자의 여정 중 이러한 특정 부분들을 단순화하기 어렵게 만든다는 것을 시사합니다.

이 연구의 가장 중요한 시사점은 가독성과 품질이 동일한 것이 아니라는 점입니다. 연구진은 텍스트의 읽기 쉬운 정도와 그 안에 담긴 정보의 질 사이에 약한 연결 고리만을 발견했습니다. 응답은 매우 읽기 쉬울 수 있지만 핵심적인 세부 사항을 놓치거나 다음에 무엇을 해야 할지 안내하는 데 실패할 수 있습니다. 반대로, 응able은 높은 수준의 정확한 정보로 가득 차 있을 수 있지만, 비전문가가 소화하기 어려운 방식으로 작성될 수 있습니다. 이는 단순히 가장 '쉬운' 문장을 쓰는 AI를 선택하는 것만으로는 환자가 최선의 케어를 받도록 보장하기에 충분하지 않음을 의미합니다.

연구는 이러한 인공지능 도구들이 환자의 건강 이해를 돕는 데 유망함을 보여주지만, 아직 단독으로 신뢰받을 수는 없다고 결론짓습니다. 가장 좋은 접근 방식은 이 시스템들을 시작점으로 사용하되, 의료 전문가가 결과물을 검토하게 하는 것입니다. AI가 초안을 작성할 수는 있지만, 정보가 정확한지, 조언이 안전한지, 그리고 언어가 특정 환자에게 정말로 적절한지를 확인하는 것은 인간 의사나 간호사의 몫입니다. 치료 결정이 복잡하고 시간에 민감한 소세포 폐암의 고위험 환경에서, 인간이라는 요소는 가공되지 않은 데이터와 생명을 살리는 이해 사이의 필수적인 필터로 남아 있습니다.