Can Large Language Models Provide High-Quality Information for Patients with Multidrug-Resistant Organism Infections: A Multidimensional Comparative Analysis of DeepSeek-V3, ChatGPT-5.2, Gemini-3, and Grok-4

당신이 병원에 입원한 환자라고 상상해 보세요. 당신은 치료하기 까다로운 '슈퍼박테리아'(다제내성균, MDRO) 감염 판정을 받았습니다. 당신은 겁이 나고, 혼란스럽고, 수만 가지 질문이 머릿속을 맴돕니다. '내가 어떻게 걸린 거지? 우리 가족은 어떻게 보호해야 하지? 내 미래는 어떻게 되는 걸까?'

과거라면 바쁜 간호사가 모든 것을 설명해 줄 때까지 기다려야 했을 것입니다. 하지만 오늘날 많은 이들이 답을 찾기 위해 AI 챗봇(대규모 언어 모델)을 활용합니다. 이 논문은 중요한 질문을 던집니다: 만약 당신이 이 슈퍼박테리아에 대해 가장 똑똑한 네 가지 AI 챗봇에게 물어본다면, 그들은 안전하고 정확하며 이해하기 쉬운 조언을 제공할 것인가?

연구진은 이를 마치 '맛 테스트'처럼 다루었습니다. 다만 아이스크림 대신 '건강 조언'을 테스트했다는 점이 다릅니다. 연구 결과는 다음과 같으며, 이해하기 쉽게 설명해 드립니다.

참가자들

이 연구는 네 가지 인기 있는 AI 모델을 서로 맞붙였습니다:

1. DeepSeek-V3
2. ChatGPT-5.2
3. Gemini-3
4. Grok-4

연구진은 실제 환자와 가족들이 실제로 묻는 질문들, 예를 들어 "가족을 어떻게 보호하나요?", "예후는 어떤가요?"와 같은 구체적인 질문 10개를 이 AI들에게 던졌습니다.

심사위원

AI의 답변을 채점하기 위해 연구진은 단순히 컴퓨터를 사용하지 않았습니다. 대신 의사, 간호사, 감염 관리 전문가로 구성된 7명의 인간 전문가 패널을 고용했습니다. 이들은 엄격한 음식 평론가와 같습니다. 그들은 다음 다섯 가지 항목으로 AI의 답변을 평가했습니다:

• 정확성 (Accuracy): 의학적 사실이 옳은가?
• 포괄성 (Comprehensiveness): 중요한 내용을 모두 다루었는가?
• 안전성 (Safety): 조언이 위험하지 않은가?
• 인도주의적 케어 (Humanistic Care): 친절하고 공감적인가?
• 실용성 (Practicality): 일반인이 AI가 제안한 내용을 실제로 수행할 수 있는가?

결과: 누가 승리했나?

1. "가장 똑똑하지만 무서운" (Grok-4)

• 장점: Grok-4는 정확성, 안전성, 그리고 세부 사항을 다루는 능력에서 가장 높은 점수를 받았습니다. 그룹 중 가장 "지식이 풍부"했습니다.
• 단-점: 어조가 다소 차갑고 부정적이었습니다. 마치 엄격한 선생님이 불행한 미래에 대해 경고하는 듯한 느낌을 주었습니다. 내용은 맞았지만, 환자에게 희망을 주지는 못했습니다.

2. "가장 예의 바르지만 정확성은 낮은" (DeepSeek-V3)

• 장점: 이 AI는 가장 밝고 격려하는 태도를 보였습니다. 마치 든든한 친구처럼 느껴졌습니다.
• 단점: 친절하긴 했지만, Grok-4와 비교했을 때 안전성이나 정확성 면에서 최고점을 받지는 못했습니다.

3. "너무 복잡한" (ChatGPT-5.2)

• 문제점: 이 모델은 전반적으로 가장 낮은 점수를 받았습니다. 너무 학술적이고 복잡한 언어로 글을 써서 마치 대학교 교과서를 읽는 듯한 느낌을 주었습니다.
• 비유: 다른 AI들이 레시피를 설명하고 있다면, ChatGPT-5.2는 밀가루의 화학적 성질을 설명하고 있었습니다. 너무 읽기 어려워서 일반인은 길을 잃고 포기할 수도 있었습니다.

4. "중간 지점" (Gemini-3)

• 중간 정도의 성적을 거두었으나, 다른 모델들과 마찬가지로 단순하면서도 친절하게 설명하는 데 어려움을 겪었습니다.

큰 문제: "읽기 수준"의 격차

연구진은 텍스트의 난이도를 확인했습니다.

• 규칙: 건강 조언은 누구나 이해할 수 있도록 6학년 수준(중학생 정도)으로 작성되어야 합니다.
• 현실: 어떤 AI 모델도 이 기준을 충족하지 못했습니다. 가장 쉬운 모델조차도 내용을 완전히 파악하려면 고등학교나 대학교 교육이 필요한 수준으로 작성되었습니다.
• 비유: 타이어를 교체하는 방법을 아이에게 설명하면서 고급 공학 용어를 사용하는 것과 같습니다. 설명이 기술적으로는 정확할지라도, 아이는 타이어를 고칠 수 없습니다. 이것이 바로 여기서 일어난 일입니다. AI들은 너무 똑똑해서 오히려 문제가 되었습니다.

사라진 "인간적 손길"

전문가들은 모든 AI가 다소 로봇 같다는 점을 지적했습니다. 그들은 사실을 전달했지만 공감이 부족했습니다.

• 슈퍼박테리아 환자들은 종종 고립감, 수치심, 혹은 두려움을 느낍니다.
• AI들은 "괜찮습니다, 저희가 도와드리겠습니다"라거나 "정말 잘하고 계십니다"와 같은 말을 하는 데 서툴렀습니다. 그저 규칙들을 나열할 뿐이었습니다. 이는 위험한데, 환자가 두려움이나 판단받는다는 느낌을 받으면 안전 수칙을 따르지 않을 수 있기 때문입니다.

최종 판결: 우리는 이들을 신뢰할 수 있는가?

짧은 답변은: 아직은, 단독으로는 안 됩니다.

이 논문은 이러한 AI 모델들이 강력한 도구이긴 하지만, 환자 교육을 위해 의사나 간호사를 대체할 준비는 되지 않았다고 결론짓습니다.

• 위험 요소: 만약 환자가 AI의 복잡하고, 약간 부정확하거나, 지나치게 무서운 답변을 읽게 된다면, 잘못된 결정을 내리거나 공황 상태에 빠지거나 안전 수칙 준수를 그만둘 수 있습니다.
• 해결책: 저자들은 "3단계 샌드위치" 접근법을 제안합니다:
  1. 초안 작성 (Draft): AI가 첫 번째 초안을 쓰게 합니다 (빠르고 지식이 많기 때문입니다).
  2. 검토 (Review): 반드시 인간 전문가(의사/간호사)가 사실 관계와 안전 경고를 확인하고 수정해야 합니다.
  3. 번역 (Translate): 인간이 텍스트를 단순하게(6학년 수준) 만들고 친절하게(공감적) 다시 써야 합니다.

요약

이 AI 모델들을 매우 박식하지만 약간은 서툰 인턴이라고 생각하십시오. 그들은 도서관의 모든 의학 서적을 읽었지만, 겁에 질린 환자에게 어떻게 말을 걸어야 하는지는 모르며, 혼란스러운 언어를 사용하고, 때때로 정서적인 미묘함을 놓칩니다.

우리가 이들에게 더 단순하고, 더 친절하며, 더 세심해지도록 가르칠 수 있을 때까지, 이들은 환자에게 전달되는 최종적인 진실의 목소리가 아니라 오직 보조자로서만 사용되어야 합니다.