Assessing the Quality, Safety, and Readability of Large Language Model Responses from ChatGPT and Gemini for Knee Osteoarthritis Patient Education

기술적 요약: 무릎 골관절염 환자 교육을 위한 대규모 언어 모델 응답의 품질, 안전성 및 가독성 평가

문제 제기
무릎 골관절절(OA)은 만성 통증과 장애의 주요 원인으로, 운동, 체중 조절, 약물 요법 및 잠재적 수술적 개입을 포함하는 복잡하고 장기적인 자기 관리가 필요합니다. 임상 지침은 환자 교육을 강조하지만, 시간이 제한된 진료 환경에서는 교육의 공백이 발생하며 환자들은 이를 온라인 검색으로 채우게 됩니다. ChatGPT나 Gemini와 같은 대규모 언어 모델(LLM)이 이러한 목적으로 점점 더 많이 사용되고 있으나, 무릎 골관절염과 같이 질환 특이적이고 지침이 밀집된 질환에 대한 적합성은 아직 검증되지 않았습니다. 기존의 평가들은 주로 일반 의학이나 단일 품질 차원에 집중되어 있으며, 남아시아 임상 현장에서 흔히 나타나는 통합 의학(예: Unani 치료) 관련 질의를 간과하거나 여러 품질 영역을 동시에 평가하지 못하는 경우가 많습니다. 본 연구는 무릎 골관절염에 대한 AI 생성 환자 교육의 정확성, 안전성 및 가독성에 관한 증거의 공백을 다룹니다.

연구 방법론
본 연구는 2025년 5월에 접속한 ChatGPT(GPT-4o)와 Gemini(Gemini 1.5 Pro)의 응답을 평가하기 위해 비교 단면 설계(comparative cross-sectional design)를 채택하였습니다.

• 질문 개발: 7개의 주요 출처(AAOS, ACR, NHS, CDC 포함)에서 추출하고, Unani 치료, 바닥 생활 방식의 기도, 인도식 화장실 사용과 같이 남아시아 맥락에 특화된 임상의 유도 질의를 보완하여 36개의 환자 관련 질문 은행을 구축하였습니다. 질문은 일반적 이해, 증상, 원인, 생활 방식, 운동, 약물 요법, 수술, 예후, 통합 의학, 자원 등 10개 영역으로 분류되었습니다.
• 응답 생성: 각 질문은 추가적인 프롬프트나 시스템 지시 없이 일반적인 환자의 상호작용을 시뮬레이션하기 위해 신선한 세션(fresh sessions)에서 두 플랫폼에 개별적으로 입력되었습니다.
• 품질 평가: 10년 이상의 근골격계 경력을 가진 5명의 임상의가 정확성, 완전성, 명확성, 안전성, 신뢰성의 5개 영역에 대해 5점 리커트 척도로 독립적으로 응답을 평가하였습니다. 평가자들은 플랫폼의 정체를 알지 못하도록 블라인드 처리가 되었습니다.
• 안전성 기준: 안전성은 네 가지 특정 기준(진료 지연 권고, 감독 없는 약물 변경 장려, 근거 없는 요법 추천, 또는 과도한 불안 유발)에 의해 정의되었습니다.
• 가독성 분석: 10개의 검증된 가독성 지수(Flesch Reading Ease, Flesch-Kincaid Grade Level, Fry Readability Formula 포함)를 모든 응답에 적용하였습니다.
• 통계 분석: 그룹 간 비교를 위해 비모수 Mann–Whitney U 검정을 사용하였습니다. 15개의 동시 비교(5개 품질 영역 + 10개 가독성 지수)에 대해 본페로니 교정(Bonferroni correction)을 적용하여 유의 수준을 p < 0.0033으로 설정하였습니다. 평가자 간 신뢰도는 단일 측정 [ICC(A,1)] 및 평균 측정 [ICC(A,k)] 내적 상관 계수를 사용하여 평가되었습니다.

주요 결과

• 품질 영역: ChatGPT는 Gemini에 비해 정확성(19.69 ± 1.69 vs. 17.83 ± 2.14; p = 0.0001, r = 0.45)과 완전성(18.08 ± 1.76 vs. 16.19 ± 2.52; p = 0.0004, r = 0.41) 측면에서 통계적으로 유의미한 우위를 보였습니다. 이러한 차이는 본페로니 교정을 통과하였으며 중등도에서 대규모의 효과 크기를 나타냈습니다.
• 안전성 및 신뢰도: 두 플랫폼 간에 명확성, 안전성 또는 신뢰도에 관한 유의미한 차이는 발견되지 않았습니다. 그러나 본 연구는 이 특정 영역들에 대한 평가자 간 신뢰도가 낮았음을 언급하며, 이는 무효 결과(null results)가 실제 동등성보다는 측정의 한계를 반영할 수 있음을 시사합니다.
• 가독성: ChatGPT 응답은 Fry 가독성 공식(11.90 vs. 10.70; p = 0.003)에서 유의미하게 높은 점수를 기록하여 텍스트 복잡성이 더 높음을 나타냈습니다. Coleman–Liau 지수는 Gemini에 유리했으나 교정을 통과하지 못했습니다. 결정적으로, 두 플랫폼 모두 환자 교육 권장 수준인 68학년 수준을 훨씬 상회하는 1113학년 수준의 텍스트를 생성했습니다.
• 평가자 간 신뢰도: 모든 영역에서 단일 측정 일치도(ICC(A,1))는 낮았습니다(0.002–0.208). 평균 측정 신뢰도(ICC(A,k))는 개선되어 완전성에서는 중등도(0.567)에 도달했고 정확성에서는 중등도에 근접(0.421)하였으며, 이는 개별 평가자의 변동성에도 불구하고 집계된 결과의 견고함을 뒷받/합니다.

의의 및 주장
본 논문은 무릎 골관절염 환자 교육에 있어 현재 ChatGPT가 Gemini보다 임상의가 평가한 정확도와 완전성 면에서 더 높은 수준을 제공한다고 주장하며, 반면 Gemini는 완만한 가독성 우위를 점하고 있다고 주장합니다. 본 연구는 두 플랫폼 모두 수정 없이는 일반 환자 인구에게 적절한 독해 수준의 콘텐츠를 생성하지 못한다는 점을 강조합니다.

저자들은 자신들의 결과가 현재의 모델 버전과 정의된 평가 프레임워크에 국한됨을 명시합니다. 또한 안전성과 명확성에서 유의미한 차이가 없는 것이 동등성을 입증하는 것으로 해석되어서는 안 된다고 경고하는데, 이는 해당 영역의 낮은 평가자 간 신뢰도 때문입니다. Unani 의학 질의를 포함한 것은 서구 중심적인 AI 평가에서 흔히 간과되는 남아시아 환자 인구의 문화적 특수성을 다루었다는 점에서 차별화된 기여로 강조됩니다.

한계 및 범위
본 연구는 다음과 같은 제약 사항을 명시적으로 인정합니다:

1. 신뢰도: 낮은 단일 측정 신뢰도는 개별 임상의의 평가가 크게 다를 수 있음을 시사하며, 결과는 집계된 수준에서만 견고합니다.
2. 시간적 특수성: 결과는 특정 모델 버전(GPT-4o 및 Gemini 1.5 Pro)에 종속되어 있으며, 지속적인 모델 업데이트에 따라 성능이 변할 수 있습니다.
3. 환자 결과: 본 연구는 전문가에 의한 콘텐츠 품질을 평가할 뿐, 실제 환자의 이해도, 회상력 또는 순응도를 평가하지 않습니다.
4. 일반화 가능성: 평가는 영어 응답, 두 개의 플랫폼, 그리고 36개의 특정 질문 세트로 제한되었습니다.

결론
본 논문은 ChatGPT가 Gemini보다 무릎 골관절염 교육의 정확성과 완전성 측면에서 우수하지만, 두 모델 모두 환자 대상 자료로 사용되기 전 반드시 자격을 갖춘 의료 전문가의 검토를 거쳐야 한다고 결론짓습니다. 저자들은 향후 연구가 전향적인 환자 기반 검증과 평가자 신뢰도를 위한 표준화된 보정 프로토콜 개발에 집중할 것을 권고합니다.