Evaluation of Large Language Models for Post-Cystectomy Sexual Health Counseling in Women: A Pilot Study

기술적 요약: 여성의 방광 절제술 후 성 건강 상담을 위한 대규모 언어 모델(LLM) 평가

문제 제기
근침윤성 방광암(MIBC) 환자인 여성은 근치적 방광 절제술 이후 생존율이 불균형적으로 낮고 성 기능 장애 발생률이 높습니다. 이러한 임상적 중요성에도 불구하고, 성 건강 상담은 일관되게 제공되지 않고 있으며, 특히 여성 환자는 남성 환자에 비해 의료진으로부터 성 기능 및 심리 사회적 웰빙에 관한 논의를 제안받을 가능성이 더 낮습니다. 대규모 언어 모델(LLM)이 환자 교육에 점점 더 많이 활용되고 있지만, 이 특정하고 민감한 인구 집단을 위해 가이드라인을 준수하면서도 공감 능력을 갖추고 가독성이 높은 상담 내용을 생성하는 데 있어 그 신뢰성이 어떠한지에 대해서는 아직 연구가 부족합니다. 기존 문헌은 주로 임상적 정확성에 초점을 맞추고 있으나, AI가 생성한 콘텐츠가 일반 인구의 건강 문해력 수준을 초과하여 오히려 격차를 심화시킬 수 있는 "가독성 격차(readability gap)" 문제는 간과하는 경향이 있습니다. 또한, 상관관계가 있는 가독성 지표들을 독립적인 결과 변수로 취급하는 기존 가독성 연구의 방법론적 한계는 제1종 오류를 부풀리고 실제 모델 간의 차이를 모호하게 만들 위험이 있습니다.

연구 방법론
본 연구는 널리 사용되는 세 가지 LLM인 ChatGPT, Gemini, Perplexity를 평가하였습니다. 평가 프레임워크는 다음 구성 요소로 이루어졌습니다:

• 데이터 생성: 모델들은 미국 비뇨기과학회(AUA) 및 미국 임상종양학회(ASCO) 가이드라인에서 도출된 6개의 임상 질문을 바탕으로 프롬프트가 제공되었습니다. 프롬프트는 두 가지 형식(전문적인/임상의 언어로 된 장문 형식 및 일반적인/비전문가 언어로 된 단문 형식)으로 전달되었습니다. 프롬프트 간의 간섭 효과를 최소-화하기 위해 각 응답은 별도의 시크릿 모드 세션에서 생성되었습니다.
• 준수 여부 평가: 두 명의 독립적인 검토자가 가이드라인 영역(1. 합병증 및 삶의 질에 대한 상담, 2. 성 기능 보존 수술 옵션에 대한 논의, 3. 지지적 케어 및 정신 건강 상담, 4. 생활 방식 수정)에 기반한 4개 항목 체크리스트를 사용하여 생성된 36개의 응답(6개 질문 × 3개 모델 × 2명 검토자)을 채점하였습니다. 점수는 비례 준수 지표(0–1)로 변환되었습니다.
• 통계 분석 (준수 여부): 선형 혼합 효과 모델(linear mixed-effects model)을 사용하여 LLM 유형, 프롬프트 형식 및 검토자를 변수로 하여 가이드라인 준수 여부를 예측하였으며, 클러스터링 및 난이도 편차를 고려하기 위해 임상 질문을 무작위 절편(random intercept)으로 처리하였습니다. 사후 쌍별 비교는 추정된 주변 평균(EMM)과 Tukey-Kramer 보정을 사용하여 수행되었습니다.
• 가독성 및 차원 분석: 5가지 표준 가독성 지표(Flesch Reading Ease, Flesch-Kincaid Grade, Automated Readability Index, SMOG, Coleman-Liau)를 산출하였습니다. 다중공선성을 해결하고 잠재적 구조를 식별하기 위해 주성분 분석(PCA)과 계층적 응집 클러스터링(hierarchical agglomerative clustering)을 적용하였습니다.

주요 기여

1. 가이드라인 준수 벤치마킹: 본 연구는 광범위한 AI 의료 평가에서 종종 간과되는 틈새 분야인 여성의 방광 절제술 후 성 기능 장애 상담과 관련하여 ChatGPT, Gemini, Perplexity를 비교 평가하였습니다.
2. 프롬프트 엔지니어링의 영향: 프롬프트 프레이밍(일반 언어 대 임상 언어)이 출력 품질에 유의미한 영향을 미친다는 점을 입증함으로써, 더 복잡한 임상적 프롬프트가 더 나은 가이드라인 준수를 이끌어낼 것이라는 가정을 반박하였습니다.
3. 가독성의 방법론적 엄밀성: PCA와 계층적 클러스터링을 사용하는 심리측정학적 분석 파이프라인을 도입하였습니다. 이 접근법은 표준 가독성 지표들이 흔히 하나의 기저 구조(텍스트 복잡성)를 측정한다는 것을 검증하며, 개별 변수로 취급하기보다 복합 지표 또는 주요 지표(예: Flesch-Kincaid)를 사용하는 것을 뒷받침합니다.
4. 시스템 수준의 평가: 본 연구는 LLM을 임상 프롬프트를 상담 출력물로 변환하는 "정보 시스템"으로 개념화하여, 정보의 정확성과 환자에게 가해지는 인지적 부담(가독성)을 모두 평가해야 함을 강조합니다.

결과

• 모델 성능: ChatGPT는 가장 높은 가이드라인 준수율(추정된 주변 평균 [EMM] = 0.769)을 보였으며, Gemini(EMM = 0.499)와 Perplexity(EMM = 0.457)를 유의미하게 앞질렀습니다. Gemini와 Perplexity 사이에는 유의미한 차이가 발견되지 않았습니다.
• 프롬프트 효과: 단문 형태의 일반 언어 프롬프트가 장문 형태의 임상의 언어 프롬프트(EMM = 0.483)보다 유의미하게 높은 준수율(EMM = 0.667)을 이끌어냈습니다.
• 가독성: 모든 모델은 권장되는 건강 문해력 수준을 초과하는 콘텐츠를 생성했습니다. Perplexity가 가장 복잡한 텍스트(대략적인 Flesch-Kincaid 학년 수준 ~16)를 생성했고, 그 뒤를 ChatGPT가 이었으며, Gemini는 가장 낮은 학년 수준(약 11학년)을 기록했습니다. 그러나 가장 "단순한" 출력물조차 권장되는 6학년 읽기 수준을 상회했습니다.
• 차원성: PCA 결과, 하나의 지배적인 성분(PC1)이 5가지 가독성 지표 분산의 76.7%를 설명하였으며, 이는 이 지표들이 텍스트 난이도라는 공유된 기저 구조를 주로 반영함을 확인시켜 줍니다.

의의 및 주장
본 논문은 LLM이 입력 프롬프트의 구조와 특정 모델 아키텍처에 따라 출력이 크게 달라지는 가변적인 의료 정보 시스템으로 기능한다고 주장합니다. 연구 결과는 현재 ChatGPT가 이 특정 임상 시나리오에서 가장 가이드라인에 부합하는 정보를 제공하고 있지만, 높은 언어적 복잡성이 모든 테스트된 모델에서 공통적인 장벽으로 남아 있음을 시사합니다.

저자들은 현재의 AI 영역을 "높은 언어적 복잡성이 모델 전반에서 관찰되어 환자의 이해를 저해하는 상태"라고 규정합니다. 결론적으로, LLM이 상담을 보완할 잠재력은 있으나, 방광 절제술 후 성 건강과 같은 민감한 맥락에서의 배포는 반드시 임상의의 감독 하에 주의 깊게 이루어져야 한다고 강조합니다. 본 연구는 LLM이 자율적인 임상 사용을 위한 준비가 되었다고 주장하는 것이 아니라, 모델 선택과 프롬프트 설계에 따라 신뢰도가 크게 달라지는 도구로서의 역할을 수행하고 있음을 밝히고 있습니다. 본 연구는 기존의 건강 격차를 증폭시키는 것을 방지하기 위해 AI가 생성한 건강 정보의 내용(가이드라인 준수)과 형태(가독성)를 모두 평가해야 할 필요성을 역설합니다.