Who Benefits From Sinus Surgery? Comparing Generative AI and Supervised Machine Learning for Predicting Surgical Outcomes in Chronic Rhinosinusitis

기술 요약: 만성 부비동염의 수술 결과 예측을 위한 생성형 AI와 지도 학습 기반 머신러닝의 비교

문제 정의
만성 부비동염(CRS)은 내시경 부비동 수술(ESS) 후 환자의 결과가 매우 다양하게 나타나는 이질적인 질환입니다. 임상 가이드라인은 적격 환자에게 수술을 권고하지만, 어떤 개인이 의미 있는 삶의 질 개선을 달성할 수 있을지 예측하는 것은 여전히 어려운 과제입니다. 본 연구는 수술 전 임상 데이터를 활용하여, 수술을 피했어야 할 환자(즉, 불량한 결과를 보일 가능성이 높은 환자)를 사후적으로 식별할 수 있는지에 대한 사전 수술 의사 결정 지원의 필요성을 다룹니다. 구체적으로, SNOT-22(Sino-Nasal Outcome Test-22) 점수가 6개월 시점에 8.9점 이상 감소하는 것(MCID)을 기준으로, 생성형 AI(GenAI) 시스템이 전통적인 지도 학습 기반 머신러닝(ML)과 이 특정 예측 작업에서 어떻게 비교되는지를 탐구합니다.

연구 방법론
본 연구는 NIH의 지원을 받은 연구(NCT01332136)에서 파생된, ESS를 받은 524명의 환자를 대상으로 한 전향적 모집 다기관 코호트를 활용하였습니다. 데이터셋에는 인구통계학적 특성, 동반 질환, 표현형(CRSwNP 대 CRSsNP), 객관적 질병 부담(Lund–Mackay CT 점수, 내시경 중증도), 기저 SNOT-22 점수 등 50가지의 수술 전 속성이 포함되었습니다.

• 데이터 처리: 데이터 누출(data leakage)을 방지하기 위해 수술 후 변수는 엄격히 제외되었습니다. 특징(features)들은 조화롭게 구성되고 결정론적으로 인코딩되었으며, 결측치는 제거하는 방식으로 처리되었습니다. 데이터셋은 80/20 비율의 층화 추출(stratified) 훈련-테스트 세트로 분할되었습니다.
• 지도 학습 ML 베이스라인: 저자들은 로지스틱 회귀, 서포트 벡터 머신(SVM), 나이브 베이즈, 랜덤 포레스트, 그리고 커스텀 다층 퍼셉트론(MLP)의 다섯 가지 분류기를 평가했습니다. MLP(은닉층 1개, 뉴런 400개)는 우수한 정확도와 소수 클래스 재현율(recall)의 균형을 바탕으로 주요 베이스라인으로 선택되었습니다.
• 생성형 AI 벤치마킹: 다섯 가지 최첨단 LLM(ChatGPT/GPT-5 Thinking, MedGPT, Gemini 2.5 Pro, Perplexity Sonar, Claude Sonnet 4.5, DeepSeek-V3.2)을 제로샷(zero-shot) 설정에서 테스트했습니다.
  • 프로토콜: 구조화된 수술 전 데이터를 프롬프트 형태로 직렬화했습니다. 모델은 이진 권고(0: 수술 미권장, 1: 수술 권장)와 신뢰 수준만을 출력하도록 제한되었습니다.
  • 안정성: 각 케이스는 고정된 디코딩 파라미터를 사용하여 5회 실행되었으며, 예측값은 다수결 원칙에 따라 집계되었습니다.
  • RAG 분석: 외부 지식이 성능을 개선하는지 테스트하기 위해 ChatGPT를 대상으로 CRS 가이드라인 코퍼스를 활용한 검색 증강 생성(RAG) 실험을 수행했습니다.
• 평가 지표: 성능은 AUROC, F1 점수, 평균 정밀도(AP), 교정(Brier score, 신뢰도 곡선), 결정 곡선 순이익(decision-curve net benefit)을 사용하여 평가되었습니다. 특히 소수 클래스(비반응자, Class 0)의 탐지에 주의를 기울였습니다.

주요 결과

• 지도 학습 ML 성능: MLP는 85%의 정확도, 0.66의 AUROC, 0.83의 F1 점수를 기록하며 가장 높은 전반적 성능을 달야했습니다. 결정적으로, MLP는 비반응자(Class 0 재현율 0.45)를 식별하는 데 탁 가장 뛰어난 능력을 보이면서도 반응자에 대한 높은 정밀도를 유지했습니다.
• GenAI 성능: 모든 GenAI 모델은 판별력(discrimination)과 교정(calibration) 측면에서 보정된 MLP보다 낮은 성능을 보였습니다.
  • 판별력: GenAI 모델들의 AUROC 점수는 0.36(Perplexity)에서 0.63(Claude) 사이였으며, 모두 MLP의 0.66보다 낮았습니다.
  • 편향성: 대부분의 GenAI 모델은 강한 "전원 치료(treat-all)" 편향을 보여 비반응자를 식별하는 데 실패했습니다. 예를 들어, MedGPT와 Perplexity는 비반응자 클래스에 대해 0%의 재현율(0/20)을 기록했습니다.
  • RAG의 영향: RAG는 ChatGPT의 판별력(AUROC 약 0.57 유지)이나 소수 클래스 탐지 능력을 개선하지 못했습니다. 이는 가이드라인 텍스트가 모델이 이미 내재화한 휴리스틱을 반복할 뿐, 환자 특이적인 신호를 추가하지 못함을 시사합니다.
• 해석 가능성 및 정렬: 예측 정확도가 낮음에도 불구하고, GenAI 모델의 추론 과정은 임상적 휴리스틱 및 MLP의 특징 중요도(feature importance)와 밀접하게 일치했습니다. LLM과 MLP 모두 기저 SNOT-22, CT/내시경 중증도, 폴립 표현형, 그리고 심리사회적 동반 질환(예: 우울증, 섬유근육통)을 핵심 예측 인자로 식별했습니다.

주요 기여

1. 최초의 종합적인 GenAI 벤치마크: 본 연구는 구조화된 수술 전 데이터를 사용하여 튜닝된 표 형식(tabular) ML 모델과 여러 GenAI 시스템을 직접 비교 평가한 최초의 엄격한 연구입니다.
2. 표준화된 평가 프로토콜: 저자들은 표준화된 제로샷 프롬프트, 제한된 이진 출력, 다중 샘플링 실행을 통한 안정성 테스트를 포함하는 재현 가능한 "표 형식-대-GenAI(tabular-to-GenAI)" 평가 프레임워크를 구축했습니다.
3. GenAI 추론에 대한 통찰: 본 연구는 GenAI 모델이 이 특정 작업에 대해 지도 학습 ML의 교정 및 판별 능력이 부족함에도 불구하고, 그들의 창발적 결정 논리가 전문가의 임상적 추론 및 고성능 ML 모델의 특징 중요도와 유사하다는 것을 밝혀냈습니다.
4. 제안된 워크플로우: 본 논문은 "ML 우선, GenAI 증강(ML-first, Gen-AI augmented)" 워크플로우를 제안합니다. 이 모델에서는 보정된 표 형식 ML 분류기가 1차 분류 및 위험 추정을 수행하고, GenAI는 결정을 평이한 언어로 설명하여 투명성과 공유 의사 결정을 강화하는 2차 계층 역할을 수행합니다.

의의 및 주장
본 논문은 구조화된 수술 전 임상 표 형식 데이터를 포함한 예측 작업의 경우, 현재의 GenAI 시스템보다 보정된 지도 학습 ML이 판별력, 교정, 그리고 고위험 비반응자 식별 능력 측면에서 여전히 우월하다고 주장합니다. 저자들은 GenAI의 불안정성과 과잉 권고 경향 때문에 GenAI가 이 맥락에서의 일차적 의사 결정 지원 도구를 대체해서는 안 된다고 논합니다. 그러나 본 연구는 GenAI가 복잡한 모델의 예측을 임상적으로 친숙한 근거로 번역하여 투명성과 환자 참여를 지원하는 '설명자(explainer)'로서 갖는 독특한 가치를 강조합니다. 결론적으로, GenAI를 단독 예측기로 사용하는 대신, ML의 신뢰성과 GenAI의 소통 능력을 모두 활용하는 하이브리드 접근 방식이 최적의 경로임을 시사합니다.