기술 요약: 대규모 언어 모델을 이용한 임상 머신러닝 내 치료 비순응 편향의 규명

문제 정의

전자 건강 기록(EHR)로 학습된 머신러닝(ML) 시스템은 점차 임상적 치료 결정을 안내하는 데 활용되고 있다. 이러한 시스템은 기록된 처방대로 환자가 치료를 이행한다는 결정적이고도 흔히 암묵적인 가정을 전제로 작동한다. 그러나 치료 비순صد응(non-adherence)은 의료 분야, 특히 고혈압과 같은 만성 질환에서 매우 흔한 과제이며, 환자의 40~50%가 처방된 대로 약물을 복용하지 못한다.

현재의 순응도 측정 방식은 자기 보고식 설문조사와 인터뷰에 크게 의존하고 있는데, 이는 표본 크기가 작고 자기 보고 편향(self-reporting bias)이 발생한다는 단점이 있다. 물리적 모니터링 솔루션(예: 전자 약통 캡)은 광범-규모 배포 시 비용 문제로 인해 실용성이 떨어진다. 결과적으로, 비순응을 무시하고 EHR을 학습하는 ML 모델은 실제 치료 효과를 왜곡하는 패턴을 학습하게 된다. 이는 인과 추론을 왜곡하고, 예측 성능을 저하시키며, 취약 계층의 의사결정 결과에서 불평등을 불균형하게 심화시킬 수 있는 암묵적 편향을 도입한다.

방법론

코호트 선정 및 데이터

본 연구는 캘리포니아 대학교 샌프란시스코(UCSF)의 비식별화된 EHR 데이터를 활용한다.

• 코호트: 일차성 고혈압 환자 3,623명.
• 데이터 구조: 환자들은 연속적인 일차 의료 방문을 기준으로 쌍(pair)을 이루었다. 첫 번째 방문에서는 고혈압 약물 처방이 이루어졌으며, 두 번째 방문(1~12개월 후 발생)에서는 순응도 검증을 위한 임상 노트가 제공되었다.
• 약물: 10가지 흔히 처방되는 항고혈압제(예: 암로디핀, 리시노프릴, 로사르탄)에 집중하였다.
• 특징(Features): 인구통계학적 데이터(성별, 연령, 인종, 혼인 여부)와 임상적 요인(방문 지속 시간, 고혈압 유병 기간, Charlson 및 Elixhauser 지수를 통한 동반 질환 수)을 추출하였다.

대규모 언어 모델(LLM) 추출

자기 보고의 한계를 극복하기 위해, 저자들은 대규모 언어 모델(GPT-4o)을 사용하여 비구조화된 임상 노트에서 직접 순응도 정보를 추출하였다.

• 입력: 각 환자 쌍에 대해, 모델은 첫 번째 방문의 처방 기록과 두 번째 방문의 임상 노트를 입력받았다.
• 프롬프팅 전략: 제로샷(zero-shot) 접근법을 사용하였다. 모델은 비순응 사례를 식고, 유형(예: 복용 누락, 잘못된 용량)을 분류하며, 관련 텍스트를 추출하도록 프롬프트가 구성되었다.
• 검증: 환각 현상(hallucinations)을 줄이기 위해 모델이 초기 출력을 재평가하는 자가 검증 단계를 구현하였다.
• 인간 검증: 모델이 라벨링한 노트 100개(모델이 비순응으로 분류 50개, 순응으로 분류 50개)의 하위 집합을 임상의가 독립적으로 주석을 달아 검토하였다. LLM은 이 골드 스탠다드(gold standard) 대비 92%의 정확도, 정밀도 및 재현율을 달성하였다.

분석 및 모델링

1. 통계 분석: 비순응과 관련된 요인을 식별하기 위해 단변량 및 다변량 로지스틱 회귀 분석을 수행하였다.
2. 토픽 모델링: 추출된 비순응 노트에 BERT 기반 토픽 모델링(차원 축소를 위한 UMAP 및 클러스터링을 위한 HDBSCAN 활용)을 적용하여 환자가 보고한 비순응 이유를 밝혀냈다.
3. 영향 평가:
   • 인과 추론: 평균 치료 효과(ATE)를 추정하기 위해 역확률 가중치(IPW)와 메타 러너(S-learner, T-learner, X-learner)를 사용하였다. 본 연구는 전체 데이터셋과 비순응 환자를 제외한 데이터셋을 사용하여 ATE 추정치를 비교하였다.
   • 예측 모델링: 비순응 편향을 무시하는 것이 성능 지표와 인구통계학적 그룹 간의 공정성에 어떻게 영향을 미치는지 평가하기 위해 예측 모델을 학습시켰다.

주요 기여

1. 대규모 EHR 분석: EHR 데이터를 이용한 최초의 대규모 고혈압 치료 비순응 분석(N=3,623)을 수행하였으며, 이는 기존의 설문 기반 연구보다 훨씬 큰 규모이다.
2. LLM 기반 추출: LLM이 의사의 주석과 비교하여 92%의 정확도로 임상 노트에서 치료 비순응을 효과적으로 식별할 수 있음을 입증하였으며, 이는 자기 보고를 대체할 수 있는 확장 가능한 대안을 제시한다.
3. 동인(Drivers) 식별: 비순응과 관련된 통계적으로 유의미한 요인(젊은 연령, 흑인 인종, 적은 동반 질환 수)을 식별하였고, 구체적인 환자 보고 이유(부작용, 건망증, 약 처방 재발행 문제 등)를 추출하였다.
4. 편향 정량화: 비순응을 무시하는 것이 인과 추론(치료 효과 추정치 역전)과 예측 모델링(성능을 최대 5% 저하시키고 불평등을 악화시킴)에 미치는 해로운 영향을 정량화하였다.

결과

순응도 통계 및 요인

• 유병률: 786명의 환자(21.7%)가 비순응자로 식별되었다.
• 비순응 유형: 64.4%는 치료를 완전히 누락하였고, 30.2%는 잘못된 용량을 복용하였으며, 6.7%는 다른 약물을 사용하였고, 7.9%는 부적절한 시간에 약물을 복용하였다.
• 주요 예측 요인:
  • 연령: 젊은 환자일수록 순응도가 낮았다 (p=0.036).
  • 인종: 흑인 환자는 더 높은 비순응률을 보였다 (다변량 분석에서 OR 1.38, p=0.016).
  • 동반 질환: 동반 질환 수가 적을수록 높은 비순응률과 관련이 있었다 (p=0.03).
• 비순응 이유: 토픽 모델링 결과, 부작용(어지러움, 두통)이 지배적인 이유(59.8%)였으며, 그 뒤를 이어 건망증(17.7%), 그리고 재발행이나 약물 분실과 같은 물류적 문제(각각 11.6% 및 11%)가 나타났다.

다운스트림 성능에 미치는 영향

• 임상 결과: 비순응은 혈압 결과에 유의미하게 나쁜 영향을 미쳤다. 비순응 환자는 순응 환자에 비해 수축기 혈압 감소폭이 1.96 mmHg 적었으며 (p=0.011), 이완기 혈압 감소폭은 3.93 mmHg 적었다 (p=0.001).
• 인과 추론: 비순응을 무시하는 것은 추정된 치료 효과를 역전시키거나 심하게 왜곡하였다. 비순응을 치료 실패와 혼동하여 학습한 모델은 약물의 실제 효능을 포착하는 데 실패하였다.
• 예측 성능: 비순응 환자를 포함하는 것은 모델 성능을 최대 5%까지 저하시켰다. 또한, 이러한 편향은 취약 계층에 불균형하게 영향을 미쳐, 모델의 오차율과 의사결정 결과에서의 인종적 격차를 심화시켰다.
• 완화 방안: 연구 결과, 데이터의 양이 줄어들더라도 훈련 데이터셋에서 비순응 환자의 기록을 단순히 제거하는 것만으로도 모델 성능이 향고되고 더 공정한 예측이 가능해졌다.

의의 및 주장

본 논문은 치료 비순응이 단순한 임상적 문제가 아니라 의료 분야 머신러닝의 근본적인 데이터 품질 문제라고 주장한다. 저자들의 주장은 다음과 같다:

1. 암묵적 편향은 결정적이다: 처방된 치료가 이행된다는 가정은 인과 추론과 예측 모델링 모두를 근본적으로 왜곡하는 암묵적 편향의 원천이다.
2. LLM은 실행 가능한 도구이다: LLM은 비구조화된 임상 노트에서 순응도 데이터를 추출하는 확장 가능하고 정확한 방법을 제공하여, 대규모 인구 집단에 대한 체계적인 평가를 가능하게 한다.
3. 형평성 함의: 비순응을 무시하는 것은 단순히 정확도를 낮추는 것에 그치지 않고, 순응에 장벽이 있는 인구 집단에 불균형하게 영향을 미침으로써 건강 불평등을 능동적으로 악화시킨다.
4. 실행 가능한 통찰: 비순응 편향을 해결하는 것은 책임감 있고 공정한 임상 ML 시스템을 개발하는 데 필수적이다. 저자들은 데이터셋의 크기를 희생하더라도 순응도를 기준으로 필터링하는 것이 모델의 신뢰성과 공정성을 확보하기 위한 필요한 단계가 될 수 있다고 제언한다.