기술 요약: 임상 예측 모델을 위한 인간-AI 공동 설계 (HACHI)

문제 정의

안전하고 효과적이며 실질적으로 유용한 임상 예측 모델(CPM)을 개발하는 과정은 전통적으로 임상 전문가, 데이터 과학자, 그리고 정보학자 간의 반복적인 협업을 필요로 합니다. 단순하고 완전히 해석 가능한 모델(예: 규칙 기반 점수)은 구현의 용이성과 감사 가능성 덕분에 임상 현장에서 선호되지만, 이를 대규모로 개발하기는 어렵습니다. 이 과정은 특징 선택(feature selection) 및 임상 범주 정의와 같은 핵심적인 세부 사항을 정교화하는 작업이 필요하기 때문에 시간과 자원이 많이 소요됩니다.

이러한 문제는 비정형 임상 기록(unstructured clinical notes)으로부터 정보를 통합하려고 할 때 더욱 심화됩니다. 이러한 기록에는 무수히 많은 개념(예: "흡연" 이력의 다양한 변형들)이 포함되어 있어, 모든 가능한 특징을 수동으로 탐색하는 것은 불가능합니다. 최근의 거대언어모델(LLM)은 개념을 추출하고 임상적 추론을 모방할 수 있지만, 기존의 AI 에이전트 접근 방식은 종종 고립된 상태로 작동합니다. 도메인 전문가의 외부 가이드가 없다면, 이러한 에이전트들은 지나치게 단순하거나 임상적 신뢰성이 부족하거나, 혹은 데이터 누수(data leakage) 문제를 겪는 개념을 학습할 수 있으며, 결과적으로 임상 현장에 적용되지 못하는 모델을 만들 수 있습니다. 또한, 임상 팀이 AI 에이전트에 대한 정확한 작업 지침을 구체화할 명확성을 초기에 갖지 못하는 "구상 격차(gulf of envisionment)"가 존재하며, 이는 목표를 정렬하기 위한 반복적인 프로세스를 필요로 합니다.

방법론: HACHI 프레임워크

저자들은 해석 가능한 CPM 개발을 가속화하기 위해 설계된 반복적인 인간 참여형(human-in-the-loop) 프레임워크인 HACHI(Human+Agent Co-design for Healthcare Instruments)를 소개합니다. HACHI는 AI 에이전트가 후보 개념을 탐색하는 과정과 임상 AI 팀이 학습 과정을 정교화하기 위해 피드백을 제공하는 과정 사이를 교차하며 진행됩니다.

핵심 구성 요소

1. 개념 정의 (Concept Definition): 개념은 선형 모델 내에서 사용되는 단순하고 인간이 해석 가능한 예/아니오 질문(예: "기록에 환자가 ...하다는 내용이 있는가?")으로 정의됩니다.
2. AI 에이전트 루프 (내부 루프, Inner Loop): 에이전트는 예측 정확도를 극대화하는 $k$개의 개념을 선택하기 위해 탐욕적 힐 클라이밍(greedy hill-climbing) 절차를 수행합니다. 여기에는 세 단계가 포함됩니다:
   • 초기화 (Initialize): 에이전트는 임상 기록에서 핵심 구절(keyphrases)을 추출하고, 세상 지식과 핵심 구절을 바탕으로 초기 $k$개의 개념 질문을 제안합니다.
   • 제안 (Propose): 훈련 데이터에 대한 bag-of-words 모델을 사용하여, 에이전트는 결과(outcome)와 연관된 핵심 구절을 식별하고 새로운 후보 개념 질문을 제안합니다.
   • 평가 (Evaluate): 에이전트는 각 후보 개념에 대해 임상 기록을 주석 처리하고, CPM(lasso-penalized logistic regression 사용)을 적합시킨 후, 검증 세트에서 성능을 평가합니다. 가장 성능이 좋은 개념이 기존의 것을 대체합니다.
3. 임상 AI 팀 루프 (외부 루프, Outer Loop): 팀은 PHI(개인 건강 정보) 준수 웹 인터페이스를 통해 AI 에이전트의 라운드 결과를 검토합니다. 이들은 다음과 같은 방식으로 방향성 있는 피드백을 제공합니다:
   • 자유 텍ext 프롬프트 수정 (예: 환자의 속성이 아닌 기록 작성 스타일을 추출하지 않도록 질문의 접두사를 변경).
   • 데이터 포함 기준 조정 (예: 데이터 누수를 방지하기 위해 이전 CT 결과가 있는 환자 제외).
   • 통계적 도구 수정 (예: 사이트 간 불균형을 해결하기 위해 샘플 가중치 추가).
   • 임상적 사전 지식(priors) 강제 (예: 계수의 부호가 임상적 직관과 일치하도록 요구).

구현

이 프레임워크는 UCSF의 두 가지 실제 과제에 적용되었습니다:

• 외상성 뇌 손상 (TBI): 머리 외상을 입고 내원한 아동의 TBI 진단 예측.
• 급성 신손상 (AKI): 성인 일반 외과 환자의 수술 후 AKI 예측.

프로세스는 일반적으로 만족스러운 모델에 도달하기 위해 3~4번의 반복 과정을 거쳤습니다.

주요 결과

사례 연구 1: 외상성 뇌 손상 (TBI)

• 성능: 최종 HACHI 모델은 전체 AUC 0.91을 달ีก하여, 표준 PECARN 규칙(AUC 0.75)과 단일 라운드 브레인스토밍 접근 방식(AUC 0.88)을 능가했습니다.
• 반복적 개선:
  • 1라운드: 높은 AUC(0.92)를 달성했으나, 부적절한 상관관계(예: "기록에 GCS 언급됨") 및 데이터 누수(이전 CT 결과가 있는 환자)에 의존했습니다.
  • 2라운드: 이전 CT 사례를 제거하고 환자 속성에 집중하도록 프롬프트를 정교화한 후, AUC는 0.90으로 떨어졌으나 개념은 임상적으로 타당해졌습니다.
  • 3라운드: 계수가 임상적 사전 지식과 일치하도록 조정했습니다 (예: 정상 GCS가 음의 계수를 갖도록 보장).
  • 4라운드: 두 병원 캠퍼스(Oakland vs. Mission Bay) 간의 일반화 문제를 해결하기 위해 샘플 가중치를 도입했습니다. 이는 전체 성능을 유지하면서 Mission Bay의 AUC를 0.71에서 0.80으로 향상시켰습니다.
• 새로움: 최종 모델에는 표준 PECARN 규칙에는 없는 새로운 특징인 "환자의 보행(gait)이 정상인가?"가 포함되었습니다.

사례 연구 2: 급성 신손상 (AKI)

• 성능: 최종 HACHI 모델은 내부 검증 세트에서 AUC 0.73, 시점적으로 분리된 테스트 세트(Period 2)에서 AUC 0.76을 달성했습니다. 이는 Kheterpal 모델(AUC ~0.65)과 단일 라운드 브레인스토밍 접근 방식(AUC 0.70)보다 우수한 성능을 보였습니다.
• 반복적 개선:
  • 1라운드: 환자 특성에만 집중했습니다 (AUC 0.60).
  • 2라운드: 수술 위험 요인(예: 수술 유형)을 포함하도록 확장하여 AUC를 0.70으로 개선했습니다.
  • 3라운드: 개념 정의를 더 정밀하게 다듬고(예: "활동성 전신 감염"을 예시와 함께 정의), 약물 요인을 포함했습니다. 이를 통해 AUC를 0.73으로 높이고 시간적 일반성을 개선했습니다.
• 새로움: 모델은 "최소 침습 수술"(보호 요인), "빈맥", "수면 무호흡증"과 같이 일반적인 해석 가능한 AKI 점수에는 흔히 포함되지 않는 요인들을 식별했습니다.

주요 기여

1. 공동 설계를 위한 프레임워크: HACHI는 임상 AI 팀과 AI 에이전트 간의 의미 있는 협업이 제로샷(zero-shot) AI 접근 방식이나 전통적인 수동 특징 공학보다 뛰어난 고성능의 해석 가능한 모델을 생성할 수 있음을 입증합니다.
2. "구상 격차" 해소: 이 프레임워크는 반복적인 피드백 루프를 통해 작업 명세의 초기 명확성 부족 문제를 해결합니다. 이를 통해 팀은 프롬프트, 데이터, 평가 지표를 점진적으로 정교화함으로써 AI 에이전트의 역량을 임상적 목표에 정렬할 수 있습니다.
3. 새로운 예측 인자 발견: 이 과정은 표준 CPM에서 자주 누락되는 임상적으로 관련 있는 개념들(예: TBI에서의 보행, AKI에서의 최소 침습 수술)을 찾아냈으며, 동시에 알려진 예측 인자들도 복구했습니다.
4. 효율성: 이 프레임워크는 효율적입니다. 팀 리뷰에 라운드당 12시간만 필요하며, 34번의 라운드면 견고한 모델에 도달할 수 있습니다.
5. 해석 가능성 및 신뢰성: 개념을 예/아니오 질문으로 정의하고 모든 단계에서 인간의 검토를 허용함으로써, 프레임워크는 결과 모델이 투명하고, 감사 가능하며, 임상적으로 신뢰할 수 있도록 보장합니다.

의의 및 주장

본 논문은 HACHI가 특정 환자군 및 기관 맥락에 맞춤화된 로컬 해석 가능한 CPM을 개발할 수 있는 실질적인 경로를 제공한다고 주장합니다. 복잡한 블랙박스 모델과 달리, HACHI로부터 도출된 모델은 암산이나 빠른 차트 검토가 가능할 정도로 단순하여 임상 현장에서 바로 적용할 수 있으며, 도메인 전문가에 의해 감사될 수 있습니다.

저자들은 인간의 감독이 단순히 검증을 위한 것뿐만 아니라, AI 에이전트가 단독으로는 달성할 수 없는 방식—즉, 데이터 누수 식별, 부적절한 상관관계 수정, 사이트 간 형평성 확보, 개념의 정밀도 정교화 등—으로 개발 과정을 형성하는 데 필수적임을 강조합니다. 이 프레임워크는 임상 기록, PHI 준수 LLM, 그리고 임상 AI 팀의 가이드만 있다면 접근 가능하도록 설계되었습니다.

논문은 배포와 관련하여 신중한 주장을 펼칩니다. 회고적 검증에서는 강력한 성능을 보였으나, 실시간 임상 워크플로우에서의 전향적 검증은 여전히 필요합니다. 또한, 모델의 품질은 LLM의 추출 정확도와 해당 기관의 문서화 관행에 따라 달라질 수 있습니다. 저자들은 HACHI를 전통적인 개발의 막대한 자원 비용 없이도 고품질의 해석 가능한 임상 도구를 만드는 것을 민주화하는 단계로 위치시킵니다.