기술 요약: PhenoAgent

문제 정의

임상 표현형(phenotype) 정보는 주로 비정형 자유 텍스트 형태의 전자 건강 기록(EHR)에 내재되어 있으며, 이는 코호트 선택 및 임상 시험 모집을 위한 구조화된 쿼리 수행에 있어 상당한 장벽이 되고 있다. 계산적 표현형 추출(computational phenotyping)은 이차적 EHR 활용(예: 연구, 품질 개선)을 위해 필수적이지만, 기존 방식들은 다음과 같은 한계에 직면해 있다:

• 표준 쿼리 및 키워드 매칭은 유의어, 부정(negation), 그리고 복잡한 맥락적 표현을 처리하는 데 어려움을 겪는다.
• 규칙 기반 및 사전 기반 방법은 광범위한 수동 큐레이션이 필요하며, 임시적인 복합 표현형(예: "ECMO 치료를 받는 심부전")에 대한 유연성이 부족하다.
• 머신러닝 접근 방식은 종종 특정 작업에 특화된 미세 조정(fine-tuning)과 주석이 달린 데이터셋에 의존하므로, 일상적인 임상 배포에 제약이 따른다.
• **생성형 거대 언어 모델(LLM)**은 유망한 가능성을 제시하지만, 임상 환경에서의 실질적인 제약, 특히 환자 개인정보 보호(클라우드 기반 API 사용 제한) 및 병원 방화벽 내 로컬의 프라이버시 보존형 배포 필요성에 직면해 있다.
• 비영어권 맥락, 특히 일본어 임상 텍스트는 다중 문자 체계, 기관별 약어, 비분절 구절 등으로 인해 고유한 과제를 안고 있으며, 영어에 비해 가용 가능한 주석 데이터가 적다.

방법론: PhenoAgent 프레임워크

저자들은 클라우드 서비스에 의존하지 않고, 주석이 달린 데이터 없이도 자유 텍스트 형태의 일본어 EHR로부터 복합 임상 표현형을 추출하도록 설계된, 로컬 배포 가능한 3단계 에이전트 기반 LLM 프레임워크인 PhenoAgent를 제안한다.

1. 구조화된 쿼리 분해 (Structured Query Decomposition)

자연어 쿼리를 기록에 직접 대조하는 대신, PhenoAgent는 먼저 임상 쿼리 $Q$를 구조화된 JSON 스키마 $S_k$로 분해한다. 이 스키마는 쿼리에 답하기 위해 필요한 구성 의료 개념들을 열거하고 각 항목에 불리언(Boolean) 필드를 할당한다. 이 단계는 다운stream 추출 작업을 제한하고 모호성을 줄여, 쿼리마다 별도의 미세 조정 없이도 진단, 치료, 동반 질환의 복잡한 조합을 처리할 수 있게 한다.

2. 자기 교정형 의미론적 평가 (Self-Correcting Semantic Evaluation)

프레임워크는 오픈 웨이트(open-weight) LLM을 사용하여 각 임상 기록 $C$를 스키마 $S_k$에 따라 평가한다.

• 프로세스: 모델은 스키마의 각 필드에 대해 이진 값(binary values)과 자유 텍テキスト 근거(rationales)를 포함하는 JSON 객체를 생성한다.
• 검증: 출력값은 필수 JSON 스키마에 따라 검증된다. 검증에 실패할 경우(예: 잘못된 형식의 JSON), 시스템은 동일한 모델에 형식 재확인을 요청하며 자기 교정 루프를 트리거한다. 최대 2회의 재시도가 허용된다(총 3회 시도).
• 폴백(Fallback): 재시도 후에도 유효한 출력을 얻지 못하면, 해결되지 않은 필드는 음성(negative)으로 설정된다. Reflexion 프레임워크에서 영감을 받은 이 메커니즘은 대부분의 형식 오류를 해결한다.

3. 만장일치 앙상블 투표 (Unanimous Ensemble Voting)

모델 특유의 환각(hallucination)을 줄이고 안정성을 확보하기 위해, PhenoAgent는 세 가지 서로 다른 오픈 웨이트 LLM인 GPT-OSS-20B, DeepSeek-32B, Llama-3.1-Swallow-70B의 앙상블을 채택한다.

• 의사결정 규칙: 세 구성 모델이 스키마의 모든 필수 필드가 양성(positive)이라는 점에 만장일치로 동의할 때만 해당 케이스를 양성으로 분류한다.
• 근거: 이 보수적인 투표 규칙은 정밀도(precision)를 민감도(sensitivity)보다 우선시하여, 불안정한 예측을 걸러내고 높은 신뢰도를 가진 추출물만을 수용하도록 한다.

구현 세부 사항

• 배포: 전체 파이프라인은 MLX 프레임워크를 통해 8비트 양자화된 모델을 사용하여 단일 워크스테이션(Apple M4 Max, 128GB 통합 메모리)에서 로컬로 실행된다. 외부 API 호출은 전혀 이루어지지 않는다.
• 데이터셋: 두 개의 독립적인 일본어 응급실 데이터셋에서 평가되었다:
  • TUH-DEM: 도호쿠 대학 병원(2022–2023)의 입원 사례 842건.
  • OUH-DEM: 오카야마 대학 병원(2023–2024)의 입원 사례 196건.
• 참조 레이블(Reference Labels): 그라운드 트루스(Ground truth)는 두 명의 의사 간 일치도를 통해 확립되었다. 두 명의 독립적인 전문의가 모두 쿼리와 일치한다고 판단한 경우에만 해당 기록을 양성으로 레이블링하였다.

주요 결과

성능 지표

PhenoAgent는 세 가지 정보 검색 베이스라인(키워드 검색, ICD-10 확장을 포함한 시맨틱 검색, BM25) 및 6개의 단일 LLM 베이스라인과 벤치마크 비교를 수행했다.

• 매크로 F1 점수 (Macro F1 Scores):
  • TUH-DEM (내부 데이터): PhenoAgent는 71.6(95% CI 66.5–75.7)의 매크로 F1을 달성했다. 이는 의사 간 일치 F1인 71.4와 일치하며, 최상의 단일 LLM 베이스라인(GPT-OSS-20B, 67.3) 및 정보 검색 베이스라인(시맨틱 검색, 47.9)보다 24~34포인트 높았다.
  • OUH-DEM (외부 데이터): PhenoAgent는 71.1(95% CI 68.6–73.8)의 매크로 F1을 유지하며, 문서 작성 관행이 다른 기관 간의 일반화 가능성을 입증했다. 또한 정보 검색 베이스라인보다 35~43포인트 높은 성능을 보였다.
• 일치도 (Cohen's $\kappa$):
  • PhenoAgent는 TUH-DEM에서 0.69, OUH-DEM에서 0.68의 $\kappa$ 값을 달성하였으며, 이는 키워드 검색($\approx$0.38–0.44) 및 단일 LLM 베로라인(0.31~0.61 범위)보다 유의미하게 높았다.
• 정밀도-민감도 트레이드오프 (Precision-Sensitivity Trade-off):
  • PhenoAgent는 키워드 검색과 유사한 높은 정밀도(TUH-DEM 70.5%, OUH-DEM 78.8%)를 유지하면서도, 훨씬 높은 민감도(TUH-DEM에서 키워드 검색의 34.0% 대비 76.5%)를 달성했다.
  • 만장일치 투표 전략은 보수적인 예측 프로필을 생성하여 높은 신뢰도의 추출을 우선시했다. 일부 외부 검증 사례에서 단일 LLM이 더 높은 민감도를 보이기도 했으나, PhenoAgent의 정밀도는 견고하게 유지되었다.

특정 관찰 사항

• 희귀 표현형: 프레임워크는 희귀 표현형(유병률 <5%)에서도 우수한 성능을 보였으나, 증거가 명시적 용어보다는 임상 궤적을 통해 암시되거나 추론되는 패혈증(sepsis)과 같이 임상적으로 모호한 상태에서는 성능이 변동되었다.
• 자기 교정: 자기 교정 루프는 JSON 형식 오류의 84~99%를 해결하였으며, 이는 TUH-DEM 데이터셋에서 매크로 F1을 1.3포인트 향상시키는 데 기-여했다.
• 모델 선택: 광범위한 탐색을 통해 선택된 범용 모델 앙상블은 전문 의료 모델(예: MedLLM-72B)과 경쟁할 만한 성능을 보였으며, 이는 지시 이행(instruction following)과 구조화된 출력 생성 능력이 이 작업에 매우 중요하다는 것을 시사한다.

의의 및 주장

저자들은 에이전트 기반 LLM 워크플로우가 비영어권 임상 환경의 자유 텍스트 EHR로부터 프라이버시를 보존하면서도 유연한 표현형 추출을 지원할 수 있음을 입증했다고 주장한다.

강조된 주요 기여는 다음과 같다:

1. 로컬 배포 가능성: 프레-워크는 오픈 웨이트 모델을 사용하여 병원 관리 환경 내에서 완전히 작동하며, 이는 환자 프라이버시, 데이터 거버넌스 및 네트워크 제한에 관한 핵심 장벽을 해결한다.
2. 미세 조정 없는 유연성: 구조화된 쿼리 분해를 통해, 시스템은 쿼리마다 미세 조정을 하거나 광범위한 온톨로지 엔지니어링을 요구하지 않고도 복합 표현형(진단 + 치료/동반 질환)을 처리한다.
3. 전문가 수준의 성능: 시스템의 성능은 인간 의사 간의 일치도 수준에 근접하며, 이는 임상 연구 코호트 선택을 위한 신뢰할 수 있는 도구로서 역할을 할 수 있음을 시사한다.
4. 비영어권 맥락에서의 견고성: 일본어 EHR에 대한 성공적인 적용은 주석 데이터와 임상 언어 자원이 제한적인 환경에서도 이 접근 방식이 유효함을 검증한다.

결론적으로, Pheno-Agent의 만장일치 투표 규칙은 (오탐지가 수동 검토 부담을 높이는 연구 코호트 선택에 적합하도록) 정밀도 우선 시스템을 구축하지만, 이 프레임워크는 모듈식이다. 이는 다양한 정밀도-민감도 균형(예: 다수결 투표를 통해)에 적응할 수 있고, 더 강력한 로컬 모델이 등장함에 따라 이를 통합할 수 있어, 범용 LLM의 발전과 신뢰할 수 있는 임상 연구 인프라 사이의 실질적인 가교 역할을 할 수 있다.