기술 요약: LLM 에이전트를 활용한 임상 점수 체계의 자동 구축

문제 제기

현대 임상 진료는 CURB-65, SOFA와 같이 소수의 해석 가능한 의사결정 규칙으로 구성된 간결하고 근거 기반의 점수 체계에 의존합니다. 이러한 체계는 침대 옆 (bedside) 에서 실행되도록 설계되어 있어, 기억 용이성, 감사 가능성, 그리고 계산 보조 장치 없이 작동할 수 있어야 합니다. 그러나 많은 고성능 머신러닝 (ML) 모델은 이러한 업무 흐름의 제약과 불일치하여 일상적인 임상 사용으로 이어지지 못합니다. 이러한 모델들은 종종 일관되게 제공되지 않는 입력에 의존하거나, 복잡한 전처리가 필요하거나, 수동 실행이 어려운 연속 가중치 계산을 산출합니다.

기존의 임상 점수 학습 자동화 방법들은 일반적으로 "생성 - 선택 간극 (generation-selection gap)"에 직면합니다. RiskSLIM 또는 Optimal Checklists 와 같은 접근 방식은 고정된 사전 구축된 특성 행렬을 최적화합니다. 이들은 원시 변수로부터 생리학적 비율, 시간적 경향, 또는 얕은 논리적 조합과 같은 임상적으로 의미 있는 파생 규칙을 자동으로 발견할 수 없습니다. 결과적으로 가설 공간 구축의 부담은 수동 특성 공학에 전가되어, 임상 지침에서 routinely 고려하는 조합 규칙 공간의 범위를 제한합니다.

핵심적인 과제는 지수적으로 큰 이산 검색 공간 (exhaustive enumeration 또는 표준 경사 기반 최적화로는 처리 불가능) 을 탐색하면서도, 제약된 모델 클래스 (단위 가중치, 순서 없는 체크리스트) 내에서 규칙 구축과 체크리스트 호환성을 공동으로 최적화하는 것입니다.

방법론: AgentScore

저자들은 AgentScore를 소개하며, 이는 대규모 언어 모델 (LLM) 과 이산 최적화를 연결하여 배포 가능한 임상 점수 체계를 자동으로 구축하는 프레임워크입니다. 이 시스템은 LLM 을 자율적 의사결정자로 취급하는 것이 아니라, 결정론적이고 데이터 기반의 검증 루프 내에 내장된 구조화된 의미 제안 메커니즘으로 취급합니다.

1. 규칙 언어 및 제약 조건

AgentScore 는 다음을 지원하는 제한된 임상 동기 부여 규칙 언어 $\mathcal{R}$ 내에서 작동합니다:

• 수치 임계값 및 범위: 표준 절단점 (예: $HR > 100$).
• 범주형 및 이진 존재 규칙: 진단 또는 동반 질환.
• 생리학적 비율 및 대비: 파생 지수 (예: $HR/BP$).
• 계수 기반 규칙: M-of-N 기준 (예: SIRS 기준).
• 얕은 논리적 조합: 기억 용이성을 유지하기 위한 제한된 깊이의 AND/OR 연산.
• 시간적 및 분포적 규칙: 종단 데이터에서 유도된 경향, 델타, 그리고 분위수 기반 임계값.

목표 모델은 단위 가중치 N-of-M 체크리스트입니다. 이는 만족된 규칙의 개수를 점수로 하는 희소 이진 규칙 집합 $S$이며 ($S(\tilde{x}) = \sum r_j(\tilde{x})$), 점수가 임계값 $\tau$를 초과하면 결정이 내려집니다.

2. AgentScore 파이프라인

학습 절차는 문제를 세 단계로 분해합니다 (그림 2):

• 규칙 제안 (LLM 에이전트): LLM 은 도구 인터페이스를 통해 제공된 데이터셋 설명 및 집계 통계를 기반으로 후보 규칙을 제안합니다. 결정적으로, LLM 은 원시 환자 수준 기록을 절대 관찰하지 않으므로 프라이버시 위험과 환각을 완화합니다. 이는 문법에 부합하는 구조화된 JSON 규칙을 생성합니다.
• 결정론적 검증 및 필터링:
  • 통계적 스크리닝: 제안된 규칙은 홀드아웃 데이터에서 평가됩니다. 규칙은 최소 판별 임계값 (예: AUROC $\ge 0.60$) 을 충족하고 현재 풀에 대한 중복성 검사 (양성 클래스 커버리지에 대한 자카드 유사도) 를 통과할 때만 유지됩니다.
  • 임상 타당성 확인: 두 번째 LLM 에이전트가 "자기 점검" 역할을 수행하여 통계적으로 유효하지만 임상적으로 nonsensical 하거나 의미적으로 불일치하는 규칙을 거부합니다.
• 점수 조립 (LLM 에이전트): 세 번째 에이전트는 유지된 풀에서 소수의 규칙을 선택하여 최종 체크리스트를 형성합니다. 이 에이전트는 통계적으로 유사한 대리 변수가 아닌, 호흡기, 심혈관, 신장 영역 등을 아우르는 의미적으로 다양한 조합을 제안하도록 안내받습니다.
• 반복적 정제: 조립 에이전트는 판별 및 커버리지 지표에 대한 피드백을 받으며 체크리스트를 반복적으로 정제할 수 있으며, 중지 기준이 충족될 때까지 진행됩니다. 최종 결정 임계값 $\tau$는 자동으로 최적화됩니다 (예: Youden's J 통계량 최대화).

3. 최적화 목적 함수

이 시스템은 다음과 같은 하드 제약 조건 하에 경험적 임상 유용성 (예: AUROC, 순 편익) 을 최대화합니다:
$$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Depth}(r) \le d$$
이는 NP-hard 이며 미분 불가능한 조합 문제입니다. AgentScore 는 LLM 을 사용하여 규칙 공간의 의미 구조를 탐색함으로써 희소 지형에서 고유틸리티 규칙을 찾는 "콜드 스타트" 문제를 완화하고, 결정론적 도구를 통해 통계적 유효성과 배포 가능성을 보장함으로써 이를 해결합니다.

주요 기여

1. 개념적: 본 논문은 배포 가능한 임상 체크리스트 학습을 고정된 특성에 대한 선택이 아닌, 규칙 구축과 부분집합 선택에 대한 결합된 조합 최적화 문제로 공식화합니다. 이는 기억 용이성, 감사 가능성, 산술 없는 사용과 같은 침대 옆 인지 및 운영 제약을 가설 클래스에 명시적으로 인코딩합니다.
2. 알고리즘적: AgentScore 는 LLM 이 제한된 문법 내에서 의미적으로 구조화된 후보를 제안하고, 결정론적 도구가 문법 유효성, 통계적 스크리닝, 그리고 중복성 제어를 강제하는 프레임워크를 도입합니다. 이 분리는 최종 점수가 해석 가능하고 경험적으로 지지되도록 보장합니다.
3. 경험적: 이 방법은 8 가지 임상 예측 작업 (MIMIC-IV, eICU) 과 2 가지 외부 검증 작업에서 평가되었습니다.

실험 결과

• 예측 성능: 8 가지 작업 전반에 걸쳐 AgentScore 는 기존 점수 생성 베이스라인 (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) 을 유의미하게 능가하며, 더 엄격한 구조적 제약 (단위 가중치, 소수 규칙 개수) 하에 작동함에도 불구하고 유연한 해석 가능 모델 (로지스틱 회귀, 의사결정나무) 과 동등하거나 더 나은 성능을 보입니다.
• 지침 경쟁력: 외부 검증 환경 (PhysioNet 2012 ICU 사망률 및 영국/캐나다 낭포성 섬유증 코호트) 에서 AgentScore 는 수동 실행에 적합하면서도 확립된 임상 지침 (SOFA, SAPS-I, CF 이식 지침) 보다 높은 판별력 (AUROC) 을 달성했습니다.
• 배포 가능성: 18 명의 현역 임상의가 수행한 구조화된 검토 결과, 지침 스타일 추론과의 일치도 (85%), 침대 옆 적용 용이성 (71%), 배포 선호도 (81%) 측면에서 정수 가중치 베이스라인 (FasterRisk) 보다 AgentScore 가 생성한 체크리스트를 유의미하게 선호했습니다.
• 애블레이션 연구: 제약된 제안 - 검증 루프를 제거하고 (무제한 LLM 생성으로 대체) 성능이 크게 저하됨 (Cohen's $d \approx 2.8$) 을 확인하여 결정론적 검증 루프의 필요성을 입증했습니다.

중요성 및 주장

본 논문은 ML 성능과 임상 채택 간의 격차가 예측 능력 부족 때문이 아니라, 지침 배포와 양립하지 않는 모델 클래스를 최적화하기 때문이라고 주장합니다. AgentScore 는 제약된 의미 최적화—가설 클래스 설계, 배포 가능성, 검증을 1 순위 모델링 고려사항으로 취급하는 것—가 침대 옆에서 직접 실행 가능하면서도 매우 정확한 모델을 산출할 수 있음을 보여줍니다.

저자들은 그들의 접근 방식이 임상 지침을 대체하는 것이 아니라, 지침 스타일 사용과 일치하고 전향적 검증을 위해 적합한 후보 점수 체계를 자동으로 구축하는 경로를 제공한다고 강조합니다. 이 프레임워크는 LLM 과 원시 데이터 접근을 분리함으로써 데이터 거버넌스를 포함하여 임상 ML 채택의 주요 장벽과 규칙 발견에서의 "생성 - 선택" 간극을 해결합니다.

한계점: 저자들은 AgentScore 가 유연한 블랙박스 모델보다 표현력이 낮으며, LLM 이 의미적으로 접근할 수 없는 예측 관계를 놓칠 수 있다고 지적합니다. 이는 형식적 최적화 보장보다 배포 가능성을 우선시하며, 내재적으로 공정성 제약을 강제하지 않으므로 외부 감사가 필요합니다. 해당 점수 체계는 즉각적인 임상 배포가 아닌 검증을 위한 연구 산물입니다.