WISTERIA: Learning Clinical Representations from Noisy Supervision via Multi-View Consistency in Electronic Health Records

기술 요약: WISTERIA

문제 제기
전자 건강 기록 (EHR) 에서 표현을 학습하기 위한 현재 패러다임은 대부분 자연어 처리 (NLP) 기술에 의존하며, 환자 병력을 진단, 시술, 약물과 같은 이산 토큰의 시퀀스로 간주하고 재구성 또는 다음 토큰 예측을 최적화합니다. 이 접근법의 근본적인 한계는 관찰된 임상 레이블이 기준 진리 (ground truth) 로 작용한다는 암묵적인 가정입니다. 실제로 임상 감독은 본질적으로 약하고, 노이즈가 많으며, 이질적입니다. 레이블은 종종 직접적인 생리학적 측정치가 아닌 청구 코드, 휴리스틱 표현형 규칙, 또는 기관별 주석 파이프라인에서 비롯됩니다. 결과적으로 시퀀스 기반 사전 학습 목표는 코딩 관행과 문서화 편향으로 인해 유발된 인공물과 임상적으로 의미 있는 구조를 얽히게 하여, 기관 간에 강건성과 일반화 능력이 부족한 표현을 초래합니다.

방법론
저자들은 WISTERIA(임상 표현을 위한 약감독 구조화 잠재 임베딩의 약감독 추론) 를 제안합니다. 이는 EHR 표현 학습을 노이즈가 있는 다중 뷰 감독 신호로부터 잠재 임상 상태 ($z$) 를 추론하는 문제로 재정의하는 프레임워크입니다.

1. 확률적 감독 모델: WISTERIA 는 레이블을 고정된 목표로 간주하는 대신, 기관별 주석 함수 ($\psi$) 를 통해 잠재 상태 $z$에서 생성된 확률적 관측치로서 임상 레이블 ($y$) 을 모델링합니다. 이 모델은 관찰된 레이블이 더 넓은 감독 과정의 노이즈가 있는 실현이라고 가정합니다.
2. 다중 뷰 약감독: 이 프레임워크는 $K$개의 약감독 연산자 집합 $\{W_k\}_{k=1}^K$를 구성합니다. 각 연산자는 환자 기록 $x$를 의사 레이블 분포 $\tilde{y}_k$로 매핑합니다. 이러한 연산자는 규칙 기반 표현형, 온톨로지 기반 레이블 전파, 공발생 통계, 그리고 교차 모드 합의를 포함한 다양한 감독 소스를 포착합니다. 단일 연산자가 정확하다고 가정하지 않으며, 각각은 잠재 상태에 대한 편향되고 부분적인 뷰를 제공합니다.
3. 일관성 목표: 핵심 학습 목표는 이러한 감독 뷰 간 일관성을 강제합니다. 모델은 공유 인코더 $h_\theta(x)$와 예측 헤드 집합 $\{g_{\theta,k}\}$를 학습합니다. 손실 함수 ($L_{WISTERIA}$) 는 두 가지 항으로 구성됩니다:
   • 정렬: 각 예측 헤드 $g_{\theta,k}(h_\theta(x))$와 해당 약감독 신호 $\tilde{y}_k$ 간의 발산 (예: 교차 엔트로피) 을 최소화합니다.
   • 합의: 서로 다른 예측 헤드의 출력 간 불일치 (예: 대칭 KL 발산) 를 최소화합니다. 이 항은 암묵적인 노이즈 제거 메커니즘으로 작용하여, 이질적인 주석 메커니즘 전반에 걸쳐 불변인 구조를 포착하도록 표현을 장려합니다.
4. 온톨로지 인식 정규화: 임상 구조를 통합하기 위해 이 방법은 레이블 공간 기하학 정규화기를 도입합니다. 임상 온톨로지 그래프 $G=(V, E)$를 사용하여, 예측은 그래프 라플라시안 $L$에 대해 매끄럽도록 정규화됩니다. 이는 의미적으로 관련된 임상 개념이 일관된 확률 질량을 받도록 하여, 코딩 시스템 전반의 일반화를 돕고 긴 꼬리 설정에서의 강건성을 향상시킵니다.
5. 감독을 통한 확장: 데이터셋 크기나 모델 용량에 의존하는 전통적인 확장 법칙과 달리, WISTERIA 는 새로운 확장 축을 도입합니다: 약감독 연산자의 수와 다양성. $K$를 증가시키는 것은 잠재 표현에 제약을 추가하여 추가적인 레이블 데이터 없이도 식별 가능성을 향상시킵니다.

주요 기여

• 감독의 재정의: 이 논문은 레이블을 기준 진리로 간주하는 것에서 감독 과정 자체를 확률적 다중 뷰 현상으로 모델링하는 것으로 EHR 학습의 귀납적 편향을 전환합니다.
• 다중 뷰 일관성: 이 논문은 이질적인 감독 신호를 집계하고 노이즈가 있는 주석 함수 간 합의를 강제하여 공유 잠재 신호를 복원하는 목표를 도입합니다.
• 구조화된 레이블 공간: 이 논문은 온톨로지 인식 정규화를 감독 과정에 직접 통합하여, 모델이 임상 지식과 일관된 방식으로 노이즈가 있는 레이블을 조정할 수 있도록 합니다.
• 감독 중심 확장: 이 논문은 감독 연산자의 다양성을 증가시키는 것이 표현의 품질과 강건성을 향상시킬 수 있음을 보여주며, 데이터 양을 늘리는 것에 대한 보완적인 확장 전략을 제시합니다.

결과
표준 EHR 벤치마크 (사망률, 재입원, 진단, 표현형) 에 대한 실증적 평가는 WISTERIA 가 지도 학습, 마스킹 언어 모델링, 자기회귀 사전 학습, 그리고 대조 학습을 포함한 베이스라인보다 우수함을 보여줍니다.

• 예측 성능: WISTERIA 는 모든 작업에서 최첨단 결과를 달성하며, 특히 진단 예측 (대조 학습 대비 Macro-F1: 0.538 대 0.512) 과 표현형 (AUROC: 0.846 대 0.821) 에서 특히 유의미한 향상을 보입니다.
• 노이즈에 대한 강건성: 주입된 레이블 노이즈 (30–50%) 를 사용한 실험에서 WISTERIA 는 베이스라인에 비해 더 완만한 저하 곡선을 보여주며, 단일 뷰 또는 지도 접근법이 급격히 악화되는 구간에서도 성능을 유지합니다.
• 기관 간 일반화: 이 모델은 한 기관에서 사전 학습하고 다른 기관에서 테스트할 때 더 높은 AUROC(0.812) 를 달성하여 우수한 전이 능력을 보여주며, 이는 제거된 변형체들과 비교됩니다.
• 보정 및 의미: 학습된 임베딩은 최근접 이웃 검색 및 클러스터링에서 임상 의미와 더 잘 정렬됩니다. 또한, WISTERIA 는 제거된 모델에 비해 과신도를 줄이며 더 잘 보정된 예측을 생성합니다 (기대 보정 오차 0.021).

의의
이 논문은 레이블을 고정된 목표로 간주하는 대신 감독 과정을 명시적으로 모델링하는 것이 EHR 데이터로부터 강건하고 임상적으로 의미 있는 표현을 학습하기 위해 더 적절한 귀납적 편향을 제공한다고 주장합니다. 입력 공간이 아닌 감독 공간에서 불변성을 강제함으로써 WISTERIA 는 임상 레이블이 종종 생리학적 상태에 대한 신뢰할 수 없는 대리 변수라는 현실을 해결합니다. 저자들은 이 관점이 감독의 구조와 다양성이 학습된 표현을 형성하는 데 중심적인 역할을 하는 새로운 헬스케어 기반 모델 설계 공간을 열어준다고 제안하며, 시퀀스 중심 사전 학습 목표를 넘어선다고 강조합니다.