Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

기술 요약: 비지도 학습 기반 임상 표현형 분석에서의 결측치 및 입력-결과 순환성 감사

문제 정의
일상적으로 수집되는 임상 척도 데이터는 환자를 계층화하고 가설을 생성하기 위한 비지도 학습 기반 표현형(phenotyping) 분석에 점점 더 많이 활용되고 있다. 그러나 이러한 접근 방식은 두 가지 미검토된 방법론적 취약점을 갖는다:

1. 결측 데이터 민감도: 임상 척도는 데이터가 완전한 경우가 드물다. 그 결과로 도출된 클러스터 솔루션은 실제 환자의 구조가 아니라 특정 임퓨테이션(imputation, 결측치 대체) 전략을 반영할 수 있다. 다중 임퓨테이션(multiple imputation)이 자주 사용되지만, 이것이 비지도 분할의 안정성을 보장하지는 않는다.
2. 입력-결과 순환성(Input-Outcome Circularity): 하나의 변수가 두 번 사용될 수 있다. 첫째로는 클러스터를 정의하는 입력값으로, 둘-째로는 해당 클러스터를 검증하거나 해석하기 위한 다운스트림 결과 변수로 사용되는 것이다. 이러한 "이중 사용(double dipping)"은 독립적인 잠재 계층화의 증거가 아니라, 해당 변수가 클러스터 정의에 포함되어 있기 때문에 발생하는 인위적인 상관관계를 만들어낼 수 있다.

저자들은 인지, 정서 및 기능 척도 세트를 사용하여 평가된 입원 중 외상성 뇌손상(TBI) 환자들이 이러한 문제들을 감사(audit)하기 위한 실증적 환경을 제공한다고 주장한다.

방법론
본 연구는 582건의 입원 중 TBI 기록을 대상으로 한 단일 센터, 회고적, 횡단적 방법론 감사이다. 데이터셋에는 일상적으로 수집되는 다섯 가지 척도가 포함되었다: MMSE(Mini-Mental State Examination), MoCA(Montreal Cognitive Assessment), 15문항 GDS(Geriatric Depression Scale), 17문항 Hamilton Depression Rating Scale, 그리고 Barthel ADL(Activities of Daily Living) 지수.

저자들은 일반적인 비지도 표현형 파이프라인을 스트레스 테스트하기 위해 5단계 감사 프레임워크를 운용하였다:

1. 참조 파이프라인(Reference Pipeline): 중앙값 임퓨테이션(median imputation)과 z-표준화, 그리고 베이지안 정보 기준(BIC)을 통한 성분 선택($k=2$ ~ $7$)을 사용하여 기준이 되는 가우시안 혼합 모델(GMM)을 구축하였다.
2. 클러스터별 안정성(Cluster-Wise Stability): 자카드 계수(Jaccard coefficients)를 사용하여 부트스트랩 리샘플링(1,000회 반복)을 통해 안정성을 평가하였다. 0.75 미만의 값은 해석하기에 불충분한 것으로 간-주하였다.
3. 교차 방법 일치도(Cross-Method Concordance): 기준 GMM 솔루션을 k-means, Ward 계층적 군집화, 스펙트럴 군집화와 비교하여 조정 랜드 지수(ARI)를 산출하였다.
4. 임퓨테이션 민감도(Imputation Sensitivity): MICE(Multiple Imputation by Chained Equations)로 생성된 20개의 데이터셋에 대해 파이프라인을 재실행하였다. MICE 기반 분할과 중앙값 임퓨테이션 기준 분할 사이의 ARI를 계산하여 임퓨테이션 전략에 대한 의존성을 평가하였다.
5. 완전 사례 재-군집화(Complete-Case Re-clustering): 데이터가 완전한 환자 집단($n=103$)에 대해 분석을 반복하여, 구성 요소 구조와 주요 표현형(특히 "Hamilton-extreme" 그룹)이 유지되는지 확인하였다.
6. 입력-결과 순환성 스트레스 테스트(Input-Outcome Circularity Stress Test): 클러스터링 입력에서 Barthel ADL 변수를 제거하였다. 나머지 4개의 인지-정서 척도로 GMM을 재적합하였다. 새로운 클러스터와 ADL 심각도 사이의 연관성을 서열 회귀(ordinal regression)를 통해 모델링하고, 이를 원래 모델과 McFadden 의사-$R^2$를 사용하여 비교하였다.

주요 결과

• 데이터 완전성: 환자의 17.7%(103/582)만이 5개 척도 모두에 대해 완전한 데이터를 보유하고 있었다. 결측치는 Hamilton Depression Rating Scale(37.1%)과 Barthel ADL(29.4%)에 집중되어 있었다.
• 참조 솔루션의 불안정성: 기준 GMM은 $k=5$를 선택했으나, 솔루션은 매우 불안정했다. 클러스터별 부트스트랩 자카드 계수는 0.211에서 0.454 사이였으며(모두 안정성 임계치인 0.75 미만), 교차 방법 간 합의도 낮았다(평균 ARI = 0.229).
• 임퓨테이션 의존성: 기준 분할은 임퓨테이션 방법에 상당히 의존적이었다. 20개 MICE 데이터셋에 대한 평균 ARI는 0.157로, 견고성 기준인 0.40보다 훨씬 낮았다.
• 완전 사례의 인위적 결과(Artifacts): 완전 사례 집단에서는 BIC가 $k=5$ 대신 $k=3$을 선호하였다. 전체 데이터셋에서 식별되었던 "Hamilton-extreme" 표현형은 재현되지 않았으며, 3-중 결정 규칙(two-of-three adjudication rule)에 의해 인위적 결과로 분류되었다.
• 순환성 붕괴(Circularity Collapse): 원래의 5개 변수 클러스터와 기능적 상태(ADL) 사이의 강력한 연관성은 클러스터링 입력에서 ADL을 제거했을 때 붕괴되었다. ADL이 클러스터 정의에 포함되었을 때의 McFadden 의사-$R^2$는 0.395였으나, ADL이 제외되었을 때는 0.005로 급락하였다. 이는 원래의 연관성이 클러스터 정의에 결과 변수가 포함됨으로써 발생한 것이라는 점을 시사한다.

핵심 기여
본 논문은 새로운 TBI 표현형 분류 체계를 제안하는 것이 아니라, 일상적인 척도 데이터를 사용하는 비지도 임상 표현형 연구를 감사하기 위한 구체적인 5단계 스트레스 테스트 프레임워크를 제공한다. 이 프레임워크는 다음을 의무화한다:

1. 변수 수준의 결측 패턴 매핑.
2. 전역적 적합도가 아닌 클러스터별 안정성 정량화.
3. 교차 방법 간 일치도 확인.
4. 임퓨테이션 전략에 대한 민감도 테스트.
5. 다운스트림 결과가 클러스터링 입력과 겹칠 경우 입력-결과 순환성 감사.

의의 및 주장
저자들은 내부 모델 적합도와 임상적 해석 가능성만으로는 비지도 표현형 분석의 충분한 안전장치가 될 수 없다고 주장한다. 본 연구는 다음과 같은 사실을 입증한다:

• 그럴듯해 보이는 비지도 표현형이라 할지라도 결측 데이터 처리 방식에 매우 민적하며, 리샘플링이나 대안적인 전처리 과정을 거치면 생존하지 못할 수 있다.
• 클러스터와 기능적 결과 사이의 강력해 보이는 연관성은 상당 부분 "결과를 포함한 클러스터링(outcome-containing clustering)", 즉 클러스터를 정의하는 데 사용된 변수가 클러스터 레이블에 추가적인 정보를 거의 제공하지 않는 순환성에 의해 설명될 수 있다.
• 연구자들은 보수적인 보고 표준을 채택해야 한다. 척도 기반 클러스터를 임상적 하위 유형으로 전환하기 전에, 연구는 반드시 결측 패턴, 클러스터 안정성, 임퓨테이션 민감도 및 순환성 검사를 보고해야 한다.

본 논문은 이러한 감사가 수행되지 않는다면, 도출된 하위 유형은 재현 가능한 표현형 분류 체계가 아닌 가설 생성용으로 취급되어야 한다고 결론짓는다.