Evidence-guided AI regularization for suicidal ideation prediction in pediatric bipolar disorder

기술 요약: 소아 양극성 장애의 자살 충동 예측을 위한 증거 기반 AI 정규화

문제 제기
정신의학 분야의 자살 예측 모델은 빈번하게 순수 데이터 중심의 특성 선택(feature selection)에 의존한다. 적당한 규모의 임상 표본에서 이러한 접근 방식은 종종 불안정한 예측 변수 집합과 임상적으로 불투명한 모델을 생성하며, 이는 확립된 도메인 지식과의 통합에 실패한다. 머신러닝(특히 LASSO)은 소아 정신의학에서 흔히 발생하는 "작은 n-큰 p(small-n-large-p)" 문제를 해결하는 방안을 제시하지만, 표준 LASSO는 모든 계수에 균일한 패널티를 적용한다. 이는 모든 후보 예측 변수가 관찰 전에는 동일하게 무관할 가능성이 있다고 취급하며, 기존의 임상적 근거를 무시한다. 결과적으로, 모델은 임상적으로 타당한 위험 영역이 아닌, 샘플 특이적인 상관관계에 고착될 수 있다. 더욱이, 전문가의 의견을 바탕으로 특성별 패널티 가중치를 수동으로 할당하는 것은 종종 실행 불가능하고, 재현성이 떨어지며, 확장하기 어렵다.

방법론
저자들은 LASSO 모델의 정규화 과정에 큐레이션된 임상적 근거를 직접 통합하는 하이브드 프레임워크인 **증거 기반 AI LASSO (EBAL)**를 개발하였다. 이 파이프라인은 네 가지 주요 단계로 구성된다:

1. 증거 합성: 코크란(Cochrane) 및 PRISMA 가이드라인을 준수하여 도메인 지식 코퍼스를 구축하기 위한 체계적 문헌 고찰이 수행되었다. 검색은 청소년 양극성 장애 또는 관련 영역의 자살성(suicidality)과 관련된 높은 수준의 근거(체계적 문헌 고찰, 메타 분석, 네트워크 메타 분석, 엄브렐라 리뷰, 임상 진료 지침)로 제한되었다. 이 과정을 통해 40개의 큐레이션된 문서가 확보되었다.
2. 가중치 부여를 위한 검색 증강 생성 (RAG): 비정형 증거 코퍼스를 수치화된 패널티 가중치로 변환하기 위해, 저자들은 오픈 웨이트(open-weight) Qwen3 모델을 사용하는 두 모델 LLM 파이프라인을 채택하였다:
   • Qwen3-Embedding-8B: 40개의 증거 문서를 고차원 벡터 표현으로 변환하고 이를 로컬 ChromaDB 벡터 데이터베이스에 인덱싱하는 데 사용되었다.
   • Qwen3-30B-A3B-Thinking: 패널티 계수를 할당하기 위해 사용된 혼합 전문가(mixture-of-experts) 추론 모델이다. 20개의 후보 예측 변수 각각에 대해, 시스템은 증거 코퍼스에서 가장 의미론적으로 관련 있는 세 개의 텍스트 세그먼트를 검색하였다. 이후 LLM은 이 세그먼트들을 사전 지정된 채점 루브릭(점수 2~5)에 따라 평가하여 패널티 계수를 결정하였다. 점수 2는 예측 변수와 자살 충동 사이의 강력한 근거를 나타내며(낮은 패널티), 점수 5는 약하거나 근거가 없음을 나타낸다(높은 패널티).
   • 제약 사항: LLM은 예측 변수의 명칭과 검색된 증거 세그먼트만을 전달받았으며, 임상 결과 데이터에는 접근하지 못했다. 이는 가중치가 오직 사전 지식에 의해서만 도출되도록 보장하기 위함이다.
3. 모델 적합: 도출된 패널티 가중치는 가중 LASSO 로지스틱 회귀 모델을 적합시키는 데 사용되었다. 본 연구는 그레이터 휴스턴 지역 양극성 레지스트리(Greater Houston Area Bipolar Registry)의 확진된 양극성 스펙트럼 장애를 가진 청소년 136명의 기초 데이터를 활용하였다. 주요 결과 변수는 자살 충동(이진 분류)이었으며, 이차 결과 변수는 자살 행동이었다.
4. 평가: 성능은 중첩된 Leave-one-out 교차 검증(nested LOOCV)을 통해 평가되었다. 내부 루프에서는 10-겹 교차 검증을 통해 최적의 정규화 강도($\lambda$)를 선택하였고, 외부 루프에서는 한 명의 참가자를 테스트를 위해 제외하였다. EBAL 모델은 균일한 패널티를 사용하는 표준 증거 불가지론적(evidence-agnostic) LASSO와 비교되었다. 클래스 불균형을 해결하기 위해 훈련 데이터에만 SMOTE(Synthetic Minority Over-sampling Technique)를 적용하였다.

주요 결과

• 자살 충동 예측:
  • EBAL 성능: AUROC 0.768 및 균형 정확도(balanced accuracy) 0.757을 달랐다.
  • 표준 LASSO 성능: AUROC 0.760 및 균형 정확도 0.715를 달랐다.
  • 통계적 유의성: AUROC 차이는 통계적으로 유의하지 않았으나($p=0.313$), 쌍체 부트스트랩 테스트(paired bootstrap tests)를 통해 EBAL이 표준 LASSO보다 균형 정확도(+0.042, $p=0.010$)와 매튜스 상관계수(Matthews correlation coefficient, +0.079, $p=0.010$) 측면에서 유의미하게 우수함을 확인하였다.
  • 특성 선택: EBAL은 표준 LASSO가 18개를 유지한 것에 비해 20개 중 11개만을 유지함으로써 더 희소(sparse)하고 안정적인 모델을 생성하였다. EBAL이 유지한 상위 3개 양성 예측 변수는 현재의 우울 기분, 기분 장애 질환의 지속 기간, 그리고 동반된 범불안장애였다.
• 자살 행동 예측:
  • 두 모델 모두 우연 수준(chance) 근처에서 성능을 보였으며(EBL AUROC: 0.594; 표준 LASSO AUROC: 0.592), 유의미한 변수 선택에 실패하였다(두 모델 모두 20개 특성을 모두 유지함). 저자들은 이를 자살 행동의 급격하고 상태 의존적인(state-dependent) 특성 때문으로 보았으며, 이는 데이터셋에 포함된 정적인 임상 예측 변수로는 포착되지 않는 부분이다.

의의 및 주장
본 논문은 EBAL이 정규화된 회귀의 패널티 구조 내에서 근거 기반 의학의 원칙을 성공적으로 구현했다고 주장한다. 이 프레임워크를 통해 삽입된 예측 변수 세트는 다음과 같은 특성을 갖는다:

1. 임상적 일관성: 유지된 특성들은 확립된 기전적 경로(예: 내재화 증상, 질병 만성화)와 일치하며, 샘플 특이적인 노이즈가 아닌 실제적 근거를 반영한다.
2. 희소성 및 안정성: 증거 기반 패널티는 약한 예측 변수를 효과적으로 필터링하여, 분류 성능을 저하시키지 않으면서도 모델 복잡도를 줄인다.
3. 투명성 및 재현성: 오픈 웨이트 LLM과 추적 가능한 증거 코퍼스의 사용은 패널티 도출 과정에 대한 완전한 검사와 재현을 가능하게 한다. 외부 API나 변경되는 모델 파라미터에 의존하지 않는 오픈 웨이트 접근 방식은 다른 연구 그룹이 동일한 패널티 가중치를 재현할 수 있음을 보장한다.

저자들은 EBL이 자살 행동의 예측력을 높이지는 못했을지라도(데이터의 한계로 인한 것으로 보임), 특히 자살 충동과 같이 위험 요인이 안정적이고 잘 문서화된 결과에 대해 임상적 사전 지식과 예측 모델을 정렬하는 강력하고 투명한 전략을 제공한다고 결론지었다. 본 연구는 횡단적 설계, 단일 기관 연구, 제한된 표본 크기, 그리고 외부 검증 코호트의 부재를 한계점으로 인정하였다.