[기술 요약] FeatEHR-LLM: 전자 건강 기록(EHR)을 위한 대규모 언어 모델 기반 피처 엔지니어링

1. 문제 정의 (Problem Statement)

전자 건강 기록(EHR) 데이터는 임상 현장의 특성상 다음과 같은 복잡한 문제를 안고 있습니다:

• 불규칙한 샘플링(Irregular Sampling): 환자의 상태 변화나 의료진의 판단에 따라 측정 간격이 일정하지 않습니다.
• 구조적 희소성(Structural Sparsity): 데이터가 단순히 누락된 것이 아니라, 임상적 필요가 있을 때만 측정되므로 데이터의 빈 공간 자체가 중요한 임상적 정보를 담고 있습니다.
• 기존 방법론의 한계:
  • 전통적 자동화 방법: 도메인 지식(임상적 맥락)이 부족하며, 규칙적인 데이터를 가정하는 경우가 많아 불규칙한 EHR 데이터에 적용하기 어렵습니다.
  • 기존 LLM 기반 방법: 주로 정적인 테이블 데이터(Static Tabular Data)에 집중되어 있으며, 시계열 데이터의 복잡한 시간적 의존성과 불규칙성을 처리하는 데 한계가 있습니다.

2. 제안 방법론 (Methodology: FeatEHR-LLM)

본 논문은 LLM의 임상 지식을 활용하여 불규칙한 시계열 데이터로부터 임상적으로 의미 있는 **표 형식의 피처(Tabular Features)**를 생성하는 프레임워크를 제안합니다.

핵심 설계 원칙: 개인정보 보호 (Privacy-Preserving)

LLM이 환자의 민감한 원시 데이터(Raw Records)에 직접 접근하지 않도록 합니다. 대신 **데이터셋의 스키마(Schema)와 임상 작업 설명(Task Description)**만을 제공하여, LLM이 데이터를 직접 읽는 대신 데이터를 추출할 수 있는 **'실행 가능한 코드(Executable Code)'**를 작성하도록 유도합니다.

주요 파이프라인

1. 단변량 피처 엔지니어링 (Univariate Feature Engineering):
   • 각 변수(예: 심박수, 크레아티닌)에 대해 LLM이 임상적 맥락을 반영한 파이썬 함수를 생성합니다.
   • LLM은 변수명, 단위, 요약 통계량 등을 바탕으로 특정 변수의 변화 추이나 변동성을 포착하는 코드를 작성합니다.
2. 다변량 피처 엔지니어링 (Multivariate Feature Engineering):
   • LLM이 임상적 지식을 바탕으로 "환자의 신장 기능은 얼마나 손상되었는가?"와 같은 고차원적인 임상 질문을 먼저 생성합니다.
   • 각 질문에 답하기 위해 필요한 여러 변수들의 조합을 식별하고, 이를 계산하는 복잡한 로직의 코드를 생성합니다.
3. 도구 증강 생성 (Tool-Augmented Generation):
   • LLM이 불규칙한 시계열 데이터를 다룰 수 있도록 get_all_measurements, is_variable_increasing 등 특화된 프로그래밍 도구(Helper Routines)를 제공합니다. 이를 통해 LLM은 불규칙한 간격과 결측치를 처리하는 코드를 스스로 작성할 수 있습니다.
4. 반복적 검증 루프 (Iterative Validation-in-the-loop):
   • 생성된 코드는 구문(Syntax) 및 실행(Runtime) 검증을 거치며, 여러 라운드에 걸쳐 피처를 반복적으로 생성하고 정교화합니다.

3. 주요 기여 (Key Contributions)

• 불규칙 시계열 특화: 도구 증강 메커니즘을 통해 EHR 특유의 불규칙한 샘플링과 구조적 희소성 문제를 해결하는 피처 생성 프레임워크를 제안했습니다.
• 프라이버시 보호 모델: 원시 데이터 대신 메타데이터와 스키마만 사용하여 LLM을 활용함으로써 의료 데이터 보안 문제를 완화했습니다.
• 임상적 맥락 주입: 단순 통계량(평균, 표준편차 등)을 넘어, LLM의 도메인 지식을 활용해 다변량 상호작용(예: 대사 기능 장애 점수)을 포착하는 고차원 피처를 생성합니다.
• 검증된 성능: 다양한 ICU 데이터셋과 임상 예측 작업에서 기존의 강력한 베이스라인들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 우위: 4개의 ICU 데이터셋, 8개의 임상 예측 작업에 대해 평가한 결과, 8개 작업 중 7개에서 가장 높은 평균 AUROC를 기록했습니다.
• 개선 폭: 강력한 베이스라인(OpenFE, tsfresh 등) 대비 최대 6%포인트의 AUROC 향상을 보였습니다.
• 일반화 능력:
  • 데이터 크기: 데이터가 적은 저자원 환경(10% 데이터 사용 시)에서도 일관된 성능 향상을 보여 데이터 효율성이 높음을 증명했습니다.
  • 모델 호환성: LightGBM뿐만 아니라 XGBoost, CatBoost 등 다양한 트리 기반 모델에서도 성능 향상이 나타났습니다.
  • LLM 범용성: Gemini뿐만 아니라 GPT-4o-mini와 같은 다른 모델을 사용했을 때도 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

FeatEHR-LLM은 LLM을 단순한 데이터 분석 도구가 아닌, 임상적 추론 능력을 갖춘 피처 엔지니어로 활용할 수 있음을 보여주었습니다.

특히, 딥러닝의 '블랙박스' 문제로 인해 임상 현장 도입이 어려운 점을 고려할 때, 해석 가능한 코드 형태의 피처를 생성한다는 점은 매우 큰 강점입니다. 이는 모델의 투명성을 높이면서도, 복잡한 시계열 데이터를 효율적인 트리 기반 모델(Tree-based models)이 학습하기 좋은 형태로 변환해줌으로써 임상 의사결정 지원 시스템(CDSS)의 실용성을 크게 높일 수 있는 연구입니다.