Towards symbolic regression for interpretable clinical decision scores

1. 연구 배경 및 문제 정의 (Problem)

• 임상 의사결정의 복잡성: 의료 현장에서는 위험 방정식과 규칙을 결합한 알고리즘 (예: CART, MEWS 점수) 을 사용하여 환자 상태를 평가하고 치료 경로를 표준화합니다. 이러한 시스템은 명확하고 해석 가능해야 하며, 전자 건강 기록 (EHR) 과 같은 빅데이터를 활용하여 자동화될 필요가 있습니다.
• 기호 회귀 (Symbolic Regression, SR) 의 한계: SR 은 데이터에서 수학적 표현식을 발견하여 해석 가능한 모델을 생성하는 강력한 방법입니다. 그러나 기존 SR 알고리즘은 주로 연속적인 함수 형태와 그 파라미터에 국한되어 검색 공간을 탐색합니다. 이로 인해 분할 기반 (split-wise) 연산 (예: "만약 혈압이 X 이상이면 A, 아니면 B"와 같은 규칙) 을 포함하는 의사결정 트리와 같은 논리 구조를 모델링하기 어렵습니다.
• 현재의 대안 부족: 기존의 의사결정 트리는 해석 가능하지만 예측 정확도가 낮거나 과적합될 수 있으며, 기존 SR 방법은 분할 연산을 통합하지 못해 복잡한 임상 점수 시스템을 재현하는 데 한계가 있습니다. 또한, 파라미터 최적화 (non-linear constant optimization) 가 부재하여 전역 최적점에 도달하지 못하는 경우가 많습니다.

2. 제안된 방법론: Brush (Methodology)

저자들은 Brush라는 새로운 기호 회귀 알고리즘을 제안합니다. Brush 는 의사결정 트리와 같은 분할 로직과 비선형 파라미터 최적화를 결합하여 해석 가능한 모델을 생성합니다.

• 핵심 구성 요소:
  • 분할 노드 (Split Node): 기존 의사결정 트리에서 영감을 얻어, 조건 (predicate) 에 따라 데이터 흐름을 왼쪽 또는 오른쪽 서브트리로 분기시키는 연산자를 도입했습니다.
    • 조건부 서브트리 ($f_c$) 와 참/거짓 경우의 서브트리 ($f_T, f_F$) 로 구성됩니다.
    • 분할 임계값 ($\tau$) 은 학습 가능하며, 분할된 두 그룹의 타겟 값 분산 합을 최소화하도록 최적화됩니다 (1 차원 클러스터링).
  • 비선형 파라미터 최적화: Brush 는 Levenberg-Marquardt (LM) 알고리즘을 사용하여 모델 내의 가중치와 상수 값을 국소적으로 최적화합니다. 이는 무작위 상수에 의존하는 기존 방법의 수렴 문제를 해결합니다.
  • 최적화 전략:
    1. 조건부 서브트리 최적화.
    2. 분할 임계값 ($\tau$) 최적화.
    3. 나머지 표현식 (서브트리) 에 대해 분할 조건과 임계값을 고정하고 파라미터 최적화 수행.
  • 유전 프로그래밍 (GP) 프레임워크:
    • 선택 (Selection): $\epsilon$-lexicase 선택을 사용하여 다목적 최적화 (정확도 vs 복잡도) 를 수행합니다.
    • 생존 (Survival): NSGA-II (Non-dominated Sorting Genetic Algorithm II) 를 사용하여 파레토 최적 해를 찾습니다.
    • 변형 (Variation): 6 가지 돌연변이 연산자와 서브트리 교차 연산자를 사용합니다.
    • 간소화 (Simplification): 예측 벡터를 비교하여 큰 서브트리를 더 간단한 근사 표현식으로 대체하는 'inexact simplification'을 후처리 단계에 적용합니다.
  • 분류 모드: 분류 작업의 경우, 루트에 로지스틱 회귀 노드를 고정하고 오프셋 파라미터를 최적화하여 분류 모델로 확장합니다.

3. 주요 기여 (Key Contributions)

1. 분할 연산과 최적화의 통합: SR 분야에서 처음으로 분할 기반 로직 (split-wise operations) 과 비선형 파라미터 최적화를 원활하게 통합한 알고리즘을 제안했습니다.
2. SRBench 에서의 파레토 최적 성능: 122 개의 실제 세계 데이터셋과 130 개의 물리 방정식 (Feynman, Strogatz) 데이터셋으로 구성된 SRBench 벤치마크에서 Brush 는 다른 최신 SR 방법들보다 작고 정확한 모델을 생성하여 파레토 최적 성능을 달성했습니다.
3. 임상 점수 시스템의 재현 및 분류: MIMIC-IV-ED 데이터를 활용하여 CART 및 MEWS 와 같은 널리 사용되는 임상 점수 시스템을 재현하고, 환자 악화 위험을 분류하는 모델을 생성했습니다. Brush 는 기존 SR 방법보다 더 작고 해석 가능한 모델을 생성하면서도 높은 정확도를 유지했습니다.

4. 실험 결과 (Results)

• SRBench 벤치마크:
  • 블랙박스 문제: Brush 는 모델 크기와 테스트 $R^2$ 점수 모두에서 우수한 성능을 보였으며, 특히 PS-Tree 보다 훨씬 작은 모델을 생성했습니다.
  • Ground-truth 문제: 다양한 노이즈 수준 ($0 \sim 0.1$) 에서 $R^2 > 0.999$를 달성하는 비율이 50% 이상으로, AIFeynman 등 다른 방법들보다 노이즈에 강건했습니다.
• 임상 데이터 분석 (MIMIC-IV-ED):
  • 회귀 작업 (점수 예측): MAP, CART, MEWS 점수를 예측하는 회귀 작업에서 Brush 는 $R^2 \approx 1.0$ (MAP) 및 높은 정확도를 보이며, RF(랜덤 포레스트) 나 DT(의사결정 트리) 보다 훨씬 작은 모델 크기를 유지했습니다.
  • 분류 작업 (위험 환자 식별):
    • CART 및 MEWS 기반의 '위험 악화' 분류 작업에서 Brush 는 AUPRC(정밀도 - 재현율 곡선 아래 면적) 가 0.99(CART) 및 0.95(MEWS) 로, DT 와 유사하거나 더 높은 성능을 보였습니다.
    • 분할 노드를 사용하지 않은 Brush 버전은 분류 성능이 유의미하게 저하되었으므로, 분할 노드가 분류 성능 향상에 필수적임을 입증했습니다.
  • 해석 가능성: Brush 가 생성한 모델은 실제 임상 점수 시스템의 논리 (예: 호흡수 > 21 이면 고위험, DBP 및 심박수 조건 등) 를 잘 반영하며, 불필요한 특징을 제거하고 핵심 특징을 선택하는 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성과 성능의 균형: Brush 는 의료 분야에서 필수적인 '해석 가능성 (Interpretability)'과 '예측 성능 (Predictive Performance)' 사이의 균형을 성공적으로 잡았습니다. 복잡한 블랙박스 모델 없이도 높은 정확도를 달성할 수 있는 규칙 기반 모델을 제공합니다.
• 임상 의사결정 지원 도구: 생성된 모델은 실제 임상 점수 시스템의 구조를 재현하거나, 데이터에서 새로운 해석 가능한 규칙을 발견하여 임상 의사결정 지원 시스템 (CDSS) 개발에 직접 활용될 수 있습니다.
• 확장성: Brush 는 회귀뿐만 아니라 분류 작업에도 적용 가능하며, 다양한 도메인 (물리학, 공학, 의학 등) 에서 복잡한 규칙과 수식을 동시에 학습할 수 있는 강력한 도구로 평가됩니다.

요약하자면, 이 논문은 Brush라는 새로운 SR 알고리즘을 통해 기존 SR 의 한계였던 분할 로직 통합 문제를 해결하고, 이를 통해 임상 현장에서 즉시 활용 가능한 고품질의 해석 가능한 의사결정 모델을 생성할 수 있음을 실증했습니다.