Gradient Boosted Risk Scores

기술 요약: 그래디언트 부스팅 위험 점수 (Gradient Boosted Risk Scores, GBRS)

문제 정의
위험 점수(Risk scores)는 의학, 보험, 리스크 관리 분야에서 널리 사용되는 해석 가능한 머신러닝 모델의 한 종류입니다. 복잡한 "블랙박스" 알고리즘과 달리, 위험 점수는 제한된 기준 세트에 따라 데이터 샘플에 점수를 부여함으로써 인간이 수동으로 계산할 수 있도록 설계되었습니다. 이러한 점수를 생성하기 위한 기존 방식은 일반적으로 선형, 로지스틱 또는 Cox 회귀에 의존합니다. 이러한 접근 방식은 두 가지 주요 한계점에 직면해 있습니다:

1. 모델 제약: 실제 상황에서 성립하지 않을 수 있는 기본 회귀 모델의 가정에 의해 제약을 받습니다.
2. 정보 손실: 해석 가능한 포인트 기반 점수를 만들기 위해, 연속적인 회귀 계수를 사후 처리 단계로서 빈닝(binning, 구간화)해야 합니다. 이 빈닝 과정은 정보 손실을 초래하고 예측 정확도를 저하시킵니다.
   AutoScore와 같은 프레임워크가 이 과정을 자동화하려고 시도하지만, 여전히 회귀 전 단계에서 연속 변수를 범주형으로 변환해야 하므로 정보 손실 문제를 그대로 유지합니다. 또한, 기존의 규칙 기반 방법(예: RuleFit)이나 가법 모델(예: Explainable Boosting Machines)은 깊은 트리를 통해 규칙을 생성하거나 형상 함수(shape function)의 계산적 평가를 필요로 하며, 단순한 점수 합산 모델이 갖는 직접적인 투명성이 부족합니다.

방법론
저자들은 **그래디언트 부스팅 위험 점수 (GBRS)**를 제안합니다. 이는 그래디언트 부스팅 절차를 사용하여 위험 점수를 일련의 가법적 결정 규칙(additive decision rules)으로 직접 모델링하는 방법입니다.

• 핵심 아키텍처: GBRS는 $F(x_i) = \beta_0 + \sum_{k=1}^K s_k(x_{jk})$ 형태의 가법 모델을 구축합니다. 여기서 각 항 $s_k$는 단일 공변량에 적용되는 단변량의 조각별 상수(piecewise-constant) 점수 함수입니다.
• 기본 학습기 (Base Learners): 다양한 깊이의 트리를 사용하는 표준 그래디언트 부스팅과 달리, GBRS는 모든 기본 학습기를 **결정 스텀프(decision stumps, 단일 임계값 분할)**로 제한합니다.
• 최적화: 알고리즘은 사후 처리 없이 작업별 손실 함수(회귀를 위한 제곱 오차, 이진 분류를 위한 로그 가능도, 생존 분석을 위한 쌍체 순위 손실)를 최소화하기 위해 이러한 스텀프들을 순차적으로 집계합니다.
  • 이진 결과의 경우, 리프(leaf) 값은 2-리프 로지스틱 회귀 업데이트에 대응하는 뉴턴 단계(Newton step)를 통해 계산됩니다.
  • 생존 분석의 경우, 비교 가능한 이벤트 쌍에 대해 쌍체 순위 손실(pairwise ranking loss)을 최적화합니다.
• 집계: 결정 스텀프는 계층적 의존성이 없기 때문에, 여러 부스팅 반복 과정에서 동일한 분할 조건이 선택될 수 있습니다. GBRS는 이를 계수 합산 방식으로 집계하여, 압축적이고 희소한 임계값 기반 규칙 세트를 생성합니다.
• 해석 가능성: 최종 출력물은 투명한 점수표입니다. 점수는 특정 척도에 따른 가법적 기여를 나타냅니다: 연속형 결과의 경우 항등 척도(identity scale), 이진 결과의 경우 로그 오즈(log-odds), 시간-사건 결과의 경우 로그 리스크(또는 로그 해저드)를 사용합니다.
• 구현: 저자들은 Python 및 R 바인딩을 포함한 효율적인 C++ 구현을 제공합니다. 이 방법은 최소한의 하이퍼파라미터(반복 횟수, 학습률, 임계값 수)를 사용하며, 빈의 개수를 제한하는 것이 자연스러운 규제 역할을 하기 때문에 규제 계수를 튜닝할 필요가 없습니다.

주요 기여

1. 포인트 기반 점수를 위한 최초의 그래디언트 부스팅 접근법: 저자들이 아는 바로는, GBRS는 인간이 계산 가능한 포인트 기반 위험 점수를 생성하도록 명시적으로 설계된 최초의 그래디언트 부스팅 방법입니다.
2. 직접 모델링: AutoScore와 달리, GBRS는 회귀 전 단계에서 연속 변수를 범주형으로 변환할 필요 없이 점수 함수를 직접 학습합니다.
3. 압축성 및 투명성: 이 방법은 예측 성능을 유지하면서도 기존 회귀 기반 대안들보다 훨씬 더 압축적인 모델을 생성합니다.
4. 소프트웨어 공개: 저자들은 최소한의 코드로 점수를 생성할 수 있도록 Python 및 R 바인딩이 포함된 C++ 라이브러리를 공개합니다.

결과
이 방법은 UK Biobank의 데이터를 포함하여 회귀, 이진 분류, 시간-사건(생존) 과업을 아우르는 12개의 테이블 데이터셋에서 평가되었습니다.

• 예측 성능: GBRS는 상태 최첨단 블랙박스 방법인 XGBoost 및 전통적인 회귀 모델과 비교하여 경쟁력 있는 성능을 보였습니다. 연속적 목적 함수에서는 일반적으로 XGBoost가 더 우수한 성능을 보였으나, 이진 분류 및 시간-사건 과업에서는 GBRS가 유사하게 우수한 성능을 보였습니다. 몇몇 이진 분류 및 하나의 생존 과업에서 GBRS는 AutoScore보다 통계적으로 더 나은 성능을 기록했습니다.
• 모델 압축성: GBRS는 상당히 더 압축적인 점수를 생성했습니다. 동일한 초기 임계값을 기준으로 할 때, GBRS는 분류 과업에서 AutoScore보다 평균 60% 적은 규칙을, 시간-사건 과업에서는 16% 적은 규칙을 필요로 했습니다.
• 해석 가능성: 연구는 GBRS 계수가 직접 해석될 수 있음을 입증했습니다. 예를 들어, 심부전 위험 모델에서 해당 점수는 흡연이 위험비를 약 3배($e^{1.1}$) 증가시킨다는 것을 나타냈으며, LVEF < 50%는 위험을 6배 이상 증가시킨다는 것을 보여주었습니다. 이러한 관계는 선형 보간이 아닌 엄격한 임계값을 통해 포착되었으며, 이는 임상적 지표와 일치합니다.

의의 및 주장
본 논문은 GBRS가 예측 정확도와 투명성 사이에서 유리한 절충안을 제공한다고 주장합니다. 이는 모델 출력이 감사 가능하고 인간이 이해할 수 있어야 하는 고위험 영역(예: 임상 의사 결정)에 특히 적합합니다.

• 투명성 vs 유연성: 저자들은 GBRS가 변수 간의 상호작용을 모델링할 수 없으며, 거친 이산화(coarse discretization)가 부정적인 영향을 미칠 수 있는 근사 선형 관계를 가진 데이터셋에서는 성능이 저하될 수 있음을 인정합니다. 그러나 이들은 이것이 최대 예측 유연성보다 안정성과 해석 가능성을 우선시하는 의도적인 설계 선택이라고 주장합니다.
• 실용적 유용성: 예측을 압축된 포인트 기반 점수로 표현할 수 있으면, 의사 결정자가 복잡한 계산 도구에 의존하지 않고도 다양한 입력 변수의 영향을 시각적으로 추정하고 환자를 계층화할 수 있습니다.
• 한계점: 저자들은 위험 점수를 훈련 분포를 크게 벗어나서 외삽해서는 안 되며, 상호작용을 모델링할 수 없기 때문에 변수 선택이 매우 중요하다는 점을 언급합니다.

요약하자면, GBRS는 전통적인 회귀 기반 빈닝에서 발생하는 정보 손실 없이 비선형 관계를 포착하면서도, 해석 가능하고 인간이 계산 가능한 위험 점수를 생성하는 방법을 제공하며, 투명성이 가장 중요한 환경에서 블랙박스 모델에 대한 실질적인 대안을 제시합니다.