Does Data Preprocessing Affect Tree-Based Super Learners? An Investigation of Ensemble Optimization and Oracle Properties in Clinical Classification.

기술 요약: 데이터 전처리가 트리 기반 슈퍼 러너(Super Learner)에 영향을 미치는가?

문제 정의
의료 분야의 머신러닝 워크플로우에서는 예측 성능을 높이기 위해 데이터 전처리(예: 정규화, 표준화)를 빈번하게 포함한다. 그러나 전처리에 불변한(preprocessing-invariant) 트리 기반 알고리즘(예: CART, Random Forest, XGBoost)으로만 구성된 슈퍼 러너 앙상블에 있어 전처리의 필요성은 아직 탐구되지 않았다. 개별 트리 기반 모델은 수치적 크기에 의존하기보다 재귀적 분할(recursive partitioning)에 의존하기 때문에 이론적으로 스케일링에 민감하지 않지만, 전처리가 가중치 할당, 오라클(oracle) 동작 및 전반적인 예측 성능과 같은 내부 메커니즘에 영향을 미치는지 여부는 불분명하다. 기존 문헌은 전처리를 보편적인 단계로 취급하며, 스택형 앙상블의 이론적 최적성과 안정성에 미치는 구체적인 영향에 대해서는 조사하지 않는다.

연구 방법론
본 연구는 세 가지 벤치마크 임상 분류 데이터셋을 사용하여 비교 실험 설계를 수행하였다:

1. 심장 질환 (Heart Disease) (관측치 207개, 예측 변수 13개)
2. 인도 간 질환 데이터셋 (ILPD) (관측치 583개, 예측 변수 10개)
3. 피마 인디언 당뇨병 (Pima Indians Diabetes) (관측치 768개, 예측 변수 8개)

실험 설정:

• 조건: 각 데이터셋에 대해 두 가지 조건을 평가하였다: (i) 원시 데이터 (Raw Data) (변형되지 않은 예측 변수) 및 (ii) 전처리된 데이터 (Preprocessed Data) (연속형 예측 변수를 학습 데이터로부터 엄격히 계산된 z-점수 표준화 $z_i = (x_i - \mu) / \sigma$를 통해 정규화하여 데이터 누수 방지).
• 슈퍼 러너 라이브러리: 앙상블은 전처리에 불변한 네 가지 트리 기반 학습자로 구성되었다:
  • 분류 및 회귀 나무 (CART)
  • 랜덤 포레스트 (Random Forest)
  • 레인저 랜덤 포레스트 (Ranger Random Forest)
  • 익스트림 그래디언트 부스팅 (XGBoost)
• 최적화: 슈퍼 러너는 반복적인 10-겹 교차 검증(100회 리샘플링 라운드)을 통해 볼록 가중치($\alpha_k$)를 결정하기 위해 비음수 최소 제곱법(NNLS)을 사용하였다.
• 평가 지표:
  • 예측 성능: AUC, MCC, Brier Score.
  • 내부 안정성: 학습자 가중치 분포 및 순위 변화.
  • 오라클 속성: 오라클 갭(Oracle Gap, 슈퍼 러너 위험도와 최적 후보 학습자의 위험도 차이) 및 지배적 오라클 학습자 빈도.
• 통계 분석: 원시 조건과 전처리 조건을 비교하기 위해 Benjamini–Hochberg 조정을 거친 대응 표본 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests)을 사용하였다.

주요 결과

1. 예측 성능:

   • 심장 질환 및 피마 데이터셋: 전처리는 무시할 만한 수준의 변화만을 초래했다. AUC, MCC, Brier 점수는 원시 조건과 전처리 조건 사이에 통계적으로 유의미한 차이를 보이지 않았다.
   • ILPD 데이터셋: 전처리는 통계적으로 유의미한 개선을 나타냈다. AUC는 0.746에서 0.752로 증가하였고($p=0.0017$), Brier 점수는 0.177에서 0.175로 감소하였다($p<0.001$).

2. 학습자 가중치 할당:

   • ILPD 및 피마: 학습자 가중치는 대체로 안정적이었으며, Random Forest가 지속적으로 우세하였고 그 뒤를 Ranger가 이었다.
   • 심장 질환: 전처리는 가중치의 상당한 재분배를 일으켰다. Random Forest가 Ranger를 대신하여 지배적인 학습자가 되었으며(가중치가 0.223에서 0.362로 증가; $p=0.006$), Ranger의 가중치는 감소하였다(0.438에서 0.286). 이러한 내부적 변화에도 불구하고 전반적인 예측 성능은 변하지 않았다.

3. 오라클 동작:

   • 오라클 갭은 모든 데이터셋과 조건에서 매우 작았으며(<0.002), 이는 슈퍼 러너가 최적의 볼록 결합을 일관되게 근사하고 있음을 나타낸다.
   • 전처리 조건과 원시 조건 사이에 오라클 갭의 통계적으로 유의미한 차이는 없었다.
   • 심장 질환 및 ILPD 데이터셋에서, 전처리 후 "지배적 오라클 학습자"의 정체가 Ranger에서 Random Forest로 이동하였으나, 오라클 갭의 크기는 안정적으로 유지되었다.

주요 기여

• 불변성에 대한 경험적 검증: 본 연구는 전처리에 불변한 알고리즘으로 구성된 슈퍼 러너의 경우, 전처리가 예측 정확도에 미치는 이점이 제한적이라는 경험적 증거를 제공하며, 이는 재귀적 분할이 스케일 불변(scale-invariant)이라는 이론적 전제를 뒷받침한다.
• 내부 메커니즘 분석: 정확도에만 초점을 맞춘 기존 연구와 달리, 본 연구는 전처리가 앙상블의 내부 구성에 어떻게 영향을 미치는지 정량화한다. 이는 전처리가 학습자 가중치 분포(예: Ranger에서 Random Forest로의 지배력 이동)나 오라클 선택 패턴을 변화시킬 수 있음에도 불구하고, 최종 예측 성능이나 앙상블의 오라클 동작으로의 수렴에는 실질적인 변화를 주지 않음을 보여준다.
• 데이터셋별 미세한 차이: 본 연구의 결과는 전처리의 영향이 보편적이지 않으며, ILPD 데이터셋에서 관찰된 것과 같이 특정 데이터셋의 특성에 따라 달라질 수 있음을 강조한다.

의의 및 주장
본 논문은 전처리에 불변한 학습자들로 구축된 슈퍼 러너 앙상블의 경우, 전처리를 보편적인 모델링 관행으로 채택해서는 안 된다고 주장한다. 대신, 전처리 여부에 대한 결정은 특정 데이터셋의 특성에 따라 안내되어야 한다.

저자들은 다음과 같이 단언한다:

1. 효율성: 불필요한 전처리 단계를 제거함으로써 모델링 절차를 간소화하고, 계산 부하를 줄이며, 예측 정확도를 저해하지 않으면서 재현성을 높일 수 있다.
2. 이론적 안정성: 특정 최적 학습자의 정체가 변하더라도, 최적의 볼록 결합으로 점근적으로 수렴하는 슈퍼 러너의 능력(오라클 속성)은 전처리에 대해 견고하다.
3. 맥락적 적용: 전처리가 특정 맥락(ILPD 데이터셋과 같은 경우)에서 미미한 이득을 제공할 수는 있지만, 트리 기반 앙상블의 이론적 동작을 근본적으로 바꾸지는 않는다.

본 연구는 향로부터 이 발견을 더욱 일반화하기 위해 이질적인 라이브러리(민감한 학습자와 불변한 학습자의 혼합)와 더 복합적인 데이터 시나리오(고차원, 생존 결과)를 탐구해야 한다고 결론짓는다.