Toward Principled Model Selection in Data-Limited Scientific Machine Learning: A Three-Principle Decision Framework with Empirical Case Studies

기술 요약: 데이터 제한적 과학적 머신러닝에서의 원칙적인 모델 선택을 향하여

문제 정의
과학적 머신러닝(Scientific ML), 특히 초기 단계의 신약 개발 및 재료 과학 분야에서는 훈련 데이터가 매우 희소한 경우가 많습니다(예: $N \approx 100$ 샘플). 그럼에도 불구하고, 이 분야는 점차 단순한 대안들보다 복잡한 딥러닝 아키텍처(예: 그래프 신경망, 트랜스포머)를 선호하는 경향을 보여왔습니다. 데이터가 제한적인 환경에서 모델의 복잡성과 일반화 성능 사이에는 지속적인 긴장이 존재합니다. 복잡한 모델은 대규모 벤치마크(예: Davis/KIBA, $N > 10,000$)에서는 탁월한 성능을 발휘하지만, 약 100개의 샘플과 해석 가능한 물리화학적 기술자(descriptor)로 제한되었을 때의 동작 방식은 여전히 제대로 규명되지 않았습니다. 본 연구는 다음과 같은 근본적인 질문을 다룹니다: 데이터가 제한적인 과학적 머신러킹 환경에서 복잡한 모델이 단순한 대안보다 더 우수한 성능을 낼 것으로 기대되어야 하는 조건은 무엇인가?

방법론
본 연구는 선형 모델과 앙상블 방법을 비교하기 위해 세 가지 별개의 사례 연구를 통해 엄격한 경험적 평가를 수행합니다.

1. 사례 연구 1 (주요 연구): 14개 단백질 타겟에 대한 100개 분자의 키나아제 억제제 결합 친화도($pIC_{50}$) 예측.

   • 특징(Features): 7개의 해석 가능한 물리화학적 기술자 (MW, LogP, TPSA, HBD, HBA, RotBonds, ArRings).
   • 데이터 분할: 100개의 분자 데이터셋을 훈련(40), 검증(20), 테스트(40) 세트로 분할했습니다. 결정적으로, 모델 훈련, 특징 선택, 하이퍼파라미터 튜닝 이전에 모델의 전향적 일반화 능력을 평가하기 위해 독립적인 외부 검증 세트(external validation set) 60개를 사전에 격리(lock)해 두었습니다.
   • 평가된 모델: 선형 회귀(LR), 리지 회귀(RR), 부분 최소 제곱법(PLS), 그리고 XGBoost.
   • 검증: 훈련 세트에 대한 5-겹 교차 검증(5-fold CV), 홀드아웃 테스트 평가, 그리고 외부 검증을 실시했습니다. 통계적 유의성은 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)을 통해 평가되었습니다($n=5$ 폴드로 인해 검정력이 낮음이 명시됨).
   • 누수(Leakage) 평가: 높은 $R^2$ 값이 데이터 아티팩트가 아닌 실제 물리화학적 신호(예: LogP)에 의해 유도되었는지 확인하기 위해 피어슨 상관계수 및 분산 팽창 계수(VIF) 분석을 수행했습니다.

2. 사례 연구 2 (교차 도메인): 수용성 예측 (ESOL 데이터셋).

   • 설정: 55개 분자 ($n/p = 9.2$) 및 6개 기술자. 독립적인 외부 세트 30개를 사용했습니다.
   • 목표: 제안된 프레임워크가 다른 물리적 성질에 대해서도 일관성을 유지하는지 테스트합니다.

3. 사례 연구 3 (교차 태스크): 옥탄올-물 분배 계수(LogP) 예측.

   • 설정: 사례 연구 2와 동일한 분자 컬렉션을 사용하되, 별개의 타겟(Crippen LogP)을 예측하여 교차 태스크 강건성을 검증합니다.

주요 기여
본 논문은 통계적 학습 이론(VC 차원, PAC 학습, MDL)에 기반한 **'3원칙 일반화 결정 프레임워크(Three-Principle Generalization Decision Framework)'**를 도입합니다. 이 프레임워크는 데이터가 제한적인 상황($N < 100$)에서 모델 선택을 가이드하기 위한 세 가지 운영 기준을 제안합니다:

1. 모델 용량(Model Capacity): 샘플 수와 특징 수의 비율($n/p$)을 고려해야 합니다. 본 연구는 $n/p < 10$을 선형 모델을 선호하도록 만드는 트리거 임계값으로 제안하며, 복잡한 앙상블 모델은 유효 VC 차원이 현저히 높다는 점에 주목합니다.
2. 추정 안정성(Estimation Stability): 교차 검증 점수의 높은 분산은 특정 훈련 파티션에 대한 민감도를 나타냅니다. 본 연구는 CV SD > 0.05를 단순한 모델을 선호하게 만드는 불안정성의 임계값으로 제안합니다.
3. 표본 외 전이성(Out-of-Sample Transferability): 테스트 세트 성능과 외부 검증 성능 사이의 차이($\Delta R^2$)는 일반화 손실을 측정합니다. 본 연구는 복잡한 모델이 효과적으로 전이되지 못하는 지점으로 $\Delta R^2 > 0.08$을 제안합니다.

또한, 본 연구는 높은 성능 지표가 데이터 누수나 오버피팅이 아닌 실제 신호(예: LogP 상관관계)를 반영함을 확인하기 위해 체계적인 누수 평가를 수행하였으며, SHAP 값을 활용하여 도메인에 적합한 물리화학적 동인을 식별했습니다.

결과

• 성능: 사례 연구 1에서 선형 회귀는 테스트 세트($R^2 = 0.9865$)와 외부 검증($R^2 = 0.9385$) 모두에서 가장 높은 성능을 보였으며, 최소한의 일반화 격차($\Delta R^2 = 0.0431$)를 기록했습니다. 반면, XGBoost는 거의 완벽한 훈련 $R^2$ ($0.9987$)를 달성했으나, 외부 성능($R^2 = 0.7912$)은 가장 낮았고 가장 큰 일반화 격차($\Delta R^2 = 0.1215$)를 보였습니다.
• 프레임워크 검증: 3원칙 프레임워크는 선형 회귀와 리지 회귀를 선호되는 모델로 정확히 식별했습니다. XGBoost는 세 가지 기준을 모두 충족(낮은 $n/p$, 높은 CV SD, 높은 $\Delta R^2$)하여, 가장 취약한 일반화 모델임을 올바르게 지적했습니다.
• 재현성: 사례 연구 2(용해도)와 사례 연구 3(LogP)에서도 동일한 패턴이 나타났습니다: 선형 모델은 안정적이거나 음의 일반화 격차(강건한 전이를 의미)를 보인 반면, XGBoost는 큰 양의 격차($\Delta R^2 \approx 0.34$ 및 $0.36$)를 보여 오버피팅을 확인했습니다.
• 특징 중요도: SHAP 분석 결과, 선형 모델은 통계적 아티팩트가 아닌 확립된 약리학적 원리(예: HBA, LogP, MW)와 일치하는 과학적으로 해석 가능한 동인을 식별했습니다.

의의 및 주장
본 논문은 데이터가 제한적인 과학적 환경에 직면한 실무자들에게 경험적으로 입증된 결정 프레임워크를 제공한다고 주장합니다. 본 연구의 주요 의의는 모델 선택의 패러다임을 "어떤 모델이 CV에서 가장 좋은 성능을 보이는가?"에서 **"가용한 데이터가 모델의 복잡성을 정당화할 수 있는가?"**로 전환하는 데 있습니다.

저자들은 다음과 같이 명시적으로 밝힙니다:

• 제안된 임계값($n/p < 10$, CV SD $> 0.05$, $\Delta R^2 > 0.08$)은 최초의 경험적 사례이자 가설 생성을 위한 참조점이며, 보편적인 상수가 아닙니다. 이를 폭넓게 채택하기 전에는 독립적인 데이터셋을 통한 검증이 필요합니다.
• 본 프레임워크는 데이터 규모가 크거나($N \ge 1,000$), 유효 샘플 크기가 다른 그래프 신경망 또는 전이 학습 시나리오에는 적용되지 않습니다.
• 연구 결과는 데이터가 부족한 과학적 ML에서 모델의 단순함이 여전히 중요한 기준선(baseline)으로 남아야 함을 시사합니다. 복잡한 모델은 안정적인 결정 경계를 학습하기에 충분한 데이터 없이 훈련 분포를 과도하게 구체화(over-specify)하는 경우가 많기 때문입니다.

결론적으로, 딥러닝이 대규모 벤치마크를 지배하고 있지만, 초기 단계의 신약 개발 및 재료 과학에서 흔히 발생하는 데이터 희소 환경에서는 선형 모델이 우수한 일반화 성능과 해석력을 제공합니다. 본 연구는 과학적 ML의 모델 복잡도의 경계 조건을 정의하기 위한 더 광범위한 연구 프로그램의 출발점 역할을 합니다.