Accumulated Aggregated D-Optimal Designs for Estimating Main Effects in Black-Box Models

1. 문제 정의 (Problem Statement)

설명 가능한 머신러닝 (Explainable ML) 의 핵심 과제는 복잡한 예측 모델의 개별 입력 변수가 예측 응답에 어떻게 영향을 미치는지 해석 가능한 효과 곡선을 추정하는 것입니다. 그러나 기존 방법들은 다음과 같은 두 가지 주요 한계를 가집니다.

• 분포 외 (OOD, Out-of-Distribution) 평가에 대한 민감성: 변수 간 상관관계가 있을 때, 기존 방법 (예: PD 플롯) 은 데이터 매니폴드 (Data Manifold) 에서 멀리 떨어진 가상의 평가 점을 생성하여 비현실적인 외삽 (Extrapolation) 을 수행하고, 이로 인해 편향된 결과를 초래합니다.
• 특성 상관관계 하에서의 불안정성: 변수 간 상관관계가 높은 환경에서 기존 방법 (ALE 포함) 은 효과 추정치가 불안정해지거나 신뢰할 수 없게 됩니다.
• 기존 방법의 한계:
  • PD (Partial Dependence): 상관관계가 있을 때 심각한 편향을 보입니다.
  • ALE (Accumulated Local Effects): 상관관계에 더 강건하지만, 이진 구간 (Bin) 내에서의 샘플링 방식이 OOD 시나리오에서 부정확성을 유발할 수 있으며, 고차원 환경에서 확장성 문제가 있을 수 있습니다.
  • DALE: 미분 가능한 예측기가 필요하여 K-NN 같은 비모수 모델이나 블랙박스 모델에는 적용이 제한적입니다.

2. 제안 방법: A2D2E (Methodology)

저자들은 주효과 추정을 실험 설계 (Experimental Design) 문제로 재해석하여 A2D2E를 제안했습니다.

2.1 통합적 관점: 주효과 추정을 설계 문제로

기존 방법 (PD, ALE) 은 본질적으로 국소 기울기 (Local Slope) 를 추정하는 과정입니다.

• 기존 접근: 각 관측치 $x_i$ 주변에서 2 개의 점 (구간의 양 끝점) 만을 사용하여 기울기를 계산합니다. 이는 분산 감소를 위한 중복성 (Redundancy) 이 전혀 없는 비효율적인 설계입니다.
• A2D2E 의 접근: 국소 선형 모델 (Local Linear Model) 하에서 기울기 추정의 분산을 최소화하기 위해 **D-최적 설계 (D-Optimal Design)**를 적용합니다.

2.2 D-최적 국소 설계 (D-Optimal Local Design)

각 관측치 $x_i$ 주변에서 기울기 $\beta_{k,i}$를 추정하기 위해, A2D2E 는 $x_i$를 중심으로 한 초입방체 (Hypercube) 의 2p 개의 꼭짓점을 평가 점으로 선택합니다.

• 설계 점: $S_i = \{ x_i + \frac{\delta}{2}s \mid s \in \{-1, +1\}^p \}$
• 이점:
  • 분산 최소화: D-최적성 기준에 따라 기울기 추정의 신뢰 타원체 (Confidence Ellipsoid) 부피를 최소화합니다.
  • 대칭성: 초입방체 꼭짓점의 대칭성으로 인해 2 차 테일러 전개 (Taylor Expansion) 의 2 차 항이 상쇄되어, 기울기 추정이 2 차 정확도 (Second-order accuracy) 를 가집니다.
  • OOD 민감성 감소: ALE 와 달리, 평가 점의 최대 이동 거리가 $\delta\sqrt{p}/2$로 제한되므로, 적절한 $\delta$ 설정 시 OOD 평가에 덜 민감합니다.

2.3 추정 과정 (Algorithm)

1. 구분 (Binning): 목표 변수 $X_d$의 범위를 $K$개의 구간 (Bin) 으로 나눕니다.
2. 국소 기울기 추정: 각 Bin 내의 관측치 $i$에 대해, 위 D-최적 설계 점들에서 모델 $\hat{f}$를 평가하고 가중 합을 통해 국소 기울기 $\hat{\beta}_{k,i}$를 계산합니다.
   $$\hat{\beta}_{k,i} = \frac{1}{2^{p-2}\delta^2} \sum_{s \in \{-1,+1\}^p} \frac{\delta}{2}s_d \cdot \hat{f}\left(x_i + \frac{\delta}{2}s\right)$$
3. 집계 (Aggregation): Bin 내 모든 관측치의 기울기를 평균냅니다.
4. 누적 (Accumulation): Bin 폭을 곱하여 구간별 증가분을 구하고, 이를 누적하여 전체 주효과 곡선을 복원합니다.

3. 주요 기여 및 이론적 결과 (Key Contributions & Theoretical Results)

• 통계적 일관성 (Consistency):
  • Theorem 1: 구간 수 $K \to \infty$일 때, A2D2E 의 모집단 목표는 ALE 의 주효과와 수렴함을 증명했습니다.
  • Theorem 2 & Corollary 1: 실제 환경 (유한한 데이터 $n$과 대리 모델 $\hat{f}$ 사용) 에서도 A2D2E 가 일관성을 가지며, ALE 의 모집단 목표에 수렴함을 증명했습니다. 이는 기존 방법들이 제공하지 못하는 이론적 보장입니다.
• 계산 복잡도:
  • 단일 변수 추정은 $O(2^p K n C)$로 ALE ($O(2KnC)$) 보다 비용이 높을 수 있으나, **모든$p$개의 변수를 동시에 추정할 때** 초입방체 꼭짓점 평가를 한 번만 수행하고 모든 차원에 재사용 (Vertex Caching) 할 수 있어, 전체 비용이 $O(2^p K n C)$로 고정됩니다. 이는 $p$가 작거나 중간 크기일 때 PD/ALE 대비 효율적일 수 있습니다.
• 모델 무관성 (Model-Agnostic): 미분 가능성이 필요 없으므로 K-NN, 랜덤 포레스트 등 모든 블랙박스 모델에 적용 가능합니다.

4. 실험 결과 (Empirical Results)

다양한 시뮬레이션 (K-NN, 가우시안 프로세스 등) 및 실제 데이터 (Auto, Iris) 를 통해 평가되었습니다.

• 성능 비교 (ORMSE):
  • 독립 변수 환경: PD 가 가장 낮은 오차를 보였으나, A2D2E 도 경쟁력 있는 성능을 보였습니다.
  • 상관관계 환경 (Low/High Dependence): A2D2E 가 ALE 및 DALE 보다 압도적으로 우수한 성능을 보였습니다. 특히 변수 간 상관관계가 높을수록 A2D2E 의 우위가 두드러졌습니다.
  • OOD 민감성: 가우시안 프로세스 (GP) 의 길이 척도 (Length Scale) 가 작아 국소적 특성이 강할 때, ALE 와 DALE 는 성능이 급격히 저하되는 반면 A2D2E 는 안정적으로 낮은 오차를 유지했습니다.
• 실제 데이터 적용:
  • Auto 데이터셋 (회귀): 연비 (MPG) 에 대한 변수들의 효과를 추정할 때, PD 는 상관관계가 높은 변수 (마력, 가속도) 에서 비일관된 결과를 보인 반면, ALE 와 A2D2E 는 더 일관된 패턴을 보여주었습니다.
  • Iris 데이터셋 (분류): 클래스 확률에 대한 주효과를 시각화하여 모델의 해석 가능성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: 주효과 추정은 단순히 평가 위치를 선택하는 문제가 아니라, 최적의 설계 점 (Design Points) 을 선택하여 기울기 추정의 분산을 최소화하는 문제임을 규명했습니다.
• 실용적 가치: A2D2E 는 상관관계가 높은 데이터와 OOD 에 민감한 모델 환경에서도 안정적이고 신뢰할 수 있는 해석 도구를 제공합니다.
• 한계 및 향후 과제:
  • 고차원 ($p$가 매우 큰 경우) 에서 $2^p$ 평가 점으로 인한 계산 비용 증가가 발생할 수 있습니다.
  • 향후 연구에서는 비선형 국소 모델이나 이분산성 (Heteroscedasticity) 을 고려한 일반화된 최적 설계 기준 개발이 필요하다고 제안합니다.

요약하자면, A2D2E 는 실험 설계 이론을 머신러닝 해석 가능성에 접목하여, 기존 방법들의 취약점인 상관관계와 OOD 민감성을 해결하고 이론적 일관성을 갖춘 강력한 주효과 추정 방법론입니다.