기술 요약: UNIVERSE – 관측되지 않은 혼란 변수와 라쇼몽 효과를 고려한 변수 중요도

문제 정의

변수 중요도(Variable Importance, VI) 방법론은 가설 생성, 특징 선택, 과학적 검증을 위한 표준적인 도구이다. 그러나 표준적인 VI 파이프라인은 다음과 같은 두 가지 결정적인 한계로 인해 오해의 소지가 있는 통찰을 제공할 수 있다:

1. 라쇼몽 효과(The Rashomon Effect): 서로 다른 여러 모델이 데이터셋을 동일하게 잘 설명할 수 있다. 한 근사 최적 모델에서 중요하다고 간주된 특징이 다른 모델에서는 무관할 수 있다. 최근 연구들은 "라쇼몽 집합"(모든 근사 최적 모델의 집합)을 분석함으로써 이 문제를 다루었으나, 이러한 방법들은 일반적으로 모든 관련 변수가 관측되었다고 가정한다.
2. 관측되지 않은 혼란 변수(Unobserved Confounding): 관측 데이터에서는 필수적인 변수가 누락되는 경우가 많다. 관측되지 않은 혼란 변수가 존재할 때, 관측된 데이터에서 추정된 특징의 중요도는 실제 조건부 평균 함수(conditional mean function)에 대한 진정한 중요도를 반영하지 못할 수 있다.

기존의 관측되지 않은 혼란 변수 접근 방식(민감도 분석)은 현대의 비선형 VI 지표(예: SHAP 또는 순열 중요도)에는 적용되지 않는 제한적인 가정(예: 선형성)에 의존하는 경우가 많다. 반대로, 기존의 라쇼몽 집합 방법론은 누락된 변수를 고려하지 않는다. 본 논문은 라쇼몽 효과와 관측되지 않은 혼란 변수가 모두 존재하는 상황에서 강건한 변수 중요도 추론을 수행하는 격차를 해결한다.

방법론: UNIVERSE 프레임워크

저자들은 관측되지 않은 변수가 존재할 때도 진정한 변수 중요도의 경계(bounds)를 도출하는 프레임워크인 UNIVERSE(UNobservables and Inference for Variable importancE using Rashomon SEts)를 소개한다. 이 접근 방식은 세 가지 불확실성 원천을 통합한다: 라쇼몽 효과, 관측되지 않은 변수, 그리고 유한 표본 오차(finite sample error).

1. 이론적 토대

프레임워크는 관측된 공변량 $X$와 관측되지 않은 공변량 $U$ 모두에 의존하는 진정한 조건부 평균 함수 $g^*(x, u)$를 정의한다. 목표는 이 진정한 함수에 대한 변수 중요도 $\Phi_j(g^*, P_U)$의 경계를 구하는 것이다.

방법론은 세 가지 논리적 단계로 진행된다:

• 단계 A: 라쇼몽 집합을 통한 진정한 하위 모델의 경계 설정.
  저자들은 특정 관측되지 않은 변수 $U$의 값에 대해 최적화된 모델인 각 $f_u$를 포함하는 조건부 하위 모델 집합 $S^* = \{f_u \mid u \in \mathcal{U}\}$를 정의한다. 저자들은 $S^*$가 관측된 데이터에 대한 이들 하위 모델의 기대 손실을 경계 짓는 $\epsilon_{unobs}$의 함수인 모집단 라쇼몽 집합 $R(\epsilon_{unobs})$의 부분 집합임을 증명한다.
• 단계 B: 유한 표본 교정(Finite-Sample Correction).
  모집단 라쇼몽 집합은 관측 불가능하므로, 방법론은 경험적 라쇼몽 집합 $\hat{R}^{(n)}$을 구성한다. 정리 1(Theorem 1)은 조정된 경험적 라쇼몽 집합(유한 표본 크기와 규제 편향에 대해 교정된 임계값 포함)이 높은 확률로 모집단 라쇼몽 집합을 포함한다는 확률적 보장을 제공한다. 이는 $S^*$에 속하는 모든 하위 모델이 포착되도록 보장한다.
• 단계 C: 분포 변화(Distribution Shift, VI-Drift) 고려.
  변수 중요도 지표는 입력 분포에 의존하는 경우가 많다. 관측되지 않은 변수에 대해 조건화된 분포 $P_{XY|U=u}$에서 평가된 하위 모델 $f_u$의 특징 중요도는 주변 관측 분포 $P_{XY}$에서의 중요도와 다를 수 있다. 저자들은 관측되지 않은 변수에 의해 조건화됨으로써 발생하는 중요도의 최대 변화를 경계 짓기 위해 $\tau_j$ (VI-drift) 매개변수를 도입한다.

2. 최종 경계(The Final Bound)

이 구성 요소들을 결합하여, 정리 3은 진정한 변수 중요도 $\Phi_j(g^*, P_U)$가 높은 확률($1 - (\delta + \gamma)$)로 다음 구간 내에 존재함을 확립한다:
$$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$$
여기서:

• $\hat{R}$은 조정된 경험적 라쇼몽 집합이다.
• $\alpha$는 VI 지표 자체를 추정하는 데 발생하는 유한 표본 불확실성을 고려한다.
• $\tau_j$는 관측되지 않은 혼란 변수로 인한 분포 변화를 고려한다.
• 이 경계는 감산적 모델 의존성(subtractive model reliance) 또는 기타 호환 가능한 지표를 사용하여 도출되며, 라쇼몽 집합을 추정할 수 있는 모든 모델 클래스에 대해 유효하다.

주요 기여

1. 최초의 통합 프레임워크: UNIVERSE는 변수 중요도 추정 시 라쇼몽 효과, 관측되지 않은 혼란 변수, 유한 표본 불확실성을 동시에 다루는 최초의 방법론이다.
2. 이론적 보장: 논문은 높은 확률로 계산된 구간 내에 진정한 변수 중요도가 포함됨을 보장하는 엄격한 유한 표본 경계(정리 1~3)를 제공하며, 이는 관측되지 않은 혼란 변수가 있는 경우에도 성립한다.
3. 일반성: 선형 추정치에 국한된 민감도 분석 프레임워크와 달리, UNIVERSE는 모델 불가지론적(model-agnostic) VI 지표(예: SHAP, 순열 중요도, 모델 의존성)의 광범위한 클래스와 호환된다.
4. 실제 구현: 저자들은 경계를 좁히기 위해 라쇼몽 집합의 크기를 추정하는 방법을 제공하며, 신용 위험 사례 연구를 통해 프레임워크의 유용성을 입증한다.

실험 결과

저자들은 네 가지 실제 출처(COMPAS, Dropout, FICO, Wine Quality)에서 유도된 "준합성(semi-synthetic)" 데이터셋을 사용하여 UNIVERSE를 평가했다. 이 설정에서 "관측되지 않은" 변수는 특정 하위 모델을 훈련하는 데 사용된 데이터의 분할(partition)이었으며, 이를 통해 저자들은 실제 정답(ground truth)을 알 수 있었다.

• 커버리지 검증: 다양한 표본 크기와 데이터셋에 걸쳐, 프레임워크는 세 가지 조정(모델 불확실성, VI 추정 불확실성, VI-drift)을 모두 적용했을 때만 일관되게 목표 커버리지 비율(예: $\geq 80\%$ 또는 $\geq 90\%$)을 달연했다.
• 조정의 필요성: 실험 결과, 유한 표본 교정이나 VI-drift 조정을 생략하면 심각한 과소 커버리지(under-coverage)가 발생하여 진정한 중요도가 계산된 경계 밖으로 벗어남을 보여주었다.
• 사례 연구 (FICO 신용 위험): "외부 위험 평가(External Risk Estimate, ERE)" 특징에 대한 분석에서, UNIVERSE는 ERE의 겉보기 중요도가 관측되지 않은 혼란 변수에 대해 강건하지 않음을 보여주었다. 경계값은 ERE가 특정 수준의 신호를 포착할 수 있다면 다른, 잠재적으로 더 해석 가능한 특징들이 ERE를 대체할 수 있음을 시사했으며, 이는 ERE가 필수적이라는 결론에 의문을 제기했다.

의의 및 주장

본 논문은 UNIVERSE가 데이터가 불완전한 도전적이고 현실적인 환경에서 변수 중요도를 사용하는 데 있어 상당한 진전임을 주장한다. 수학적으로 보장된 경계를 제공함으로써, 이 프레임워크는 실무자가 다음과 같은 작업을 수행할 수 있게 한다:

• 특징이 모든 가능한 모델과 관측되지 않은 시나리오 전반에서 강건하게 중요한 것인지, 아니면 누락된 변수의 산물인지 구분한다.
• 단일 모델 분석이나 라쇼몽 효과를 무시한 분석으로부터 도출된 오해의 소지가 있는 결론을 피한다.
• 관측되지 않은 혼란 변수로 인한 "비용"을 중요도 구간의 너비 측면에서 정량화한다.

저자들은 라쇼몽 집합 전체를 찾는 것이 계산적으로 집약적일 수 있으나, 프레임워크는 일반적이며 집합을 근사할 수 있는 모든 모델 클래스(예: 결정 트리, 랜덤 포리스트)에 적용 가능하다는 점을 언급했다. 또한, 연속형 결과(continuous outcomes) 및 신경망과 같은 더 복잡한 모델 클래스로 이 방법론을 확장하기 위한 향후 연구가 필요함을 인정했다.