기술 요약: 민감도 비율을 통한 사후적 인과적 특징 식별 (Post-Hoc Causal Feature Identification via Sensitivity Ratios)

문제 정의

본 논문은 머신러닝 해석 가능성(interpretability)의 핵심적인 공백을 다룹로: 학습 과정, 모델 클래스, 또는 기저의 인과 그래프에 대한 접근 권한 없이, 사전 학습된(pre-trained) 모델이 어떤 특징(feature)에 인과적으로 의존하는지 아니면 가짜(spurious)로 의존하는지를 판별하는 문제입니다.

IRM(Invariant Risk Minimization)이나 ICP(Invariant Causal Prediction)와 같은 기존의 인과적 특징 식별 방법들은 학습 단계에서의 개입(예: 손실 함수 수정 또는 전수 부분 집합 탐색)을 요구합니다. 결과적으로, 이러한 방법들은 이미 배포된 모델을 진단할 수 없습니다. 저자들은 구조적 변화(structured-shift) 레짐에 초점을 맞춥니다. 이는 다기관 임상 데이터나 다중 배치 유전체 데이터에서 흔히 발생하는 시나리오로, 환경 간의 차이가 주로 가짜 특징의 평균(예: 장비 오프셋, 배치 효과)에서 발생하며, 인과적 메커니즘과 인과적 특징의 분포는 안정적으로 유지되는 상황입니다. 이 설정에서, 가짜 특징에 의존하는 모델은 환경 의존적인 민감도를 보이는 반면, 인과적 특징에 의존하는 모델은 일정한 민감도를 보입니다.

방법론: 정규화된 민감도 비율 (Normalised Sensitivity Ratio, NSR)

저자들은 **정규화된 민감도 비율(NSR)**이라는 사후적(post-hoc), 모델 불가지론적(model-agnostic) 진단 지표를 제안합니다.

핵심 개념

NSR은 서로 다른 환경에서 특정 특징에 대한 모델의 민감도가 얼마나 안정적인지를 정량화합니다.

1. 인과적 민감도 비율 (Causal Sensitivity Ratio, CSR): 특징 $j$와 환경 $e$, 그리고 참조 환경 $e_{ref}$에 대하여, CSR은 다른 특징들은 고정한 채 특징 $j$를 참조 환경의 주변 분포(marginal distribution)로부터 추출된 값으로 대체했을 때 발생하는 모델 출력의 평균 변화량을 측정합니다.
2. 정규화: NSR은 여러 환경에 걸친 CSR 값들의 변동 계수 제곱($CV^2$)을 평균 CSR으로 나눈 값으로 정의됩니다.
   $$\text{NSR}_j(e_{ref}) := \frac{\text{Var}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})]}{(\mathbb{E}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})])^2}$$

주요 속성

• 가중치 불변성 (Weight Invariance): 정규화 과정은 학습된 모델 가중치($\hat{w}_j^2$)를 상쇄합니다. 이를 통해 가중치 기반 분석에서 놓칠 수 있는 작은 계수를 가진 가짜 특징이라 할지라도, 환경 변화에 따라 민감도가 변한다면 탐지할 수 있습니다.
• 진단 신호: 구조적 변화 레짐 하에서:
  • 인과적 특징: 환경 전반에 걸쳐 일정한 민감도를 유도함 $\implies \text{NSR}_j = 0$.
  • 가짜 특징: 환경 변화를 추적하는 민감도를 유도함 $\implies \text{NSR}_j > 0$.
• 구현: NSR은 학습된 블랙박스 모델, 환경 라벨, 그리고 홀드아웃 데이터만을 필요로 합니다. SHAP 값이나 순열 중요도(permutation importance)를 드롭인 에스티메이터(drop-in estimator)로 사용하여 민감도 신호를 계산할 수 있습니다.

주요 기여

1. 정확한 식별 정리 (Exact Identification Theorem)

구조적 변화 레짐 내의 선형 구조적 인과 모델(Linear SCM) 하에서, $K \ge 3$개의 비퇴화(non-degenerate) 환경이 존재할 때 NSR은 **정확한 식별(exact identification)**을 달성합니다.

• 정리 1: 0이 아닌 가중치를 가진 임의의 선형 예측기에 대하여, $\text{NSR}_j = 0 \iff j$는 인과적 특징이다.
• 이 증명은 식별 신호가 모델 가중치가 아닌 환경 변화의 기하학적 구조로부터 발생함을 보여줍니다. 이 이론적 결과는 비선형 모델에서도 경험적으로 확장 적용됩니다.

2. 실패 모드의 완전한 특성화

본 논문은 NSR이 실패하는 구체적인 정량적 기준을 제공하여 사용자가 레짐의 유효성을 평가할 수 있도록 합니다.

• 약한 변화 (Weak Shifts): 환경 내 노이즈에 비해 변화의 크기 $\epsilon$이 작을 경우, NSR은 $O(\epsilon^4)$로 붕괴합니다.
• 퇴화된 기하학 (Degenerate Geometry): 환경의 수가 $K < 3$이거나, 참조 환경으로부터의 절대적 변화가 대칭적(예: $+1, -1, 0$의 변화)인 경우 NSR은 동일하게 0이 됩니다.
• 대리 변수 감쇠 (Proxy Attenuation): 인과적 신호와 가짜 신호가 혼합된 특징($X_j = \alpha X_C + (1-\alpha)X_S$)의 경우, NSR은 $O((1-\alpha)^4)$로 저하됩니다.

3. 유한 표본 수렴 속도 (Finite-Sample Convergence Rates)

논문은 인과적 특징과 가짜 특징 사이의 속도 차이를 확립합니다.

• 귀무 가설(인과적 특징, $\text{NSR}=0$) 하에서, 경험적 추정치는 $O_p(n^{-1})$로 수렴합니다.
• 대립 가설(가짜 특징, $\text{NSR}>0$) 하에서, 추정치는 $O_p(n^{-1/2})$로 수렴합니다.
• 이 격차 덕분에 분포 가정 없이 **순열 기반 임계값 설정(permutation-based thresholding)**이 가능합니다. 즉, 귀무 분포가 대립 가설의 분리보다 더 빠르게 0으로 수렴하기 때문입니다.

4. IRM 및 ICP와의 비교 불가능성

저자들은 NSR, IRM, ICP가 변화 스케줄(shift schedules) 측면에서 서로 비교 불가능한 조건에서 작동함을 증명합니다.

• IRM과 ICP는 가짜 특징을 탐지하지만 NSR은 탐지하지 못하는 변화 구성(예: 대칭적 변화)이 존재합니다.
• 반대로, NSR은 가짜 특징을 탐지하지만 IRM은 탐지하지 못하는 구성(예: 제곱 분산이 0이 되는 비대칭적 변화)이 존재합니다.
• 이 방법들은 상호 보완적이며, 선택의 기준은 가용 가능한 환경 변화의 기하학적 구조에 달려 있습니다.

실험 결과

합성 데이터 검증

• 레짐 검증: 실험을 통해 이론적 상전이(phase transition)를 확인했습니다. $K \ge 5$이고 변화 크기 $\epsilon \ge 1$일 때, NSR은 30개의 시드에 대해 분산 0과 함께 AUROC 1.000을 달s성했습니다.
• 실패 모드: 실험은 실패 조건의 날카로움을 입증했습니다. 대칭적 변화(퇴화된 기하학)는 우연 수준의 성능(AUROC $\approx$ 0.5)을 보였으나, 대칭성을 깨뜨리면 완벽한 탐지 능력이 회복되었습니다.
• 수렴: 경험적 수렴 속도는 이론적 예측인 $O(n^{-1})$ 및 $O(n^{-1/2})$와 2~8% 오차 범위 내에서 일치했습니다.

모델 불가지론성 (Model Agnosticism)

NSR은 다섯 가지 모델 패밀리(OLS, Ridge, Random Forest, XGBoost, MLP)에 대해 테스트되었습니다. 특징 순위는 모델 패밀리 간에 일관되게 나타났으며(Kendall $\tau \ge 0.529$), 이는 신호가 특정 모델 클래스가 아닌 환경 구조에 기반하고 있음을 확인시켜 줍니다.

실제 응용 사례

• 자전거 공유 데이터: 월별 5분위 파티션을 사용하여, NSR은 LASSO(0.58)보다 뛰어난 성능으로 8개 중 6개의 인과적 특징을 복구했습니다 (Precision@7 = 0.75). 모델을 수정하지 않고도 수행되었습니다.
• 와인 품질 데이터: 배치 수준의 기술적 변동이 있는 환경에서 인과적 동인을 식별했습니다.
• 실무적 통찰: 실험은 NSR이 환경 내 일반화(overfit 방지)를 수행하는 기초 모델을 필요로 함을 강조합니다. 환경 특이적 노이즈가 안정성 신호를 가리는 것을 방지하기 위해 적응형 규제(Adaptive regularization, $R^2 \approx 0.75$ 목표)가 필요했습니다.

의의 및 범위

본 논문은 NSR이 **이론적으로 근거가 탄탄한 사후적 감사 도구(post-hoc audit tool)**를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 운영적 유용성: 학습 데이터나 재학습 없이도 기존 모델의 가짜 의존성을 진단할 수 있게 해줍니다.
2. 명시적 경계: 많은 "블랙박스" 해석 도구와 달리, NSR은 적용 전 적용 가능한 레짐(예: 변화 크기 및 환경 수 검증)을 정량적으로 확인할 수 있는 완전한 지도를 제공합니다.
3. 상호 보완성: 비대칭적 변화 기하학을 타겟팅하며, 이미 학습된 모델을 대상으로 하는 독특한 틈새 영역을 채워줍니다.

저자들이 인정한 한계점:

• 주변 인과적 안정성 (Marginal Causal Stability): NSR은 인과적 특징의 분포($P(X_C)$)가 환경 간에 안정적이라고 가정합니다. 만약 인과적 공변량이 변화한다면(예: 인구 통계적 변화), NSR은 이를 가짜 특징으로 오분류할 수 있습니다.
• 변화 구조: 현재의 공식은 가짜 특징들에 대해 균일한 스칼라 변화를 가정합니다. 특징별 변화나 공분산 변화는 서브스페이스 확장 없이는 직접적으로 포착되지 않습니다.
• 레짐 의존성: 이 방법은 구조적 변화 레짐에 대한 엄격한 진단 도구입니다. 임의의 데이터 분포를 위한 범용 인과 발견 도구가 아닙니다.