Aggregate Models, Not Explanations: Improving Feature Importance Estimation

제목: 설명이 아닌 모델의 집계: 특징 중요도 추정 개선

문제 제기
특징 중요도 (feature importance) 방법은 예측 엔진을 과학적 발견을 위한 도구로 전환시키는 데 increasingly 활용되고 있으며, 특히 고위험 생물의학 응용 분야에서 그렇다. 그러나 표현력이 풍부한 모델 (예: 심층 신경망, 랜덤 포레스트) 은 데이터 샘플링 변동과 알고리즘적 확률성 (예: 무작위 초기화) 으로 인해 종종 불안정성을 보인다. '라시모노 효과 (Rashomon effect)'라고 불리는 이 현상은 유사한 예측 성능을 보이는 모델들이 동일한 데이터에 대해 상충되는 설명을 제공하게 만든다.

이러한 불안정성을 앙상블링을 통해 해결할 때 중요한 실용적 질문이 제기된다: 개별 서브모델에서 도출된 중요도 점수를 집계할 것인가 ('서브모델' 전략), 아니면 개별 모델의 예측을 집계하여 단일 앙상블 예측기를 만든 후 이 집계체에서 중요도를 도출할 것인가 ('앙상블' 전략)? 일반적인 중요도 측정 지표 (예: 위험 차이) 의 비선형성으로 인해 이 두 접근법은 수학적으로 동등하지 않다. 기존 문헌은 결과적인 추정 오차에 대한 공식적 분석 없이 개별 설명을 집계하는 데 주로 초점을 맞춰 왔으며, 이로 인해 최적의 전략이 불분명하게 남아 있다.

방법론 및 이론적 프레임워크
저자들은 현대의 과매개변수 모델이 종종 충족하지 못하는 극도로 빠른 수렴 속도 (예: $o_P(n^{-1/4})$) 를 요구했던 이전의 가정을 넘어설 수 있도록, 특징 중요도 추정의 오차를 분해하는 이론적 분석을 개발했다.

1. 오차 분해: Bottou & Bousquet(2007) 의 프레임워크에 기반하여, 저자들은 모델의 초과 위험 (excess risk, $E$) 을 근사 오차 ($E_{app}$), 추정 오차 ($E_{est}$), 최적화 오차 ($E_{opt}$) 로 분해했다. 그들은 현대의 표현력이 풍부한 모델의 경우, 초과 위험이 특징 중요도 추정에서 오차의 주된 원인이라고 주장한다.
2. 위험 차이 측정: 분석은 위험 차이를 통해 중요도를 추정하는 방법에 초점을 맞춘다:
   • LOCO(Leave-One-Covariate-Out): 특정 특징을 제외한 모델과 전체 모델의 위험을 비교한다.
   • SAGE(Shapley Additive Global importancE): 모든 가능한 특징 부분집합에 걸쳐 위험 차이를 집계한다.
   • CFI(Conditional Feature Importance) 및 PFI(Permutation Feature Importance): 동일한 모델을 원본 입력과 교란된 입력에 대해 평가하는 방법들이다.
3. 이론적 비교:
   • LOCO 와 SAGE의 경우, 추정 오차는 모델의 초과 위험에 대해 이차적으로 의존한다. 저자들은 볼록한 손실 함수에 대한 젠센 부등식 (Jensen's inequality) 을 통해 모델 수준의 앙상블링이 이 초과 위험을 감소시켜 주된 오차 항 (편향) 을 줄인다고 증명했다. 반면, 개별 중요도 점수를 집계하는 것 (서브모델) 은 확률적 잔여물 (분산) 만 줄일 뿐 편향 (초과 위험) 은 변하지 않게 둔다.
   • CFI 와 PFI의 경우, 동일한 모델이 위험 차이의 두 항에 모두 적용되므로 이차적 초과 위험 항들이 상쇄된다. 남은 오차는 모델 추정 오차에 선형적으로 의존한다. 따라서 모델 수준의 앙상블링의 이론적 이점은 LOCO 와 SAGE 에 비해 이러한 방법들에서는 덜 두드러진다.

주요 기여

1. 이론적 분석: 이 논문은 현대 ML 모델에 적합한 완화된 가정 하에서 특징 중요도 추정을 위한 엄격한 오차 분해를 제공한다. 이는 위험 차이 방법에서 추정 오차의 주된 동인이 모델의 초과 위험임을 공식적으로 규명한다.
2. 전략 비교: 저자들은 LOCO 와 SAGE 와 같은 방법의 경우, 개별 설명을 집계하는 것 (서브모델) 보다 예측 수준에서 모델을 집계하는 것 (모델 수준 앙상블링) 이 이론적으로 우월함을 보여준다. 특히 수렴이 느린 편향이 지배적인 영역에서 그렇다.
3. 실증적 검증: 이러한 발견은 고전적인 합성 벤치마크 (Friedman 1, G-function, Ishigami) 와 UK Biobank 의 대규모 실세계 프로테오믹 연구 전반에 걸쳐 검증되었다.

결과

• 합성 벤치마크: Multi-Layer Perceptrons(MLP) 와 Random Forests(RF) 를 사용한 Friedman 1, G-function, Ishigami 데이터셋 실험 결과, 서브모델 전략에 비해 모델 수준 앙상블링이 중요도 추정에서 일관되게 더 낮은 평균 제곱 오차 (MSE) 를 보이고 특징 선택에서 더 높은 ROC AUC 를 나타냈다.
• 편향 - 분산 분해: 분석 결과, 서브모델 전략은 분산을 효과적으로 줄이지만 개별 모델의 초과 위험으로 인해 도입된 상당한 편향을 완화하지는 못함이 드러났다. 모델 수준 앙상블링은 이 편향을 직접적으로 해결한다.
• 방법별 이득: 두 전략 간의 성능 격차는 LOCO 와 SAGE 에서 가장 두드러졌다. CFI 와 PFI 의 경우 차이는 미미했는데, 이는 이러한 방법들에서 이차적 위험 항들이 상쇄된다는 이론적 예측과 일치한다.
• UK Biobank 적용: 2,922 개의 혈장 단백질을 기반으로 체질량 지수 (BMI) 를 예측하는 연구에서, 모델 수준 앙상블링은 서브모델 접근법보다 더 높은 정밀도와 더 낮은 분산으로 생물학적으로 관련성 있는 프로테오믹 서명 (예: FABP4, LEP, ADM, IGFBP-1, IGFBP-2) 을 식별했다. 서브모델 접근법은 주요 단백질에 대한 중요도 추정이 0 과 겹치는 모습을 보인 반면, 앙상블 전략은 명확하고 유의미한 순위 매기기를 제공했다.
• 안정성: 앙상블 전략은 스피어만 순위 상관관계로 측정된 교차 검증 폴드 전반에 걸쳐 더 안정적인 중요도 순위를 산출했다.

의의 및 주장
이 논문은 집계 전략의 선택이 단순한 휴리스틱이 아니라 모델의 초과 위험에 의해 주도된다고 주장한다. 설명을 집계하는 데서 모델을 집계하는 것으로 초점을 옮김으로써 연구자들은 표현력이 풍부한 아키텍처에 대한 특징 중요도 추정의 신뢰성을 크게 향상시킬 수 있다. 이는 불안정한 설명이 치료 표적이나 위험 요인 식별을 훼손할 수 있는 생물의학과 같은 과학적 발견 분야에서는 특히 중요하다.

저자들은 그들의 발견이 LOCO 와 SAGE 와 같이 잘 정의된 이론적 지수를 추정하는 방법들에 국한되며, 모집단 수준의 추정치가 없는 휴리스틱 방법에는 반드시 적용되지 않는다고 강조한다. 그들은 위험 차이 측정 지표의 경우, 라시모노 효과를 완화하고 모델-중립적 특징 중요도 추정의 견고성을 향상시키기 위해 '앙상블' 전략이 선호되는 접근법이라고 결론지었다.