EnsembleSHAP: Faithful and Certifiably Robust Attribution for Random Subspace Method

1. 문제 정의 (Problem)

**랜덤 서브스페이스 방법 (Random Subspace Method)**은 특징의 무작위 부분 집합에 대한 예측을 결합하여 최종 예측을 도출하는 앙상블 학습 기법입니다. 이 방법은 적대적 공격 (Adversarial Attacks) 및 백도어 공격 (Backdoor Attacks) 에 대한 인증된 방어 (Certified Defense) 와 대형 언어 모델 (LLM) 의 재장난 (Jailbreaking) 공격에 대한 견고한 정렬을 제공하는 등 보안 분야에서 널리 사용되고 있습니다.

그러나 이러한 랜덤 서브스페이스 모델의 **해석 (Explanation)**에는 다음과 같은 심각한 한계가 존재합니다:

1. 계산 비용의 비효율성: 기존 최첨단 특징 기여도 (Feature Attribution) 방법인 Shapley Value 나 LIME 을 적용할 경우, 입력 샘플을 무작위로 교란 (Perturbation) 하는 과정 (M 번) 과 각 교란된 입력에 대해 앙상블 모델이 예측하기 위해 다시 N 개의 서브샘플을 생성해야 하므로, 총 $M \times N$번의 모델 쿼리가 필요합니다. 이는 실제 응용 ($N, M > 1,000$) 에서 계산 비용이 prohibitive(허용 불가능할 정도로 큼) 하게 만듭니다.
2. 보안 보장 부재: 최근 제안된 **'설명 보존 공격 (Explanation-preserving Attack)'**에 대한 보안 보장이 없습니다. 이 공격은 입력의 특정 특징을 변조하여 모델의 분류를 실패하게 만들면서도, 기존에 생성된 설명 (어떤 특징이 중요한지) 은 그대로 유지되도록 조작하는 것입니다. 기존 방법론들은 이러한 공격을 탐지하거나 방어할 수 있는 이론적 근거가 부족합니다.

2. 제안 방법: EnsembleSHAP (Methodology)

저자들은 랜덤 서브스페이스 방법의 계산 부산물 (byproducts) 을 재사용하여, 본질적으로 충실 (Faithful) 하고 보안이 보장된 (Secure) 특징 기여도 방법인 EnsembleSHAP을 제안합니다.

• 핵심 아이디어:

  • 앙상블 모델의 예측은 이미 생성된 N 개의 특징 그룹 (Feature Groups) 에 대한 베이스 모델의 예측을 기반으로 합니다. EnsembleSHAP 은 이 이미 계산된 예측값을 직접 활용하여 각 특징의 중요도 점수를 산출합니다.
  • 중요도 점수 정의: $i$번째 특징 $x_i$의 중요도 점수 $\alpha_i$는 다음과 같이 정의됩니다.
    $$\alpha_i(x, h, k) = \frac{1}{k} \mathbb{E}_{z \sim U(x,k)} [I(x_i \in z) \cdot I(h(z) = \hat{y})]$$
    이는 무작위로 샘플링된 특징 그룹 $z$가 $x_i$를 포함하고, 해당 그룹이 예측 레이블 $\hat{y}$를 출력할 확률의 기대값을 의미합니다.
  • 정규화 (Normalization): 샘플링된 그룹 수 ($N$) 가 작을 때 발생할 수 있는 특징 출현 빈도의 불균형을 보정하기 위해, 특징이 포함된 그룹 수로 나누어 정규화하는 방식을 도입합니다 (식 6).

• 이론적 기반:

  • 제안된 방법은 Shapley Value 의 **로컬 정확성 (Local Accuracy)**과 **대칭성 (Symmetry)**을 유지합니다.
  • Shapley Value 의 '더미 (Dummy)' 및 '선형성 (Linearity)' 속성은 완화되지만, **Shapley Value 와의 순위 일관성 (Order Consistency)**을 보장합니다. 즉, Shapley Value 가 더 중요한 특징으로 평가하는 경우, EnsembleSHAP 또한 더 높은 점수를 부여합니다.

3. 주요 기여 (Key Contributions)

1. 계산 효율성: 랜덤 서브스페이스 방법의 예측 과정에서 이미 생성된 데이터를 재사용하므로, 기존 Shapley/LIME 방법에 비해 거의 추가적인 계산 비용 (약 0.03 초) 없이 특징 기여도를 제공합니다.
2. 이론적 견고성 (Certified Robustness): **설명 보존 공격 (Explanation-preserving Attack)**에 대한 증명 가능한 (Provable) 견고성을 최초로 제시했습니다. 공격자가 $T$개의 특징을 변조하여 분류를 변경하려 할 때, 제안된 방법이 변조된 특징을 '중요한 특징'으로 탐지할 수 있는 하한선 (Certified Detection Size) 을 수학적으로 증명했습니다.
3. 포괄적인 평가: 백도어 공격, 적대적 공격, LLM 재장난 공격 등 다양한 보안 시나리오에서 제안된 설명 방법의 효과성을 검증했습니다.

4. 실험 결과 (Results)

실험은 텍스트 분류 (SST-2, IMDb, AGNews) 와 LLM 재장난 방어 (RA-LLM) 환경에서 수행되었습니다.

• 충실도 (Faithfulness):
  • 공격이 없는 상태뿐만 아니라, 백도어 및 적대적 공격이 가해진 상태에서도 제안된 방법은 Shapley Value, LIME, ICL 등 기존 베이스라인보다 높은 충실도를 보였습니다.
  • 예: IMDb 데이터셋에서 적대적 공격 시, 제안된 방법이 중요하다고 판단한 단어 10% 를 제거했을 때 라벨 변경률은 **98%**에 달했습니다 (Shapley 는 84%, LIME 은 16%).
• 키워드 예측 성능 (Key Word Prediction):
  • 백도어 공격의 트리거나 재장난 프롬프트의 유해한 쿼리를 정확히 찾아내는 능력에서 기존 방법들을 압도했습니다.
  • 예: IMDb 백도어 공격 시, Top-5 키워드 예측 Recall 이 0.892로, Shapley(0.491) 보다 훨씬 높았습니다.
• 인증된 탐지율 (Certified Detection Rate):
  • 공격자가 최대 $T$개의 특징을 변조하더라도, 제안된 방법이 변조된 특징을 '중요한 특징' 목록에 포함시킬 수 있는 비율을 이론적으로 보장했습니다.
  • 실험 결과, 설명이 보고하는 중요한 특징의 수 ($e$) 가 증가할수록 탐지율이 향상되었으며, 샘플링 수 ($N$) 나 드롭 비율 ($\rho$) 이 증가할수록 탐지 성능이 개선되었습니다.
• 이미지 도메인 적용: CIFAR-10, ImageNette 등 이미지 데이터셋에서도 패치 공격에 대한 인증된 탐지 기능을 성공적으로 적용하여 확장성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 랜덤 서브스페이스 방법이라는 강력한 보안 도구에 대한 **해석 가능성 (Explainability)**의 공백을 메우는 중요한 연구입니다.

• 실용성: 기존 방법론의 계산적 비효율성을 해결하여, 실제 보안 시스템에서 실시간으로 모델의 결정 근거를 분석할 수 있게 합니다.
• 보안 강화: 단순히 모델을 설명하는 것을 넘어, 악의적인 조작 (공격) 을 탐지할 수 있는 이론적 근거를 제공함으로써, 설명 자체를 공격하는 새로운 위협에 대응할 수 있는 체계를 마련했습니다.
• 혁신성: 설명 보존 공격에 대해 **증명 가능한 견고성 (Provable Robustness)**을 확립한 최초의 연구로서, 향후 신뢰할 수 있는 AI (Trustworthy AI) 및 보안 분야 연구의 새로운 기준을 제시합니다.

결론적으로, EnsembleSHAP 은 랜덤 서브스페이스 기반 보안 시스템의 투명성을 높이고, 공격을 효과적으로 식별하여 시스템의 신뢰성을 강화하는 필수적인 도구로 평가됩니다.