기술 요약: 표본 데이터에 대한 기계 학습 모델의 지역 설명 가능성 지표 평가

문제 제기

설명 가능성 기법이 인공지능 (AI) 모델을 해석하기 위해 널리 사용되고 있지만, 생성된 설명의 신뢰성은 여전히 해결되지 않은 과제로 남아 있습니다. 설명은 종종 인간에게 그럴듯해 보이지만, 특히 표본 데이터에 적용될 때 복잡한 모델의 내부 추론을 정확하게 포착하지 못합니다. 현재 문헌은 다양한 데이터셋과 모델 유형에 걸쳐 지역 설명 가능성 기법을 체계적이고 재현 가능하게 평가하는 것이 부족합니다. 구체적으로, 설명의 질이 모델의 예측 성능과 상관관계가 있는지, 아니면 데이터셋 복잡성 같은 다른 요인이 더 지배적인 역할을 하는지 규명할 필요가 있습니다.

방법론

저자들은 복잡한 표본 분류 작업에 적용된 지역 설명 가능성 기법의 신뢰성을 평가하기 위한 포괄적인 벤치마크를 수행했습니다. 본 연구는 다음 구성 요소를 활용했습니다:

• 데이터셋: 평가는 TabArena 저장소에서 선별된 32 개의 분류 데이터셋에 걸쳐 진행되었으며, 다양한 도메인, 샘플 크기, 특징 수 (4 개에서 1,776 개까지), 그리고 클래스 분포를 포괄했습니다. 데이터 전처리에는 정규화, 원-핫 인코딩, 그리고 결측치 보정이 포함되었습니다.
• 모델: 세 가지 서로 다른 모델 계열이 Optuna 를 사용하여 훈련 및 미세 조정되었으며 MLflow 를 통해 추적되었습니다:
  • 로지스틱 회귀: 선형 기준선.
  • 랜덤 포레스트: 앙상블 트리 방법.
  • XGBoost: 높은 예측 능력을 가진 부스팅 트리 모델.
• 설명 가능성 기법: Captum 라이브러리를 사용하여 세 가지 널리 사용되는 모델-중립적 지역 기법이 구현되었습니다:
  • LIME (지역 해석 가능 모델-중립적 설명): 교란된 샘플과 선형 대리 모델을 사용합니다.
  • Kernel SHAP (Kernel SHapley Additive exPlanations): 특정 샘플링 및 가중치를 사용하여 Shapley 값의 근사치를 제공합니다.
  • 특징 제거 (Feature Ablation): 출력을 측정하기 위해 특징을 체계적으로 제거하거나 대체합니다.
• 평가 지표: 본 연구는 Quantus 라이브러리를 사용하여 세 가지 핵심 속성에 초점을 맞춘 다섯 가지 지표를 계산했습니다:
  • 신실성 (Faithfulness): 신실성 추정치 (귀속과 모델 행동 간의 상관관계) 및 선택성 (상위 순위 특징 제거의 영향).
  • 강건성 (Robustness): 평균 민감도 (교란 하의 평균 변화) 및 최대 민감도 (최악의 경우 변화).
  • 복잡성 (Complexity): 복잡성 (특징 귀속 분포의 섀넌 엔트로피).
• 실험 설계: 모델은 F1 점수를 사용하여 홀드아웃 테스트 세트에서 평가되었습니다. 샘플은 두 가지 합의 그룹으로 분류되었습니다: 합의 - 정확 (Consensus-Correct) (모든 모델이 올바르게 예측) 및 합의 - 오답 (Consensus-Wrong) (모든 모델이 잘못 예측). 각 그룹에서 목표 클래스당 다섯 개의 샘플이 선택되어 기법과 모델 간 일관된 평가를 보장했습니다.

주요 결과

F1 점수 구간 (50% 에서 100%) 을 가로질러 집계된 벤치마크 결과는 몇 가지 중요한 패턴을 드러냈습니다:

1. 예측 성능과의 약한 상관관계: 모델의 F1 점수와 설명의 신뢰성 사이에 강한 직접적 상관관계는 존재하지 않습니다. 어떤 경우에는 더 높은 F1 점수가 더 높은 민감도 (낮은 강건성) 와 더 높은 복잡성과 상관관계를 보였는데, 이는 복잡한 데이터셋에서 더 잘 수행되는 모델이 더 분산되고 덜 안정적인 설명을 생성할 수 있음을 시사합니다.
2. 데이터셋 복잡성의 영향: 데이터셋의 특징 수는 특히 복잡성 (상관관계 0.71) 의 경우 지표 값과 양의 상관관계를 보였습니다. 이는 데이터셋 구조와 특징 차원성이 설명 행동의 주요 동인이며, 종종 모델 성능보다 더 큰 영향을 미친다는 것을 나타냅니다.
3. 기법별 행동:
   • 특징 제거: 기법과 지표 간의 공유된 교란 논리 때문인지, 일관되게 높은 신실성 추정치 (종종 0.98 초과) 를 달성했습니다. 그러나 최대 민감도에서 상당한 불안정성을 보였으며, 극단적인 이상치 (예: 72.610 에 달하는 값) 가 관찰되었습니다.
   • LIME: 가장 높은 강건성 (가장 낮은 평균 민감도) 을 보였으나, 가장 낮고 불안정한 신실성을 보이며 표준 편차가 높았습니다. 그 성능은 지역성 하이퍼파라미터에 매우 민감했습니다.
   • Kernel SHAP: 중간 정도의 신실성을 보였으나 LIME 에 비해 일관되게 더 높은 평균 민감도를 보여 입력 교란에 대한 강건성이 낮음을 나타냈습니다.
4. 합의 그룹: 합의 - 정확 샘플은 일반적으로 합의 - 오답 샘플과 약간 다른 지표 값을 산출했지만, 이 구별은 올바른 분류와 설명 신뢰성 사이의 직접적 상관관계를 드러내지 않았습니다. 설명은 근본적인 예측이 잘못되었을지라도 안정적으로 보일 수 있었습니다.

중요성 및 주장

본 논문은 표본 데이터에 대한 지역 설명 가능성 기법의 신뢰성이 근본적인 모델의 예측 성능에 의해 주로 결정되지 않는다고 주장합니다. 대신, 데이터셋 복잡성과 특징 분포가 설명의 질과 신뢰성에 영향을 미치는 주요 요인으로 보입니다.

저자들은 다음 사항을 강조합니다:

• 높은 모델 정확도는 고품질 설명을 보장하지 않습니다.
• 기존 지표 중 많은 것들이 원래 이미지 데이터를 위해 설계되었으므로, '지역화'와 같은 속성이 공간적 구조 없이서는 덜 의미 있기 때문에 표본 데이터에 적용될 때 신중한 해석이 필요합니다.
• 설명 기법 선택에는 트레이드오프가 수반됩니다: 특징 제거는 높은 신실성을 제공하지만 불안정성 위험이 있으며, LIME 은 강건성을 제공하지만 신실성이 낮으며, Kernel SHAP 은 그 사이 어딘가에 있지만 교란에 민감할 수 있습니다.

본 연구는 설명 신뢰성 평가가 모델 정확도를 넘어 데이터셋의 특정 특성, 특히 특징 수와 결정 경계의 복잡성을 고려해야 한다고 결론지었습니다. 향후 연구는 특징 수와 지표 값 간의 상관관계를 더 깊이 조사하기 위해, 설명 일관성을 테스트하기 위해 축소된 특징 세트에서 모델을 훈련하는 등의 방법을 제안합니다.