A Human-Centered Validation of the Explainability-Performance Coefficient

기술 요약: 설명 가능성-성능 계수(Explainability-Performance Coefficient)에 대한 인간 중심적 검증

문제 제기
고위험 영역에서 딥러닝(DL)의 급격한 도입은 신뢰할 수 있는 설명 가능한 인공지능(XAI)에 대한 필요성을 심화시켰습니다. 그러나 설명의 충실도(fidelity)를 객관적으로 평가하는 것은 여전히 중대한 과제로 남아 있습니다. 기존의 평가 지표들은 충실도, 안정성 또는 강건성과 같은 대리 지표에 의존하는 경우가 많으며, 이는 설명 품질의 단편적인 측면만을 포착합니다. 결정적으로, 현재의 많은 지표는 선택된 특징(feature)의 희소성(sparsity)과 모델의 예측 성능 보존 사이의 트레이드오프를 명시적으로 고려하지 못하고 있습니다. 또한, 높은 점수를 받은 설명이 다양한 데이터 모달리티(표 형식, 텍로, 이미지) 및 네트워크 아키텍처 전반에서 인간 중심의 이해와 일치하는지에 대한 합의가 부족한 실정입니다.

방법론
저자들은 설명 가능성-성능 계수(EPC)의 스칼라 요약값 역할을 하는 모델 불가지론적(model-agnostic) 지표인 EPC 점수를 제안합니다. 이 방법론은 의미 있는 설명이란 단순히 관련 있는 특징을 강조하는 것뿐만 아니라, 해당 특징들로 제한되었을 때 모델의 예측 능력 또한 보존해야 한다는 전제에 기반합니다.

1. 이론적 프레와임워크: EPC는 설명기(explainer)에 의해 생성된 관련성 벡터 $R_x$를 기반으로 두 가지 섭동(perturbation) 체계 사이의 "성능 격차"를 정량화합니다:

   • Deletion Top-k: 가장 관련성이 높다고 판단되는 상위 $k\%$의 특징을 무효화합니다. 충실한 설명은 모델의 신뢰도를 급격히 떨어뜨려야 합니다.
   • Deletion Bottom-k: 관련성이 가장 낮다고 판단되는 하위 $k\%$의 특징을 무효화합니다. 강건한 설명은 비필수적인 특징들이 제거되더라도 모델의 신뢰도를 유지해야 합니다.
     EPC 곡선은 이 성능 격차를 희소성 수준 $k$에 대해 도식화합니다. EPC 점수는 관찰된 EPC 곡선과 최적의 선형 참조 상한선($f(k) = k/100$) 사이의 면적을 계산하여, 높은 점수가 이상적인 트레이드오프와 더 잘 일치함을 나타내도록 정규화하여 산출됩니다.

2. 실험 설정: 본 프레임워크는 세 가지 데이터 모달리티를 통해 검증되었습니다:

   • 표 형식 데이터: 은행 대출 연체 데이터셋 (Kaggle).
   • 이미지 데이터: MNIST (숫자 인식) 및 ImageNet (Imagenette 서브셋 활용).
   • 텍스트 데이터: IMDB 감성 분석.

   연구에서는 SHAP, LIME과 같은 모델 불가지론적 방법과 Gradient $\times$ Input, LRP, Integrated Gradients, Grad-CAM과 같은 모델 특정적 방법을 포함한 다양한 로컬 설명기를 평가했습니다. 방법론의 핵심 요소 중 하나는 다양한 무효화 전략($\Phi$)을 테스트하는 것이었습니다. 이미지 데이터의 경우, 저자들은 시각적 평가를 편향시킬 수 있는 분포 외(out-of-distribution) 아티팩트를 완화하기 위해 표준 제로 마스킹(zero-masking)과 가우시안 블러링(Gaussian blurring)을 비교했습니다.

3. 인간 중심적 검증: 인간의 이해와 일치하는지 평가하기 위해, EPC 점수를 독립적인 인간 주석 자원과 상관 분석하였습니다:

   • 텍스트: 단어의 관련성 순위와 인간이 큐레이션한 감성 극성 간의 일치도를 측정하는 AFINN 감성 사전(lexicon)을 사용했습니다.
   • 이미지: ImageNet 객체 위치 지정(Regions of Interest, ROI) 주석을 사용하여, 인간이 식별한 객체 경계에 대한 설명의 공간적 정밀도를 측정했습니다.

주요 결과

• 지표 성능: EPC 점수는 고품질 설명과 피상적인 설명을 성공적으로 구별해 냈습니다. 모든 모달리티와 아키텍처(MLP, CNN, LSTM)에 걸쳐, **Integrated Gradients (IG)**가 가장 높은 EPC 점수를 기록하며 단순한 그래디언트 기반 방법 및 모델 불가지론적 접근 방식보다 우수한 성능을 보였습니다.
• 계산 효율성: 모델 불가지론적 방법(SHAP, LIME)은 고차원 공간(예: ImageNet)에서 과도한 계산 비용을 보여 벤치마크에서 제외되었습니다. 반면, 그래디언트 기반 방법들은 훨씬 더 효율적이었습니다.
• 무효화 전략의 영향: 이미지 분류에서 무효화 연산자의 선택은 결과에 상당한 변화를 주었습니다. 제로 마스킹은 인위적인 에지를 생성함으로써 Grad-CAM과 같은 조립식(coarse-grained) 방법들에 유리하게 작용했습니다. 반면, 가우시안 블러링은 이러한 구조적 편향을 제거하여, 픽셀 단위 설명기(특히 IG)가 더 우수한 충실도를 보유하고 있음을 밝혀냈으며, 이들이 조립식 방법들보다 현저히 높은 EPC 점수를 달성함을 입증했습니다.
• 인간과의 정렬:
  • 텍나스트: EPC 점수가 높은 설명기는 AFINN 감성 사전과의 강력한 피어슨 상관관계를 보였습니다. IG는 가장 높은 상관관계($\rho = 0.65$)를 달성하여, 이 지표가 인간의 어휘적 감성 판단과 일치함을 확인시켜 주었습니다.
  • 이미지: 높은 EPC 점수는 미세한 임계값(Top@1)에서 인간이 주석을 달은 관심 영역(ROI)을 식별하는 우수한 정밀도와 상관관계가 있었습니다. 연구 결과, 객체 위치 지정(ROI)과 설명 충실도는 서로 관련되어 있지만 동일하지는 않다는 점이 드러났습니다. 즉, 픽iel 단위 방법들은 조립식 방법들이 불필요한 배경 맥락을 강조하는 것과 달리, ROI 내에서 필요한 증거를 더 효과적으로 식별했습니다.

의의 및 주장
본 논문은 EPC 점수가 다양한 아키텍처와 데이터 유형에 걸쳐 XAI 방법들을 비교할 수 있는 강력하고 표준화된 정량적 프레임워크를 제공한다고 주장합니다. 이 연구의 주요 의의는 인간 중심적 검증에 있습니다. 저자들은 EPC 점수가 단순한 추상적 수학적 구조가 아니라, 독립적인 인간의 판단(어휘적 감성 및 공간적 주석)과 강력하게 상관되어 있음을 입 la 입증했습니다.

본 연구는 설명의 충실도가 데이터 모달리티, 네트워크 아키텍처, 그리고 설명기의 작동 조건(예: 활성화 함수 및 무효화 전략)에 본질적으로 결부되어 있음을 강조합니다. 구체적으로 저자들은 다음과 같이 주장합니다:

1. Integrated Gradients는 평가된 벤치마크 전반에서 가장 견고한 설명기입니다.
2. 평가 편향: 시각적 충실도 평가는 섭동 전략에 매우 민감합니다; 픽셀 단위 방법들을 공정하게 평가하기 위해서는 가우시안 블러링이 필수적입니다.
3. 상보적 차원: 객체 위치 지정(증거가 어디에 있는가)과 설명 충실도(그 증거 중 어떤 부분이 필요한가)는 상보적이지 동일한 개념이 아닙니다. EPC 점수는 후자를 효과적으로 포착하며, 단순한 객체 위치 지정을 넘어 특정 특징이 모델 예측에 얼마나 필수적인지를 검증하는 단계로 확장됩니다.

저자들은 EPC 점수가 충실한 설명을 식별하는 신뢰할 수 있는 진단 도구 역할을 한다고 결론짓지만, 향후 연구에서 무효화를 위한 생성적 인페인팅(generative inpainting) 기법을 탐구하고, 대규모 언어 모델(LLM) 및 시각-언어 트랜스포머(Vision-Language Transformers)로 지표를 확장할 필요가 있다고 언급했습니다.