Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 기존의 설명 가능한 AI(XAI) 평가는 주로 개별 인스턴스 (단일 예측) 에 초점을 맞추고 있습니다. 즉, 특정 입력에 대한 설명이 얼마나 정확한지 (Fidelity) 는 평가하지만, 동일한 클래스에 속하거나 유사한 입력에 대해 모델의 설명이 일관되게 유지되는지 (Consistency/Stability) 는 명시적으로 정량화하지 못합니다.
• 문제점: 모델이 유사한 입력에 대해 서로 다른 논리적 근거 (rationale) 를 제시하거나, 특정 기능에 편향적으로 의존하는 경우, 이는 모델의 신뢰성을 훼손하고 고위험 분야 (의료, 금융 등) 에서의 배포를 어렵게 만듭니다.
• 목표: 라벨을 보존하는 교란 (label-preserving perturbations, 예: 문장 재구성) 하에서도 모델의 설명이 안정적인지 확인하고, 불일치를 탐지할 수 있는 새로운 평가 지표 개발.

2. 제안된 방법론 (Methodology)

저자들은 ESS (Explanation Stability Score) 라는 새로운 지표를 제안하며, 이를 검증하기 위해 다음과 같은 단계를 거칩니다.

A. 핵심 지표: ESS (Explanation Stability Score)

• 정의: 동일한 라벨을 가진 두 입력 ($x_1, x_2$) 에 대한 SHAP 값 벡터 간의 코사인 유사도 (Cosine Similarity) 를 계산하여 평균낸 값입니다.
• 수식:
  $$ESS = \frac{1}{N} \sum_{i=1}^{N} \text{sim}_{\text{cos}}(S(x_1^{(i)}), S(x_2^{(i)}))$$
  • 여기서 $S(x)$ 는 입력 $x$ 에 대한 SHAP 값 벡터입니다.
  • ESS 가 1 에 가까울수록 유사한 입력에 대해 모델이 일관된 설명을 제공함을 의미하며, 0 에 가까울수록 설명이 불안정하고 일관성이 없음을 의미합니다.

B. 실험 설정

• 모델: BERT, RoBERTa, DistilBERT (사전 학습된 트랜스포머 기반 모델).
• 데이터셋: SST-2 (Stanford Sentiment Treebank v2), IMDB (영화 리뷰 감정 분석).
• 설명 생성 도구: SHAP (SHapley Additive exPlanations) 를 사용하여 토큰별 중요도 (Feature Attribution) 를 계산.
• 강건성 테스트 (Ablation Study):
  • Paraphrasing: WordNet 기반의 동의어 치환을 통해 입력 텍스트를 20% 비율로 변형 (Paraphrase) 하여 원본과 비교.
  • Fidelity (FID-k): SHAP 으로 식별된 상위 $k$개 (k=5) 특징을 마스킹했을 때 모델의 예측 확률이 얼마나 떨어지는지 측정하여 설명의 정확성을 대조 평가.

3. 주요 기여 (Key Contributions)

1. ESS 지표 도입: 동일한 라벨의 입력 간 설명 일관성을 정량화하는 새로운 지표인 ESS 를 제안했습니다.
2. 종합적 평가: BERT, RoBERTa, DistilBERT 모델을 SST-2 및 IMDB 데이터셋에서 평가하고, 원본과 문장 재구성 (Paraphrase) 입력에 대한 ESS 변화를 분석했습니다.
3. 불일치 탐지 능력 입증: 기존 Fidelity 지표만으로는 포착하기 어려운 모델의 행동 불일치 (Misalignment) 를 ESS 를 통해 효과적으로 탐지할 수 있음을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 모델별 성능 차이:
  • RoBERTa: 가장 높은 ESS 값을 보였으나, Fidelity 점수가 매우 낮아 수치적 불안정성이나 특정 기능에 대한 과도한 의존성이 의심됨.
  • BERT: 일관성 (ESS) 과 정확도 (Fidelity) 간의 균형이 가장 잘 잡힌 모델로 평가됨.
  • DistilBERT: 가장 낮은 ESS 값을 기록. 모델이 작고 단순하여 특징 간의 의존성이 적고 설명이 단순한 것으로 해석되나, 이는 반드시 높은 해석 가능성 (Interpretability) 을 의미하지는 않음.
• 교란 (Paraphrasing) 의 영향:
  • 모든 모델에서 문장 재구성 (Paraphrasing) 을 적용하면 ESS 가 감소했습니다 (예: BERT 의 경우 11~14% 감소).
  • 통계적 검정 (t-test) 결과, 원본과 변형된 입력 간의 ESS 차이는 통계적으로 유의미함 ($p < 0.05$). 이는 모델이 작은 입력 변화에도 설명의 근거가 불안정하게 변할 수 있음을 시사합니다.
• 감정별 분석: 긍정 (Positive) 감정 예측의 경우 부정 (Negative) 감정 예측보다 ESS 가 낮아, 긍정적 예측에 대한 모델의 설명이 더 불안정하고 일관성이 부족함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 AI 구축: 모델이 단순히 예측을 설명하는 것을 넘어, 유사한 시나리오에서 일관된 논리로 설명할 때만 인간이 AI 를 신뢰할 수 있음을 강조합니다.
• 새로운 검증 프레임워크: 기존의 개별 설명 정확도 평가에서 벗어나, 모델의 전반적인 행동 안정성 (Stability) 을 검증하는 새로운 패러다임을 제시합니다.
• 실용적 가치: ESS 는 모델 개발 단계에서 설명의 일관성을 모니터링하고, 편향되거나 불안정한 모델을 식별하는 도구로 활용될 수 있습니다. 특히 고위험 분야에서 AI 시스템의 투명성과 신뢰성을 확보하는 데 필수적입니다.

요약하자면, 이 논문은 "유사한 입력에 대해 모델이 일관된 이유 (rationale) 를 제시하는가?"라는 질문에 답하기 위해 ESS 지표를 제안하고, 이를 통해 기존 XAI 평가의 한계를 보완하고 모델의 신뢰성을 높이는 방법을 제시했습니다.