Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

1. 문제 제기 (Problem)

자연어 처리 (NLP) 모델의 예측을 설명하는 사후 (Post-hoc) 특징 할당 (Feature Attribution) 방법 (예: Integrated Gradient, Vanilla Gradient 등) 은 동일한 입력과 동일한 백본 모델을 사용하더라도 서로 다른 토큰 중요도를 부여하는 불일치 (Inconsistency) 문제를 겪고 있습니다.

• 신뢰성 위기: 사용자는 이러한 불일치로 인해 설명의 유용성을 의심하거나, 반대로 편향된 설명을 맹신할 수 있습니다.
• 숨겨진 편향: 기존 연구는 설명의 불일치에 초점을 맞추었으나, 그 이면에 **어떤 단어 (Lexical)**나 **어떤 위치 (Position)**를 체계적으로 선호하는지 (편향) 에 대한 구조화된 분석이 부족했습니다.
• 핵심 질문: 설명 방법의 편향은 모델의 특성, 데이터, 혹은 무작위 시드 (Random Seed) 에 의해 발생하는 것일까요? 또한, 최신 모델 (ModernBERT) 은 기존 모델 (BERT) 보다 편향이 적을까요?

2. 방법론 (Methodology)

저자들은 모델과 방법에 독립적인 편향 평가 프레임워크를 제안하고, 이를 **인공 데이터 (Controlled)**와 자연어 데이터 (Semi-controlled) 두 가지 환경에서 검증했습니다.

A. 평가 지표 (Bias Metrics)

편향을 정량화하기 위해 세 가지 핵심 지표를 정의했습니다:

1. Bias-cons (Seed 간 일관성): 서로 다른 무작위 시드로 학습된 10 개의 모델 간 설명 분포의 일관성을 측정 (Jensen-Shannon 거리). 편향이 시드에 의존하지 않고 재현 가능해야 함.
2. Bias-agg (집계 편향): 특정 방법과 모델의 전체 설명 분포가 '편향이 없는 균일 분포 (Uniform Baseline)'에서 얼마나 벗어났는지 측정.
3. Bias-attr (방법 간 편향): 특정 설명 방법이 다른 방법들에 비해 얼마나 다른 편향을 보이는지 측정. (즉, 다른 방법들과의 평균적인 거리).

B. 실험 설정

• 모델: 전통적인 BERT (bert-base-uncased) 와 최신 ModernBERT (ModernBERT-base) 비교.
• 할당 방법 (6 가지): PartSHAP, LIME, Vanilla Gradient (VanGrad), Integrated Gradient (IntGrad), 그리고 입력과 곱한 변형 (Grad×I, IntGrad×I).
• 데이터셋 1: 인공 데이터 (Artificial Data)
  • 목적: 위치와 어휘 정보가 실제 과업 해결에 무관한지 통제.
  • 구성: 명사/관사/구두점 조합, 구두점만 있는 문장, 고유한 구두점 순서 등 3 가지 유형.
  • 특징: 모델이 임의의 라벨을 예측하도록 하여, 편향이 모델 학습이 아닌 방법론 자체에서 기인함을 확인.
• 데이터셋 2: 자연어 데이터 (Causal Relation Detection)
  • 목적: 실제 언어 과업에서의 편향 확인.
  • 구성: 인과 관계 문장 (명시적 마커 포함) 과 비인과 관계 문장을 섞어 순서를 무작위화.
  • 특징: 문장 내 위치 (시작, 중간, 끝) 에 따른 편향 분석.

3. 주요 결과 (Key Results)

A. 인공 데이터 실험 결과

1. 편향의 존재 확인: 모든 할당 방법과 모델에서 체계적인 **어휘 편향 (Lexical Bias)**과 **위치 편향 (Position Bias)**이 발견됨.
2. 모델 간 트레이드오프 (Trade-off):
   • 위치 편향: ModernBERT가 BERT 보다 전반적으로 위치 편향이 적음 (특히 텍스트 시작 부분 편향 감소).
   • 어휘 편향: BERT가 ModernBERT 보다 어휘 편향이 적음.
   • 결론: 한 가지 편향이 낮다고 해서 다른 편향도 낮은 것은 아니며, 두 편향은 서로 반비례 (Trade-off) 관계에 있는 경향이 있음.
3. 방법론적 편향: **Vanilla Gradient (VanGrad)**가 다른 방법들에 비해 가장 높은 위치 편향 (Bias-attr 및 Bias-agg) 을 보임. 특히 입력의 시작 부분 (index 0) 을 과도하게 강조하는 경향이 뚜렷함.
4. 신뢰성 지표의 한계: 기존에 널리 쓰이는 충실도 (Faithfulness) 지표 (Sufficiency, Comprehensiveness) 는 편향이 있는 설명을 제대로 탐지하지 못함. 모델이 과업을 학습하지 못한 경우 (무작위 예측) 에는 편향이 있더라도 지표가 0 에 수렴하여 편향을 감지하지 못함.

B. 자연어 데이터 실험 결과

1. 위치 편향 패턴: BERT 모델은 특히 **부정 클래스 (Negative Class)**에서 입력의 마지막 문장에 편향되는 경향이 강함. 이는 인공 데이터에서의 결과와 일치함.
2. ModernBERT 의 우위: 자연어 과업에서도 ModernBERT 가 BERT 보다 전반적으로 편향이 적었으나, 긍정 클래스에서는 방법론에 따라 편향 정도가 크게 달라짐 (PartSHAP vs LIME).
3. 이상치 (Outlier) 와 편향: 다른 방법들과 가장 다르게 행동하는 (Bias-attr 이 높은) 설명 방법은, 기준선 (Baseline) 과 비교했을 때 가장 편향된 (Bias-agg 이 높은) 설명을 생성할 가능성이 높음. 즉, 다른 방법들과 크게 다른 설명은 신뢰하기 어렵다는 실증적 증거를 제시.

4. 주요 기여 (Key Contributions)

1. 체계적인 편향 프레임워크 제안: 설명 방법의 편향을 '어디에 (위치)', '무엇에 (어휘)' 집중하는지로 세분화하고, 이를 정량화하는 3 단계 메트릭 (Bias-cons, Bias-agg, Bias-attr) 을 제안했습니다.
2. 모델 vs 방법론의 역할 규명: 편향이 단순히 모델의 결함이 아니라, **할당 방법 자체의 산물 (Product)**임을 증명했습니다. 특히 최신 모델이 항상 더 공정하거나 편향이 적은 것은 아님을 보였습니다.
3. 편향의 트레이드오프 발견: 위치 편향과 어휘 편향이 서로 상충되는 경향이 있음을 발견하여, 편향 완화 전략 수립 시 고려해야 할 새로운 통찰을 제공했습니다.
4. 기존 지표의 한계 지적: 충실도 (Faithfulness) 지표가 편향된 설명을 탐지하는 데 한계가 있음을 보여주었고, 특히 '이상한 설명 (Anomalous explanations)'이 편향되었을 확률이 높음을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 사용자 가이드: 설명 방법 (Attribution Method) 을 선택할 때, 단순히 모델의 성능만 보지 말고 해당 방법이 어떤 시스템적 편향을 가지고 있는지 평가해야 함을 강조합니다.
• 신뢰성 있는 설명: 다른 방법들과 크게 다른 설명 (Outlier) 은 신뢰하기보다 주의 깊게 검토해야 함을 시사합니다.
• 모델 개발 방향: 최신 아키텍처 (ModernBERT) 가 기존 모델의 모든 문제를 해결하는 것은 아니므로, 모델 설계 시 위치 임베딩 (RoPE 등) 과 어휘 처리 간의 균형을 고려해야 함을 시사합니다.
• 향후 연구: 기존 충실도 지표의 한계를 극복하고, 편향을 감지할 수 있는 새로운 평가 메트릭 개발이 필요함을 제안합니다.

이 논문은 설명 가능한 AI (XAI) 분야에서 "왜 다른 방법들은 다른 결과를 내는가?"라는 질문에 대해, 단순한 불일치를 넘어 체계적인 편향의 구조를 규명했다는 점에서 중요한 의의를 가집니다.