Measuring the (Un)Faithfulness of Concept-Based Explanations

1. 문제 정의 (Problem)

딥러닝 비전 모델은 입력과 출력 간의 계산 과정이 복잡하여 해석이 어렵습니다. 이를 해결하기 위해 인간의 이해 가능한 '개념 (Concepts, 예: 모서리, 색상, 객체 부분)'을 사용하여 모델을 설명하는 CBEMs 가 개발되었습니다.

• 충실도 (Faithfulness) vs 해석 가능성 (Interpretability): 설명이 모델의 내부 계산을 얼마나 정확하게 반영하는지 (충실도) 와 인간이 이해하기 쉬운지 (해석 가능성) 는 상충 관계에 있습니다.
• 기존 평가의 한계:
  1. 복잡한 대리 모델 (Surrogate) 사용: 기존 U-CBEMs 는 충실도를 높게 보고하기 위해 복잡한 비선형 대리 모델을 사용했습니다. 이는 설명의 해석 가능성을 훼손하고, 실제 모델의 계산 과정을 인간이 이해하기 어렵게 만듭니다.
  2. 부적절한 삭제 기반 프록시 (Deletion-based Proxies): 중요한 개념을 제거했을 때 모델 성능이 떨어지는지 확인하는 방식은 데이터 매니폴드 (Manifold) 를 벗어난 비현실적인 입력을 생성하여, 모델의 예측이 왜곡될 수 있어 충실도를 정확히 측정하지 못합니다.
  3. 편향된 평가 지표: 기존 지표들은 예측된 클래스 (Top-1) 에만 초점을 맞추거나, 개념 중요도 (Importance) 를 반영하지 않아, 전체 출력 분포에 대한 충실도를 제대로 평가하지 못했습니다.

이로 인해 현재 SOTA(최고 성능) U-CBEMs 들이 실제로 충실한 설명을 제공하는지에 대한 오해가 존재했습니다.

2. 제안 방법: SURF (Surrogate Faithfulness)

저자들은 충실도 평가를 위한 새로운 프레임워크 SURF를 제안합니다. SURF 는 세 가지 핵심 설계 원칙 (Desiderata) 을 따릅니다:

1. 단순성: 복잡한 재구성 (Reconstruction) 이나 추가 학습 파라미터 없이, 선형 (Linear) 대리 모델을 사용합니다.
2. 전체성: 개념 표현 (Concept Representation) 과 **개념 중요도 (Concept Importance)**를 모두 활용합니다.
3. 포괄성: 예측된 클래스뿐만 아니라 모든 출력 클래스에 대한 오차를 측정합니다.

2.1. SURF 대리 모델 (Surrogate)

기존 모델의 마지막 선형 레이어 구조를 그대로 모방합니다.

• 모델의 출력 $y_i$는 임베딩 $h_j$가 클래스별 방향 벡터 (CAV) $v_{i,j}$로 투영되고, 그 노름 (중요도) $\alpha_{i,j}$로 스케일링된 합으로 표현됩니다.
• SURF 는 U-CBEM 이 발견한 개념 표현 $P(h)$와 중요도 $A$를 사용하여, 학습된 파라미터 없이 직접 선형 조합으로 출력을 재구성합니다.
  $$\hat{y}_i = \sum_{j} \sum_{k} \alpha_{i,k} P(h_j; V_i)_k$$
• 이는 모델의 실제 계산 과정을 단순한 선형 방정식으로 근사하여, 해석 가능성과 충실도 측정을 동시에 가능하게 합니다.

2.2. SURF 지표 (Metrics)

충실도를 측정하기 위해 두 가지 공간에서의 오차를 계산합니다:

1. SURFMAE (Logit Space): 모델의 로짓 (Logit) 값과 재구성된 값 사이의 평균 절대 오차 (MAE).
2. SURFEMD (Probability Space): Softmax 후의 확률 분포 사이의 지구 이동 거리 (Earth Mover's Distance).

• 이 두 지표는 예측 클래스뿐만 아니라 전체 출력 분포의 왜곡을 포착합니다.

3. 주요 기여 (Key Contributions)

1. 공통 프레임워크 정립: 기존 U-CBEMs 의 충실도 측정 방법들을 통합하여 분석하고, 그 한계를 규명했습니다.
2. SURF 제안 및 검증: 단순한 선형 대리 모델과 포괄적 지표를 갖춘 SURF 를 제안했습니다. '측정 - 대 - 측정 (Measure-over-Measure)' 연구를 통해, 설명을 무작위화할 때 충실도가 감소해야 한다는 '상식적 검증 (Sanity Check)'을 통과한 유일한 지표임을 입증했습니다.
3. 포괄적 벤치마크: 다양한 작업 (객체 분류, 속성 예측, 나이 추정) 과 모델 아키텍처 (ResNet, MobileNet, ViT 등) 에 대해 기존 SOTA U-CBEMs 를 평가했습니다.
4. 하이퍼파라미터 최적화: SURF 를 통해 개념의 수 (Number of Concepts) 와 충실도 간의 트레이드오프를 분석하여, 기존에 임의로 설정되던 개념 수를 데이터 기반으로 결정할 수 있는 기준을 제시했습니다.

4. 실험 결과 (Results)

• 상식적 검증 (Sanity Check):
  • Perfect 설정 (모델 자체): SURF 는 완벽한 충실도 점수를 기록했습니다.
  • Rand Imp (무작위 중요도): SURF 는 중요도가 무작위화되면 충실도가 급격히 떨어지는 것을 감지했으나, 기존 지표 (ICE-Eval, C-SHAP-Eval) 는 중요도를 반영하지 않아 점수 변화가 없었습니다.
  • Full Rand (무작위 개념 및 중요도): SURF 는 낮은 충실도를 보였으나, C-SHAP-Eval 은 오히려 충실도가 향상된 것으로 잘못 보고하는 등 신뢰할 수 없는 결과를 보였습니다.
• U-CBEM 벤치마크:
  • 기존 SOTA 방법들 (CDISCO, ICE, CRAFT, C-SHAP, MCD 등) 은 SURF 평가에서 충실도가 매우 낮음이 드러났습니다.
  • 특히, 클래스별 CAV 를 사용하는 방법들은 다른 클래스의 이미지를 재구성할 때 큰 오차를 보였습니다.
  • **SAE (Sparse Autoencoders)**가 상대적으로 가장 충실한 결과를 보였으나, 여전히 확률 공간에서 상당한 오차가 존재했습니다.
  • MCD와 HU-MCD는 개념 부분 공간 (Subspace) 을 사용하여 상대적으로 더 나은 충실도를 보였으나, 개념 수가 증가함에 따라 성능이 포화되는 경향을 보였습니다.
• 개념 수와 충실도의 관계: 개념 수를 늘린다고 해서 항상 충실도가 향상되는 것은 아니며, 일부 방법은 개념이 증가해도 성능이 개선되지 않거나 오히려 악화되기도 했습니다.

5. 의의 및 결론 (Significance)

• 현실적 평가: 이 논문은 현재 U-CBEMs 가 주장하는 높은 충실도가 실제 모델의 내부 계산을 반영하지 못하며, 복잡한 대리 모델이나 부적절한 프록시 때문에 과대평가되었음을 폭로했습니다.
• 표준화: SURF 는 해석 가능성과 충실도 사이의 균형을 유지하면서, 복잡한 파라미터 없이 모델의 출력을 정확히 재구성하는지 평가하는 **새로운 표준 (Standard)**을 제시합니다.
• 미래 작업: 연구자들은 향후 개념 기반 설명 연구에서 SURF 를 필수적인 평가 지표로 채택하고, 해석 가능성 주장과 함께 SURF 점수를 보고할 것을 권고합니다. 또한, 중간 레이어의 비선형 관계를 고려한 SURF 의 확장 또한 중요한 후속 과제로 남겼습니다.

결론적으로, 이 논문은 개념 기반 설명 방법의 신뢰성을 높이기 위해 **단순하고 원칙적인 충실도 측정 지표 (SURF)**가 필요함을 강력하게 주장하며, 기존 방법론들의 한계를 명확히 지적하고 있습니다.