Enhancing Visual Feature Attribution via Weighted Integrated Gradients

문제 제기

Integrated Gradients (IG)는 특히 컴퓨터 비전 분야에서 설명 가능한 AI (XAI)를 위한 기초적인 특징 기여도(feature attribution) 산출 방법입니다. 그러나 IG의 효과는 베이스라인(참조) 이미지의 선택에 크게 의존합니다. 고차원 비전 작업에서는 보편적으로 "중립적인" 베이스라인이 존재하지 않으며, 흔히 사용되는 선택지들(예: 검은색, 흰색 또는 무작위 노이즈)은 종종 일관성이 없거나 노이즈가 섞인 설명을 생성합니다.

이를 완화하기 위해, Expected Gradients (EG)는 여러 베iosline에 대해 IG 기여도를 평균화합니다. EG는 단일 베이스라인 선택에 대한 민감도를 줄여주지만, 결정적인 한계점에 의존합니다. 즉, 모든 베이스라인에 **균등한 가중치(uniform weights)**를 부여하며, 이는 모든 베이스라인이 동일하게 유익하다는 암묵적인 가정을 전제로 합니다. 저자들은 복잡한 비전 모델에서 베이스라인들은 특정 입력값에 대한 관련성 측면에서 크게 다를 수 있다고 주장합니다. 균등한 평균화는 품질이 낮거나 노이즈가 많은 베이스라인이 최종 기여도를 희석시켜, 결과적으로 불안정하고 신뢰도가 낮은 설명을 초래할 수 있습니다.

방법론: 가중 통합 그래디언트 (Weighted Integrated Gradients, WG)

본 논문은 특정 입력에 대한 적합성을 기준으로 서로 다른 베이스라인에 **입력 의존적 가중치(input-dependent weights)**를 할당하는 원칙적인 IG의 확장형인 **Weighted Integrated Gradients (WG)**를 제안합니다.

1. 비지도 학습 기반 적합도 측정 ($D_\alpha$):
WG는 수동 주석이나 도메인 지식을 요구하지 않고 베이스라인의 적합성을 평가하는 비지도 기준을 도입합니다. 이는 섭동(perturbation)을 기반으로 한 "적합도(fitness)" 점수를 정의합니다.

• 정의: $D_\alpha$는 모델의 출력 점수를 원래 값의 $\alpha\%$로 감소시키기 위해 마스킹(masking)해야 하는 최소 기능(feature)의 개수입니다.
• 논리: $D_\alpha$가 낮을수록 해당 베이스라인은 더 "적합"하다고 간주됩니다. 왜냐하면 모델의 확신도를 크게 떨어뜨리기 위해 제거해야 할 기능이 적다는 것을 의미하기 때문입니다. 이는 해당 베이스라인이 영향력 있는 특징들을 효과적으로 강조하고 있음을 시사합니다.
• 가중치 부여: $k$번째 베이스라인의 가중치 $w_k$는 그 적합도 점수에 반비례합니다 ($w_k \propto 1/D_\alpha$). 더 충실한 설명을 생성하는 베이스라인(낮은 $D_\alpha$)이 더 높은 가중치를 받습니다.

2. 효율적인 계산 (Algorithm 1):
모든 기능을 탐색적으로 검색하여 $D_\alpha$를 계산하는 것은 계산적으로 불가능($O(n)$)합니다. 저자들은 기능 제거에 따른 점수 감소의 단조성(monotonicity)을 활용하는 이진 탐색 전략을 제 제안합니다. 중요도 점수(예: IG 기여도)를 기반으로 기능을 반복적으로 마스킹함으로써, 이 알고리즘은 베이스라인당 $O(\log n)$의 시간 복잡도를 달성합니다.

3. 이론적 정당성:

• 공리적 특성: WG는 IG의 핵심 공리(구현 불변성 및 민감도)를 보존하며, 일반화된 완전성(completeness) 속성을 만족합니다.
• 확률적 분석: 기대 프록시 적합도-관련성 단조성(Expected Proxy Fitness–Relevance Monotonicity) 가정(즉, 적합도 점수가 더 좋은 베이스라인은 실제 관련 있는 특징들에 더 많은 확률 질량을 배치하는 경향이 있음) 하에, 저자들은 WG가 균등 평균(EG)보다 기대 관련성을 높인다는 것을 증명합니다.
• 유한 샘플 보장: 본 논문은 WG가 EG의 평균 관련성에 대해 양(+)의 관련성 마진을 달성할 때, 경험적 관련성 비율이 EG 평균 이상으로 지수적인 속도로 집중된다는 것을 보여주는 정리를 제공합니다.

주요 기여

1. 정식화: 저자들은 IG에서의 베이스라인 선택 문제를 균등 가정의 EG를 넘어 입력 의존적 가중치 문제로 재정식화했습니다.
2. 메커니즘: 베이스라인의 유용성을 추정하기 위해 섭동 기반의 비지도 적합도 점수($D_\alpha$)를 제안하고 적응형 가중치를 도출했습니다.
3. 분석: 특정 단조성 가정 하에서, 적합도 가중 합산이 균등 평균보다 더 높은 기대 관련성 질량을 생성한다는 이론적 분석을 제공합니다.
4. 실험적 평가: 다양한 아키텍처(Convolutional 및 Transformer)와 표준 데이터셋(ImageNet, COCO)에 대해 WG를 평가하여, 기여도 충실도 향상과 계산 오버헤드를 모두 보고했습니다.

실험 결과

저자들은 7개의 백본 모델(DenseNet121, MobileNetV2, ResNet50/101, VGG16/19, ViT-B/16)을 사용하여 WG를 EG와 비교 평가했습니다.

• 지표:
  • 삭제 AUC (Deletion AUC, 낮을수록 좋음): 상위 기여 특징들이 제거될 때 모델의 확신도가 얼마나 빠르게 떨어지는지를 측정합니다. WG는 모델 전반에 걸쳐 19.36%에서 36.01% 사이의 상대적 개선을 보이며 EG를 지속적으로 능가했습니다.
  • 중첩 AUC (Overlap AUC, 높을수록 좋음): 지면 진실(ground-truth) 세그멘테이션 마스크와의 공간적 정렬을 측정하는 지도 학습 지표입니다. WG는 5.69%에서 18.55% 사이의 개선을 보여주었습니다.
• 시각적 품질: 살리언시 맵(saliency maps)에 대한 질적 분석은 WG가 EG에 비해 주요 객체에 대해 더 날카롭고 집중된 기여도를 생성함을 나타냅니다.
• 트레이드오프: 저자들은 적합도 평가 단계로 인해 WG가 추가적인 계산 비용을 초반한다는 점을 명시적으로 언급했습니다 (측정 결과 EG보다 약 5.7배 느림).

의의 및 주장

본 논문은 WG를 EG의 더 빠른 대안이 아니라, **기여도 충실도와 계산 효율 간의 트레이드오프(attribution-fidelity trade-off)**로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 신뢰성: 저품질 베이스라인을 적응적으로 가중치 축소함으로써, WG는 수동적인 베이스라인 큐레이션 없이도 더 신뢰할 수 있는 기여도를 보장합니다.
• 원칙적인 접근: 경로 기반 기여도(path-based attribution)의 "베이스라인 문제"를 해결하기 위해, 모든 베이스라인이 동일하게 기여한다는 가정을 넘어 데이터 기반의 메커니즘을 제공합니다.
• 적용 가능성: 이 방법은 개선된 설명 품질이 추가적인 실행 시간을 정당화할 수 있는 환경, 즉 중요한 비전 애플리케이션에서 XAI의 사용성을 높이는 데 특히 적합합니다.

저자들은 이론적 주장에 대해 겸허한 태도를 유지하며, 확률적 보장이 "기대되는 프록시 기반" 가정에 의존하며, 적합도-관련성 단조성이 경험적으로 검증되었으나 모든 개별 입력 인스턴스에 대해 보장되는 것은 아니라는 점을 인정합니다. 결론적으로 저자들은 특정 사용 사례에서 계산 오버헤드가 허용되는 한, WG가 딥러닝 시스템을 위한 더 명확하고 신뢰할 수 있는 설명을 향한 단계라고 주장합니다.