Learning Quantifiable Visual Explanations Without Ground-Truth

기술적 요약: 정답 레이블 없이 정량적 시각적 설명 학습하기

1. 문제 제기

설명 가능한 인공지능 (XAI) 은 투명성이 요구되는 고위험 분야에서 딥러닝 모델의 검증과 책임 있는 사용을 보장하는 데 필수적입니다. 그러나 시각적 설명 (예: 중요도 지도) 의 품질을 평가하는 것은 여전히 큰 과제로 남아 있습니다. 해당 분야는 다음과 같은 이유로 표준화된 평가 지표가 부재합니다:

• 정답 레이블 (Ground-Truth) 부재: 대부분의 데이터셋은 "올바른" 설명이 무엇인지에 대한 픽셀 수준의 정답 레이블을 포함하지 않습니다.
• 기존 지표의 한계: 현재 사용 중인 교란 기반 지표들 (예: Insertion, Deletion, MoRF) 은 종종 인간의 직관과 부합하지 않습니다. 이들은 관련 없는 넓은 영역을 포괄하는 설명에도 높은 점수를 부여하거나, 여러 개의 타당한 귀인 경로를 구분하지 못하는 경우가 많습니다. 또한, 단일 예측에 대해 여러 개의 유효한 설명이 존재할 때 컴팩트함을 불이익으로 처리하거나 평가에 어려움을 겪는 경향이 있습니다.

2. 방법론

본 논문은 새로운 평가 지표와 해당 지표를 최적화하도록 설계된 새로운 설명 생성 방법을 제안함으로써 이중적인 기여를 합니다.

A. 최소성 - 충분성 통합 (MSI) 지표
저자들은 정보 병목 (Information Bottleneck) 프레임워크에서 도출된 두 가지 원칙에 기반하여 설명을 평가하도록 설계된 교란 기반 지표인 MSI 를 도입합니다:

1. 충분성 (Sufficiency): 설명은 모델이 올바른 예측을 내리기에 충분한 정보를 포함해야 합니다.
2. 최소성 (Minimality): 설명은 관련 없는 영역을 피하면서 가능한 한 컴팩트해야 합니다.

MSI 는 **기초 점수 (Base Score)**와 **마스크 패널티 (Mask Penalty)**의 합으로 계산됩니다:

• 기초 점수: 설명의 변별력을 측정합니다. 임계값 $\alpha_{min}$ 이상의 "관련" 픽셀만 유지할 때와 임계값 이하의 "비관련" 픽셀만 유지할 때 모델의 예측 정확도를 비교합니다. 또한, $\alpha_{min}$에서 절단된 교란 성능 (삽입 및 삭제 모두) 의 곡선 아래 면적 (AUC) 을 포함합니다.
• 마스크 패널티: "중요"하다고 간주되는 픽셀 (임계값 $\alpha_{min}$ 이상) 의 비율에 패널티를 부과하는 항입니다. 이는 간결성을 강제하여 더 적은 픽셀로 충분성을 달성한 설명에 보상을 줍니다.
• 최종 점수: $MSI = \text{BaseScore} - \text{MaskPenalty}$.

이 지표는 단일 고유한 정답 마스크를 가정하지 않고 관련 및 비관련 영역의 분리를 보상함으로써 (예: 클래스 예측을 유발할 수 있는 여러 개의 구별된 객체가 포함된 이미지와 같이) 여러 개의 유효한 설명이 존재하는 경우를 처리하도록 설계되었습니다.

B. 학습 가능한 어댑터 설명 (LAX) 프레임워크
MSI 지표를 활용하기 위해 저자들은 정답 레이블 없이 설명을 생성하는 자기지도 학습 방법인 LAX 를 제안합니다.

• 아키텍처: LAX 는 프리징된 사전 학습된 블랙박스 모델 위에 훈련되는 경량 어댑터 모듈로 작동하며 (아키텍처 무관) 백본으로부터 특징 표현을 받아 픽셀 단위 중요도 히트맵을 출력합니다.
• 최적화 목적 함수: 훈련 손실은 정보 병목 원칙에서 유도되며, 계산 가능하도록 근사화됩니다:
  • 최소성 ($I(X, T)$): 마스크에 대한 엔트로피 기반 정규화 항을 통해 강제됩니다. 표준 $\ell_1$ 정규화와 달리 엔트로피 정규화는 임계 영역에 집중하는 더 선명하고 의미론적으로 유의미한 마스크를 생성합니다.
  • 충분성 ($I(T, y)$): 마스크된 입력 $T$와 레이블 $y$ 사이의 상호 정보를 최대화함으로써 강제됩니다. 이는 마스크된 이미지에 대한 모델의 예측과 정답 레이블 사이의 교차 엔트로피 손실을 최소화함으로써 근사화됩니다.
• 최종 손실: $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropy}(M)$.

이 모듈은 입력에 적용되었을 때 프리징된 모델이 높은 예측 정확도를 유지하면서도 마스크를 가능한 한 희소하게 유지하도록 마스크를 생성하도록 훈련됩니다.

3. 주요 기여

1. MSI 지표: 기존 지표들이 컴팩트하고 확산된 설명을 구분하거나 여러 유효한 귀인 경로를 처리하지 못했던 한계를 해결하며, 충분성과 최소성 사이의 균형을 맞추는 새로운 정량적 XAI 지표입니다.
2. LAX 프레임워크: 정답 중요도 지도가 필요 없이 MSI 목적 함수 (엔트로피 및 충실도 구성 요소를 통해) 를 직접 최적화함으로써 컴팩트하고 인과적인 설명을 생성하는 모델 무관 자기지도 학습 설명 생성기입니다.
3. 실증적 검증: Synthetic MNIST, CUB-200, CIFAR-10 등 여러 데이터셋과 CNN, 비전 트랜스포머 (Vision Transformers) 등 다양한 아키텍처에서 LAX 가 생성한 설명이 Grad-CAM, Layer-CAM, Attention Rollout 등 최첨단 베이스라인보다 우수함을 입증했습니다.

4. 결과

다양한 복잡도를 가진 세 가지 데이터셋에서 실험이 수행되었습니다:

• Synthetic MNIST: LAX 는 MSI 를 포함한 모든 지표에서 모든 베이스라인을 크게 능가하여, 낮은 모호성 환경에서 강력한 최소성과 충분성을 입증했습니다.
• CUB-200 (새들): 기존 지표들 (Insertion/Deletion) 은 종종 결론이 나지 않거나 LAX 와 Grad-CAM 간의 성능이 유사하게 나타났으나, LAX 는 더 높은 변별력을 가진 초점을 나타내는 가장 높은 MSI 점수를 달성했습니다.
• CIFAR-10: LAX 는 삽입 기반 지표에서 선두를 달렸습니다. 여러 정보 영역이 존재하는 시나리오 (베이스라인의 삭제 지표에서 혼합된 결과를 초래) 에서 MSI 는 LAX 를 높게 평가하는 데 성공한 반면, 전통적인 지표들은 품질을 구분하는 데 어려움을 겪었습니다.
• 비전 트랜스포머 (ViT): LAX 는 Attention Rollout 및 Grad-CAM 에 비해 ViT 모델에서 특히 MSI 점수 측면에서 우수한 성능을 달성하여, 이 방법이 CNN 을 넘어 적용 가능함을 확인했습니다.

정성적 분석 결과, LAX 는 경쟁 방법들의 종종 확산되거나 노이즈가 많은 중요도 지도에 비해 더 선명하고 집중된 히트맵을 생성함을 보여주었습니다.

5. 중요성 및 주장

본 논문은 표준화된 평가 지표의 부재가 XAI 의 발전을 저해했다고 주장합니다. MSI 를 도입함으로써 저자들은 결정에 대해 충분하고 범위가 최소인 설명에 보상을 줌으로써 설명 품질에 대한 인간의 직관과 더 잘 부합하는 도구를 제공합니다.

LAX 의 중요성은 정답 레이블이나 기본 모델의 재훈련 없이도 모든 프리징된 블랙박스 모델에 고품질 설명을 생성할 수 있는 능력에 있습니다. 저자들은 이를 설명이 정량적으로 검증되고 최적화될 수 있는 더 신뢰할 수 있고 책임 있는 AI 시스템으로 나아가는 한 걸음으로 위치시킵니다. 이 연구는 XAI 의 향후 노력이 정보의 완전성과 간결성 사이의 균형을 고려한 지표에 초점을 맞춰야 하며, 최적화 기반 접근법이 이러한 기준을 충족하도록 효과적으로 학습할 수 있음을 시사합니다.