Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

기술 요약: 강건한 사후 설명 가능한 AI를 위한 활성화-비활성화 (Activation-Deactivation, AD)

1. 문제 정의

LIME, SHAP, REX와 같은 기존의 섭동 기반(perturbation-based) 설명 가능한 AI(XAI) 방법론들은 특정 특징을 마스킹하거나 가림으로써 입력 데이터를 "변이(mutant)"시키는 방식에 의존합니다. 이러한 방법들은 일반적으로 마스킹된 픽셀을 사전 정의된 값(예: 0, 평균값, 가우시안 블러, 또는 무작위 노이즈)으로 대체합니다. 저자들은 이러한 접근 방식이 분포 외(out-of-distribution, o.o.d.) 입력을 생성하며, 이로 인해 결과적인 설명의 충실도(faithfulness)에 의구심을 갖게 한다고 주장합니다.

마스킹 값의 선택은 설명의 품질에 상당한 영향을 미칩니다. 논문에서 입증되었듯이, 서로 다른 마스킹 값(예: zero vs. max)은 매우 상이한 최소 충분 픽셀 집합(Minimal Sufficient Pixel Sets, MSPS)을 생성할 수 있으며, 이 중 일부는 인간의 직관이나 모델의 실제 결정 경계와 일치하지 않을 수 있습니다. 또한, 기존 방법들은 "올바른" 마스킹 값을 선택하기 위해 도메인 특화된 적응이나 전문가의 지식을 요구하는 경우가 많아, 주관성과 불일치를 초래합니다.

2. 방법론: 활성화-비활성화 (Activation-Deactivation, AD)

본 논문은 입력 섭동을 완전히 제거하는 새로운 순전파(forward-pass) 패러다임인 **활성화-비활성화(AD)**를 소개합니다. AD는 입력 이미지를 수정하는 대신, 추론 과정에서 모델의 내부 상태를 수정합니다.

핵심 메커즘:

• 개념: AD는 의도된 섭동에 대응하는 모델의 일부를 "끄는(switch off)" 역할을 합니다. 이는 가려진 입력 특징과 관련된 활성화의 전파를 제한하여, 입력 분포를 변경하지 않고도 모델이 해당 영역을 무시하도록 강제합니다 단계를 거칩니다.
• 구현 (convad): 저자들은 convad라는 알고리즘을 통해 합성곱 신경망(CNN)을 위한 AD를 구현했습니다.
  • 체크포인트(Checkpoints): 알고리즘은 특정 레이어(예: 차원 변경 연산 이전 또는 합성곱 레이어 사이)에 체크포인트를 삽러 넣습니다.
  • 위치 속성(Position-Attribution): 위치 속성 함수 $\Phi_i$를 활용하여 특정 활성화에 기여하는 마스킹된 특징과 마스킹되지 않은 특징의 비율을 계산합니다.
  • 임계값 설정(Thresholding): 하이퍼파라미터 $\tau$는 비활성화 임계값을 결정합니다. 마스킹된 특징의 비율이 $\tau$를 초과하면 해당 활성화를 0으로 설정합니다.
  • 마스크 전파(Mask Propagation): 마스크는 네트워크를 통해 업데이트 및 전파됩니다. 형태를 유지하는 연산의 경우, 평균값 커널 컨볼루션을 사용하여 마스크를 업데이트합니다. 차원을 변경하는 연산의 경우, 특정 연산(예: 1 또는 0으로 패딩)에 따라 마스크를 조정합니다.

이론적 보장:
논문은 만약 입력 마스크가 "비어 있는(empty)" 상태(모두 1인 경우)라면, convad가 적용된 모델 $N'$이 원래의 모델 $N$과 동일하게 동작함을 증명합니다. 이는 AD 프레임워크가 마스킹되지 않은 조건에서 모델의 기본 동작을 변경하지 않음을 보장하며, 저자들은 LayerMask와 같은 유사한 도구들이 이러한 보장이 부족하다는 점을 지적합니다.

3. 주요 기여

• 새로운 패러다임: 입력 섭동을 내부 활성화 비활성화로 대체하여, 모델의 입력 특징을 엄격하게 분포 내(in-distribution)에 유지하는 AD를 도입했습니다.
• 알고리즘 구현: 추가적인 학습, 미세 조정, 또는 마스킹 값에 대한 도메인 지식이 필요 없는 훈련된 CNN을 위한 "드롭인(drop-in)" 메커니즘인 convad를 개발했습니다.
• 이론적 프레임워크: AD 프레임워크 내에서의 위치 함수(position functions) 및 위치 속성 함수(position-attribution functions)에 대한 공식적 정의와 함께, 마스킹되지 않은 조건에서의 원래 모델과의 행동적 동등성에 대한 증명을 제공합니다.
• 포괄적 평가: 다양한 아키텍처(ResNet-50, RegNetY-12GF, EfficientNet-V2)와 데이터셋(ImageNet-1k, ImageNet-v2, PASCAL-VOC)에 대해 최첨단(SOTA) 블랙박스 및 화이트박스 방법론(LIME, Grad-CAM, REX) 및 LayerMask 도구와 엄격한 비교를 수행했습니다.

4. 실험 결과

저자들은 강건성(robustness), 전이성(transferability), 크기(size), 중복성(redundancy), 그리고 **중첩(overlap)**을 기준으로 설명의 품질을 평가했습니다.

• 강건성: convad는 모든 마스킹 전략보다 일관되게 우수한 성능을 보였습니다. 단색 배경에서 convad의 설명은 올바른 분류를 훨씬 더 자주 유지했습니다. 분포 내(i.i.d.) 배경에서 convad는 높은 신뢰도 임계값에서 약 20%의 강건성을 보였으며, 다른 방법들보다 평균 30~40% 더 높은 성능을 기록했습니다.
• 전이성: convad로 생성된 MSPS는 다른 방법들에 비해 서로 다른 모델 아키텍처 간에 최대 22% 더 나은 전이성을 보여주었으며, 이는 이들이 지름길(shortcuts)이 아닌 진정으로 변별력 있는 특징에 의존하고 있음을 시사합니다.
• 골디락스 존(Goldilocks Zone): 강건성, 설명 크기, 노이즈 간의 관계 분석 결과, convad의 설명은 "골디락스" 존을 차지하는 것으로 나타났습니다. 즉, 매우 강건하면서도 노이즈(중복성)가 적고 크기가 압축적입니다. 다른 방법들은 적어도 하나의 차원에서 실패하는 경향을 보였습니다.
• 마스킹 값으로부터의 독립성: 선택된 마스킹 값(예: Zero vs. Max)에 따라 결과가 급격히 달라지는 섭동 방법들과 달리, convad는 오클루전(occlusion) 값을 선택할 필요 없이 일관된 결과를 생성했습니다.

5. 의의 및 주장

본 논문은 AD가 섭동 기반 XAI의 근본적인 결함인 분포 외(o.o.d.) 입력 생성 문제를 해결한다고 주장합니다. 입력을 변형하는 대신 활성화를 비활성화함으로써, convad는 다음과 같은 설명을 제공합니다:

1. 더 강건함: 특정 섭동 전략의 선택에 덜 민감합니다.
2. 더 높은 전이성: 중요하다고 식별된 특징들이 서로 다른 모델 아키텍처 간에 일관됩니다.
3. 모델 불가지론적(아키텍처 내): 알고리즘이 동일한 아키텍처(CNN)를 가진 모든 모델에 대해 동일하며, 재학습이 필요하지 않습니다.
4. 충실함: 마스킹 값을 통해 인위적인 아티팩트를 도입하지 않고, 모델의 신뢰도 임계값과 결정 로직을 엄격히 준수합니다.

저자들은 현재 구현이 CNN에 국한되어 있고 내부 레이어를 수정하기 위해 화이트박스 접근이 필요하지만, AD 프레임워크가 마스킹에 대한 원칙적인 대안을 제공하여 사후 설명의 신뢰성을 크게 향상시킨다고 결론지었습니다. 향후 연구에서는 이 프레임워크를 트랜스포머(transformer) 및 어텐션 기반 모델로 확장할 계획입니다.