기술 요약: FAME – 특징 활성화 맵 설명

문제 제기

이미지 분류 (IC) 및 얼굴 인식 (FR) 분야에서 딥러닝 모델은 높은 정확도를 달성하지만, 예측의 배경에 있는 추론 과정을 가리는 "블랙박스"로 작동합니다. 기존 설명 가능한 AI(XAI) 방법은 두 가지 주요 범주로 나뉘며, 각각 중대한 한계를 지닙니다:

1. 기반 클래스 활성화 매핑 (CAM) 기반 방법: Grad-CAM 과 같은 방법은 특징 맵 활성화에 기반한 귀속도를 계산하여 이미지 해상도로 업샘플링합니다. 이 접근법은 특징 맵 요소가 오직 하위 픽셀 영역 (국소 수용野) 의 영향을 받는다는 가정에 의존합니다. 저자들은 수용野가 크고 중첩되며 비국소적인 더 깊은 네트워크에서는 이 가정이 실패한다고 주장하며, 이로 인해 오해의 소지가 있는 귀속도 맵이 생성된다고 지적합니다.
2. 교란 기반 방법: CorrRISE 와 같은 기법은 고정된 패치 (예: 검은색 사각형 또는 노이즈) 로 입력 이미지를 교란시켜 출력 변화를 관찰합니다. 이러한 방법들은 종종 인위적인 에지를 도입하거나 정보를 효과적으로 제거하지 못합니다 (현대 네트워크는 흐릿한 입력을 잘 처리하기 때문). 또한, 이들은 확률적 무작위 마스킹과 수동으로 정의된 파라미터에 의존하며, 교란에 대한 원칙적인 접근법이 부족합니다.

방법론: 특징 활성화 맵 설명 (FAME)

저자들은 기반 및 교란 기반 패러다임을 연결하는 통합 프레임워크인 FAME을 제안합니다. FAME 은 특정 레이어에서 네트워크를 특정 목표 출력으로 강제하도록 이미지를 수정하도록 원래 설계된 적대적 공격 기법인 **레이어별 원본 목표 합성 (LOTS)**을 기반으로 구축됩니다.

핵심 메커니즘

고정된 패치나 단순한 기반 업샘플링을 사용하는 대신, FAME 은 귀속도 맵 생성을 최적화 문제로 취급합니다:

1. 반복적 교란: 입력 이미지 $x$에서 시작하여 FAME 은 특정 레이어의 목표 $t$에 대한 특정 손실 함수 $\mathcal{L}$을 최소화하기 위해 정규화된 기반을 사용하여 이미지를 $\bar{x}$로 반복적으로 업데이트합니다.
   $$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$$
   여기서 $\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$입니다.
2. 귀속도 유도: 귀속도 맵은 원본 이미지와 교란된 이미지 간의 절대 차이에서 유도됩니다: $\Delta x = |\bar{x} - x|$.
3. 부드러움 (Smoothing): 결과적인 픽셀 단위 교란 맵은 가우시안 커널로 부드럽게 처리되고 최대 정규화되어 최종 귀속도 맵 $e \in [0, 1]^{H \times W}$를 생성합니다.

작업별 적응

FAME 은 작업에 따라 손실 함수와 목표를 적응시킵니다:

• 특징 맵 분석: CAM 가정의 유효성을 테스트하기 위해, 특정 특징 맵 요소 $a[k]$에 대한 목표는 0 으로 설정됩니다. 손실 $\mathcal{L}_a = \|a[k] - 0\|_1$은 특정 특징 활성화를 무효화하기 위해 어떤 입력 픽셀을 제거해야 하는지 식별합니다.
• 이미지 분류: 손실은 목표 클래스의 로짓 ($L_{cls} = z_o$) 에 직접 정의되어 해당 클래스 예측에 중요한 픽셀을 강조하기 위해 입력으로 역전파됩니다.
• 얼굴 인식: 이 방법은 갤러리 이미지 ($x_g$) 와 프로브 이미지 ($x_p$) 간의 유사도 점수 $s$를 최소화하거나 최대화합니다.
  • 유사 ($e^+$): 매칭을 지지하는 영역을 찾기 위해 유사도를 최소화합니다 ($L_+ = s$).
  • 비유사 ($e^-$): 불일치를 유발하는 영역을 찾기 위해 유사도를 최대화합니다 ($L_- = 1-s$).
  • 관련 방법들 (예: FGGB) 과 달리, FAME 은 유사 및 비유사 영역을 분리하기 위해 임의의 임계값 설정을 요구하지 않습니다.

주요 기여

1. CAM 가정 반박: 이 논문은 CAM 기반 방법의 국소 수용野 가정이 더 깊은 네트워크에서는 성립하지 않는다는 경험적 증거를 제공합니다. FAME 을 사용하여 저자들은 깊은 네트워크 (예: IResNet101) 의 특징 맵 요소가 입력의 크고 이동하며 중첩된 영역들로부터 정보를 집계하여 단순한 업샘플링이 신뢰할 수 없음을 보여줍니다.
2. 통합 프레임워크: FAME 은 작업별 아키텍처 변경이나 수동 임계값 선택 없이 IC 및 FR 작업 모두에 적용 가능한 단일 최적화 기반 접근법을 제공합니다.
3. 원칙적 교란: 고정된 패치 대신 기반 주도 교란을 사용함으로써 FAME 은 인위적 아티팩트 (검은색 사각형의 날카로운 에지 등) 를 도입하지 않고 입력 변화가 네트워크 출력에 어떻게 영향을 미치는지에 대한 더 자연스러운 해석을 제공합니다.

실험 결과

저자들은 다양한 아키텍처 (ResNet, VGG, ConvNeXt, IResNet) 를 사용하여 ImageNet(IC) 과 세 가지 얼굴 인식 데이터셋 (AR Face, SCface, CFP) 에서 FAME 을 평가했습니다.

이미지 분류

• 정성적: FAME 은 종종 확산된 배경 영역을 강조하거나 특정 부분 (예: 새의 머리만) 에만 초점을 맞추는 Grad-CAM 및 Grad-CAM-EW 와 비교하여 더 컴팩트하고 의미적으로 관련된 귀속도 맵을 생성합니다.
• 정량적: ImageNet 에서 FAME 은 경쟁력 있는 교차율 (IoU) 점수를 달성하여 FullGradCAM 에 약간 뒤처지지만 표준 Grad-CAM 변형들보다 우수한 성과를 보입니다. 특히, ROAD-Delete 평가 (중요 픽셀이 제거됨에 따른 성능 저하 측정) 에서 FAME 은 낮은 제거 비율 (10% 및 30%) 에서 가장 높은 점수를 기록하여, 경쟁사보다 모델의 의사결정에 가장 중요한 픽셀을 더 효과적으로 식별함을 보여줍니다.

얼굴 인식

• 정성적: FAME 은 인간의 직관과 일치하는 공간적으로 일관된 맵을 생성합니다. 가려진 얼굴 (예: 스카프, 선글라스) 의 경우, FAME 은 가려진 영역을 무시하고 눈, 이마와 같은 가시적인 식별 단서에 올바르게 초점을 맞춥니다. 반면, CorrRISE 및 FGGB 와 같은 방법들은 종종 노이즈가 많은 맵을 생성하거나 관련 없는 배경 영역을 강조합니다.
• 정량적: 여러 FR 프로토콜과 네트워크 깊이에 걸쳐 FAME 은 Delete(정확도 하락) 및 Insert(정확도 회복) 지표 모두에서 Grad-CAM, CorrRISE, FGGB 를 일관되게 능가합니다. 특히, FAME 은 CFP 에서 최대 96.7% 에 달하는 가장 높은 Insert 점수를 달성하여, 복원되었을 때 검증 정확도를 빠르게 회복시키는 영역을 식별하는 능력을 보여줍니다.

중요성 및 주장

이 논문은 FAME 이 안정적이고 모델 관련성이 높은 설명을 제공하는 작업 적응형 최적화 기반 프레임워크라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 오해 수정: 더 깊은 네트워크에서 순진한 공간 업샘플링에 대한 의존성에 도전하여, 더 깊은 아키텍처가 국소화된 특징이 아닌 전역적으로 통합된 패턴을 인코딩함을 보여줍니다.
• 강건성: FAME 은 최첨단 XAI 방법들에 비해 자세, 가림, 해상도 변화에 대해 더 우수한 강건성을 입증합니다.
• 일반성: 임의의 임계값 (FGGB 의 한계) 과 고정된 교란 파라미터 (CorrRISE 의 한계) 에 대한 필요성을 제거하여 귀속에 대한 더 원칙적인 접근법을 제공합니다.

저자들은 FAME 이 반복적인 특성으로 인해 기반 기반 방법보다 계산적으로 느리다고 인정하지만, 조기 종료나 품질에 미치는 영향이 최소인 더 큰 단계 크기를 통해 속도를 개선할 수 있다고 제안합니다. 향후 작업은 FAME 을 트랜스포머 아키텍처 및 객체 감지 작업으로 확장하는 것을 제안합니다.