SCAN: Visual Explanations with Self-Confidence and Analysis Networks

이 논문은 CNN 과 트랜스포머 아키텍처 모두에 적용 가능한 범용 프레임워크인 SCAN 을 제안하여, 정보 병목 원리를 기반으로 한 자기-신뢰도 맵을 생성함으로써 기존 시각적 설명 방법의 한계를 극복하고 높은 충실도와 명확성을 갖춘 해석 가능한 AI 를 실현합니다.

핵심

SCAN: 인공지능이 "왜" 그렇게 판단했는지 알려주는 똑똑한 안내자

이 논문은 인공지능 (AI) 이 사진을 보고 "이건 고양이다"라고 판단할 때, 정말 고양이 특징을 보고 판단했는지, 아니면 배경의 풀을 보고 판단했는지를 알려주는 새로운 방법인 SCAN을 소개합니다.

기존의 방법들은 두 가지 큰 문제점이 있었습니다.

1. 특정 모델 전용 도구: CNN 이라는 모델에는 잘 작동하지만, 최신 모델 (Transformer) 에는 안 쓰이는 경우가 많았습니다. (모든 차에 맞는 열쇠가 없음)
2. 정확성 vs 범용성: 정확한 설명을 하려면 모델 구조를 알아야 하고, 어떤 모델이든 쓸 수 있게 만들면 설명이 너무 막연해졌습니다.

SCAN 은 이 두 마리 토끼를 모두 잡는 만능 열쇠 같은 역할을 합니다.

---

🕵️‍♂️ SCAN 이 작동하는 원리: "재구성"과 "자신감 지도"

SCAN 의 핵심 아이디어를 일상적인 비유로 설명해 드릴게요.

1. 기억력 테스트 (재구성)

상상해 보세요. 친구가 "어제 먹었던 맛있는 파스타"에 대해 설명해 달라고 합니다.

• 기존 방법: "파스타가 맛있었다"라고만 대충 말합니다. (어떤 파스타인지, 어떤 소스인지 모호함)
• SCAN 의 방법: SCAN 은 AI 가 본 파스타의 특징 (면, 소스, 치즈) 을 기억해 내서, 실제 파스타 사진을 다시 그려내려고 시도합니다.
  • 만약 AI 가 "치즈" 부분만 기억해 내서 그림을 잘 그릴 수 있다면, AI 는 그 부분을 중요하게 여긴 것입니다.
  • 반면, "배경의 나무" 부분은 기억해 내지 못해 그림이 흐릿하게 나온다면, AI 는 그 부분을 중요하지 않게 여긴 것입니다.

이처럼 AI 가 원래 이미지를 얼마나 잘 다시 그릴 수 있는지를 통해, AI 가 무엇을 중요하게 생각했는지 파악하는 것이 SCAN 의 첫 번째 단계입니다.

2. 자신감 지도 (Self-Confidence Map)

SCAN 은 그림을 그리는 과정에서 "이 부분은 내가 확실히 기억하고 있어!"라고 자신 있게 표시하는 지도를 만듭니다.

• 이 지도는 AI 가 결정을 내릴 때 **가장 확신하는 부분 (정보량이 많은 부분)**을 밝게 빛나게 보여줍니다.
• 마치 형광펜으로 중요한 문장만 선명하게 표시해 주는 것과 같습니다.

3. 정보 병목 (Information Bottleneck) 원리

SCAN 은 "불필요한 잡음은 버리고, 진짜 핵심만 남기자"는 철학을 따릅니다.

• 마치 수프를 걸러내는 체처럼, AI 가 본 이미지의 모든 정보 중 결정에 정말 중요한 정보만 통과시켜 다시 그립니다.
• 이 과정에서 배경의 잡음이나 관련 없는 부분은 걸러져서 사라지고, 고양이 눈이나 귀 같은 핵심 부분만 선명하게 남게 됩니다.

---

🌟 SCAN 이 기존 방법보다 뛰어난 점

1. 어떤 모델이든 다 가능 (범용성)

• 기존: CNN 이라는 구형 엔진 차에는 열쇠가 맞지만, 최신 전기차 (Transformer) 에는 안 맞았습니다.
• SCAN: 엔진 종류를 가리지 않고 모든 차 (CNN, Transformer) 에 들어맞는 범용 열쇠입니다.

2. 흐릿한 그림이 아닌 선명한 사진 (정확성)

• 기존 방법들 (GradCAM 등): 고양이의 위치를 대략적으로 "이쪽이다"라고 흐릿한 붉은색 덩어리로 표시합니다. 배경까지 같이 빨갛게 칠해지는 경우가 많습니다.
• SCAN: 고양이의 정확한 윤곽선을 따라 선명하게 표시합니다. 배경의 풀이나 나무는 깔끔하게 제거되어, AI 가 정말 '고양이'를 보고 판단했음을 증명합니다.

3. 신뢰할 수 있는 설명 (신뢰도)

• 실험 결과, SCAN 은 AI 가 잘못된 판단을 내렸을 때 그 이유를 정확히 찾아내거나, AI 가 어떤 특징에 집중했는지 가장 정확하게 보여줍니다.
• 마치 수사관이 용의자의 행동 동기를 정확히 추적해 내는 것과 같습니다.

---

💡 왜 이것이 중요한가요?

우리가 자율주행차나 의료 진단 AI 를 사용할 때, "왜 이 환자를 암으로 판단했지?", "왜 이 신호를 멈춤으로 인식했지?"라는 질문을 할 수 있어야 합니다.

기존의 AI 설명 도구들은 "어디서 봤는지" 대충 알려주거나, 모델마다 다른 도구를 써야 해서 혼란스러웠습니다. 하지만 SCAN은:

1. 어떤 AI 모델이든 똑같이 작동합니다.
2. 정확하고 선명한 이유를 시각적으로 보여줍니다.
3. 배경 잡음을 제거하고 핵심만 보여줍니다.

이 덕분에 우리는 AI 가 내린 결정을 더 쉽게 이해하고, 신뢰할 수 있게 됩니다. SCAN 은 AI 가 블랙박스 (검은 상자) 가 아니라, 우리가 이해할 수 있는 투명한 창문이 되어주는 혁신적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

딥러닝 모델, 특히 합성곱 신경망 (CNN) 과 트랜스포머 (Transformer) 기반의 컴퓨터 비전 모델은 자율주행, 의료 진단 등 고위험 분야에서 널리 사용되고 있습니다. 그러나 이러한 모델의 의사결정 과정을 투명하게 설명하는 설명 가능한 AI(XAI) 분야에서 다음과 같은 근본적인 딜레마가 존재합니다.

• 정확성 (Fidelity) vs. 범용성 (Universality) 의 트레이드오프:
  • 범용적 방법 (Universal): LIME, RISE 와 같은 모델 독립적 (Model-agnostic) 방법은 다양한 아키텍처에 적용 가능하지만, 설명의 정확도 (신뢰성) 가 낮습니다.
  • 아키텍처 특화 방법 (Architecture-specific): GradCAM(CNN 용), Rollout(Transformer 용) 등은 높은 정확도를 보이지만, 특정 모델 구조에 종속되어 다른 모델 간 설명력을 비교하기 어렵습니다.
• 해석의 모호성: 기존 방법들은 종종 추상적인 영역 분할이나 불명확한 특징 경계를 생성하여, 실제 모델의 의사결정 과정을 오해하게 만들거나 객체와 배경을 명확히 구분하지 못하는 문제가 있습니다.

이러한 한계를 극복하고, CNN 과 Transformer 모두에 적용 가능하면서도 높은 정확도 (High-fidelity) 를 가진 통합된 시각적 설명 프레임워크가 필요합니다.

2. 제안 방법론 (Methodology: SCAN)

저자들은 **Self-Confidence and Analysis Networks (SCAN)**이라는 새로운 범용 프레임워크를 제안합니다. SCAN 은 모델의 중간 레이어 특징 맵을 재구성 (Reconstruction) 하는 방식을 기반으로 하며, 정보 병목 (Information Bottleneck, IB) 이론을 핵심 원리로 활용합니다.

핵심 구성 요소 및 프로세스:

1. 그래디언트 마스킹된 특징 맵 (Gradient-masked Feature Map):

   • 대상 모델의 중간 레이어에서 추출한 특징 맵 ($F$) 에 특정 클래스에 대한 그래디언트 맵 ($G$) 을 마스크로 적용합니다.
   • 그래디언트 값의 상위 $P\%$(예: 95%) 만을 선택하여, 해당 클래스 예측에 가장 중요한 특징만 남기고 잡음을 제거합니다.
   • 수식: $\hat{F} = F \odot I(G \ge \text{Percentile}(G, P))$

2. 정보 병목 (Information Bottleneck, IB) 기반 재구성:

   • 목표: 필터링된 특징 맵을 원본 이미지 공간으로 재구성하는 과정에서, 모델이 '어떤 정보가 재구성에 필수적인지'를 학습하게 합니다.
   • 압축 공간 ($T$): IB 이론에 따라 불필요한 정보는 버리고 예측에 필요한 정보만 남기는 압축된 표현을 학습합니다.
   • 자기 확신 맵 (Self-Confidence Map): 재구성 과정에서 모델이 가장 자신 있게 (재구성 오차가 적게) 예측하는 영역을 시각화한 맵을 생성합니다. 이는 핵심 의사결정 영역을 강조합니다.

3. 손실 함수 (Loss Functions):

   • Confidence Loss: 자기 확신 맵의 영역 크기를 하이퍼파라미터 $\alpha$로 제어하며, 재구성 오차를 최소화하도록 유도합니다.
   • Reconstruction Loss: 자기 확신 값이 높은 영역일수록 재구성 오차에 더 큰 페널티를 부여하여, 모델이 중요한 영역을 집중적으로 학습하도록 합니다.
   • Gaussian Blur: 다운샘플링 과정에서 손실된 고주파 정보를 복원하기 어렵기 때문에, 원본 이미지를 블러 처리한 것을 재구성 타겟으로 사용하여 학습 안정성을 높입니다.

4. 분석 네트워크 (Analysis Network):

   • CNN 모델의 경우 ResNet 기반 디코더를, Transformer 모델의 경우 Transformer 블록 기반 디코더를 사용하여 특징 맵을 원본 이미지 크기로 복원하고 4 채널 (RGB 3 채널 + 자기 확신 맵 1 채널) 을 출력합니다.

3. 주요 기여 (Key Contributions)

• 아키텍처 무관한 범용 프레임워크: CNN 과 Transformer 아키텍처를 구분하지 않고 동일한 재구성 메커니즘을 적용하여, 다양한 모델 간 설명력 비교가 가능합니다.
• 높은 충실도 (High Faithfulness): 정보 병목 이론을 통해 모델이 실제로 의존하는 핵심 특징 (객체) 을 배경과 명확히 분리하여 시각화합니다.
• 정량적 및 정성적 우위: 기존 SOTA 방법들 (GradCAM, LIME, Explainability 등) 보다 객체 중심의 명확한 설명을 제공하며, 다양한 평가 지표에서 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

ImageNet, CUB-200, Food-101 등 다양한 데이터셋과 모델 (ViT, ResNet, DINO, DeiT 등) 에서 실험을 수행했습니다.

• 정량적 평가 (Quantitative Metrics):

  • AUC-D (AUC Difference): SCAN 은 ImageNet 에서 **36.87%**의 AUC-D 점수를 기록하여, 트랜스포머 특화 방법인 'Explainability'(37.13%) 와 경쟁력 있는 성능을 보였습니다.
  • Faithfulness (신뢰성): 'Explainability' 대비 Drop% 가 20.54%p 낮아졌으며, Positive AUC 는 **12.42%**로 매우 낮게 유지되어 (낮을수록 중요 특징을 잘 찾음), 모델의 의사결정에 가장 중요한 영역을 정확히 포착함을 보여줍니다.
  • Sanity Check: 모델 가중치나 레이블을 무작위화했을 때 SCAN 의 성능이 급격히 떨어지는 것을 확인하여, 설명이 모델의 실제 학습된 가중치에 기반함을 검증했습니다.

• 정성적 평가 (Qualitative Results):

  • 기존 방법들은 배경 잡음이 많거나 객체 경계가 모호한 반면, SCAN 은 배경 노이즈를 최소화하고 객체의 완전한 형태를 정밀하게 분할하여 시각화합니다.
  • 다양한 아키텍처 (ViT-b16, ResNet50V2 등) 에서 일관되게 명확한 자기 확신 맵을 생성합니다.

• 효율성:

  • Perturbation 기반 방법 (LIME, RISE) 보다 약 86~859 배 빠르게 추론이 가능합니다. (SCAN: 13.75ms vs LIME: 1187.5ms)

5. 의의 및 결론 (Significance)

이 논문은 높은 정확도 (Fidelity) 와 넓은 적용 범위 (Universality) 사이의 간극을 해소하는 중요한 진전을 이루었습니다.

• 표준화된 평가 도구 제공: 서로 다른 모델 패밀리 (CNN vs Transformer) 간의 설명력을 공정하게 비교할 수 있는 표준 도구를 제시합니다.
• 신뢰할 수 있는 AI 시스템 구축: 자율주행, 의료 등 안전이 중요한 분야에서 모델의 의사결정 과정을 투명하게 검증할 수 있게 하여, AI 시스템의 신뢰성을 높이는 데 기여합니다.
• 미래 연구 방향: 현재 분석 네트워크의 별도 학습이 필요하다는 계산 비용 과부하 문제는 있으나, 추론 속도가 매우 빠르다는 장점이 있어 실제 적용 가능성이 높습니다.

결론적으로 SCAN 은 복잡한 신경망의 의사결정 과정을 이해하기 위한 단일하고 강력한 시각적 설명 도구로서, XAI 분야의 새로운 기준을 제시합니다.