Winsor-CAM: Human-Tunable Visual Explanations from Deep Networks via Layer-Wise Winsorization

이 논문은 CNN 의 모든 합성곱 계층에서 그라디언트 기반 설명을 집계하고 백분위수 기반 윈소라이제이션을 적용하여 다중 스케일 정보를 포착하고 사용자가 의미 수준을 조절할 수 있는 새로운 시각적 설명 방법인 'Winsor-CAM'을 제안하며, 의료 및 자율 시스템 등 안전이 중요한 분야에서 기존 방법들보다 뛰어난 국소화 및 충실도 성능을 입증했습니다.

핵심

🕵️‍♂️ AI 의 눈: "무엇을 보고 판단했을까?"

우리가 사진을 보고 "저건 개야"라고 말할 때, 우리는 개 전체를 보고 판단합니다. 하지만 AI(딥러닝) 는 사진을 아주 작은 조각들 (픽셀) 로 쪼개서 여러 단계의 과정을 거쳐 판단합니다.

기존의 유명한 방법인 **'Grad-CAM'**은 AI 가 결정을 내릴 때 마지막 단계에서만 무엇을 보았는지 알려줍니다.

• 비유: 마치 시험을 치른 학생에게 "너는 마지막 문제만 풀었어"라고 말하는 것과 같습니다. 하지만 학생은 처음부터 끝까지 문제를 풀었을 텐데, 마지막 단계만 보면 중요한 단서 (예: 문제의 첫 문장이나 중간 계산 과정) 를 놓칠 수 있습니다.

🎯 새로운 방법: 윈저-CAM (Winsor-CAM)

이 논문은 "그럼 처음부터 끝까지 모든 단계를 다 보자!"라고 제안합니다. 하지만 모든 단계를 다 합치면 소음이 너무 많아서 오히려 혼란스러울 수 있습니다.

여기서 윈저-CAM이 등장합니다. 이 방법은 두 가지 핵심 아이디어를 사용합니다.

1. 모든 층 (Layer) 을 한 번에 보기 (다중 스케일 통합)

AI 는 사진을 볼 때, 처음에는 '모서리'나 '색깔' 같은 간단한 것을 보고, 나중에는 '코'나 '귀' 같은 복잡한 모양을 봅니다.

• 비유: 요리사를 생각해보세요.
  • 초기 층: 재료를 다지는 것 (소금, 후추, 채소).
  • 중간 층: 볶는 것.
  • 최종 층: 완성된 요리.
  • 기존 방법은 완성된 요리만 보여줬다면, 윈저-CAM은 다진 채소부터 볶는 과정까지 모든 과정의 기록을 한데 모아서 보여줍니다.

2. '윈저화 (Winsorization)': 극단적인 소음 제거하기

모든 과정을 다 모으면, 너무 큰 소리가 나는 부분 (예: 갑자기 튀어 오른 소음) 이 전체를 지배할 수 있습니다.

• 비유: 회의실 상황을 상상해보세요.
  • 회의에 10 명이 참여했는데, 1 명이 너무 크게 소리를 지르거나 (극단적인 값), 다른 1 명이 너무 조용해서 (무의미한 값) 의견이 왜곡될 수 있습니다.
  • 윈저-CAM은 "너무 큰 소리는 적당히 줄이고, 너무 작은 소리는 무시하자"는 규칙을 적용합니다.
  • 핵심: 이 규칙을 사용자가 조절할 수 있습니다.
    • "저는 세부적인 것 (초기 층) 을 더 보고 싶어요" → 설정을 낮게.
    • "저는 큰 그림 (최종 층) 을 더 보고 싶어요" → 설정을 높게.
  • 마치 라디오의 볼륨 조절이나 필터를 돌려서 원하는 소리를 선명하게 듣는 것과 같습니다.

🏆 왜 이 방법이 더 좋은가요?

논문은 이 방법이 기존 방법들보다 훨씬 정확하다고 증명했습니다.

1. 정확한 위치 파악 (Localization):

   • 기존 방법은 개가 있는 위치를 대충 가리켰지만, 윈저-CAM 은 개가 정확히 어디에 있는지 정교하게 가리킵니다.
   • 비유: 기존 방법은 "저기 개가 있어"라고 손가락을 대충 가리켰다면, 윈저-CAM 은 "저기 개가 있어"라고 정확히 코를 찍어줍니다.

2. 의사 결정의 신뢰성 (Fidelity):

   • AI 가 정말로 그 부분을 보고 판단했는지 검증하는 테스트에서도 훨씬 좋은 점수를 받았습니다.

3. 의료 분야에서도 작동:

   • 일반 사진뿐만 아니라, **내시경으로 보는 장기의 사진 (폴립)**에서도 잘 작동했습니다.
   • 비유: 의사가 AI 를 통해 "이 부분이 암일 가능성이 높은데, 왜 그렇게 생각하죠?"라고 물었을 때, 윈저-CAM 은 "이 부분의 색깔과 모양이 이상해서요"라고 정확한 이유를 보여줍니다.

💡 요약: 이 기술이 가져오는 변화

• 기존: AI 는 "검은 상자"처럼 보였습니다. 결과만 알려주고, 그 이유는 마지막 단계의 추측에 의존했습니다.
• 윈저-CAM: AI 는 이제 "투명한 상자"가 되었습니다.
  • 사용자 조절 가능: 전문가 (의사, 연구자) 가 "저는 미세한 결함을 보고 싶어요"라고 하면, AI 는 미세한 부분까지 확대해서 보여줍니다.
  • 신뢰도 상승: AI 가 왜 그런 결론을 내렸는지 명확하게 보여주므로, 인간이 AI 를 더 신뢰하고 안전하게 사용할 수 있게 됩니다.

한 줄 요약:

윈저-CAM은 AI 가 사진을 볼 때의 모든 과정을 모아서, 사용자가 "세부적인 것"과 "큰 그림" 사이에서 원하는 것을 조절하며 볼 수 있게 해주는, AI 의 생각 과정을 투명하게 보여주는 스마트한 돋보기입니다.

기술 요약

1. 문제 정의 (Problem Statement)

심층 신경망 (CNN) 의 의사결정 과정을 해석하는 것은 의료, 자율주행 등 안전이 중요한 분야에서 필수적입니다. 현재 가장 널리 사용되는 시각적 설명 방법인 Grad-CAM은 다음과 같은 한계를 가지고 있습니다.

• 단일 레이어 의존성: Grad-CAM 은 일반적으로 마지막 합성곱 레이어 (final convolutional layer) 만을 사용하여 설명을 생성합니다. 이로 인해 저수준의 특징 (텍스처, 엣지 등) 이 포함된 초기 레이어의 정보가 누락될 수 있습니다.
• 불안정성과 노이즈: 단순히 모든 레이어의 Grad-CAM 맵을 평균내는 (naïve averaging) 방식은 덜 관련 있는 특징 맵의 노이즈를 도입하여 의미 있는 패턴을 희석시킬 수 있습니다.
• 고정된 해석: 기존 방법들은 사용자의 의도나 작업 요구사항에 따라 설명의 세부 수준 (semantic resolution) 을 조절할 수 있는 유연성이 부족합니다.

2. 제안 방법: Winsor-CAM (Methodology)

저자들은 Winsor-CAM을 제안하여 위 한계를 해결했습니다. 이는 Grad-CAM 을 확장한 단일 패스 (single-pass) 기반의 다중 레이어 집계 방법입니다.

• 핵심 아이디어: CNN 의 모든 합성곱 레이어에서 생성된 Grad-CAM 맵을 집계하되, **윈소라이제이션 (Winsorization)**이라는 통계적 기법을 적용하여 극단적인 아웃라이어 (outlier) 기여도를 억제합니다.

• 작동 원리 (6 단계):

  1. 레이어별 Grad-CAM 계산: 네트워크의 모든 합성곱 레이어에 대해 클래스별 중요도 가중치와 특징 맵을 계산합니다.
  2. 공간 정렬 (Spatial Alignment): 각 레이어의 해상도가 다르므로, 모든 맵을 최대 해상도로 업샘플링 (보간) 합니다.
  3. 레이어별 중요도 스코어 추출: 각 레이어의 필터 가중치를 평균 (Mean) 또는 최대 (Max) 로 집계하여 단일 스칼라 중요도 ($\Gamma_i$) 를 도출합니다.
  4. 윈소라이제이션 (Outlier Suppression): **사용자가 조절 가능한 백분위수 파라미터 ($p$)**를 사용하여 중요도 스코어의 상위 $p$% 임계값을 설정합니다. 이 임계값을 초과하는 값들은 임계값으로 잘라내어 (clipping) 특정 레이어가 결과에 지나치게 지배적인 영향을 미치는 것을 방지합니다.
  5. 정규화: 잘라낸 중요도 스코어를 정규화하여 가중치로 사용합니다.
  6. 최종 히트맵 생성: 정규화된 가중치를 사용하여 업샘플링된 모든 레이어의 Grad-CAM 맵을 선형 결합하여 최종 히트맵을 생성합니다.

• 사용자 제어 가능성: 파라미터 $p$를 조절함으로써 사용자는 설명의 초점을 **저수준 특징 (낮은 $p$, 엣지/텍스처 강조)**에서 **고수준 의미 (높은 $p$, 객체/패턴 강조)**까지 동적으로 조정할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통계적 아웃라이어 억제 다중 레이어 집계: CNN 전체 합성곱 스택에 걸쳐 Grad-CAM 설명을 집계하면서, 윈도우라이제이션을 통해 아웃라이어를 강력하게 억제하는 최초의 방법입니다.
2. 인간이 조절 가능한 파라미터: 설명의 추상화 수준 (semantic abstraction level) 을 사용자의 필요에 따라 동적으로 조절할 수 있는 백분위수 파라미터를 도입했습니다.
3. 포괄적인 평가: 6 가지 CNN 아키텍처 (ResNet50, DenseNet121, VGG16 등) 와 PASCAL VOC 2012, 의료용 PolypGen 데이터셋을 활용하여 정량적 및 정성적 평가를 수행했습니다.
4. 기존 방법 대비 우월한 성능: Grad-CAM, Grad-CAM++, LayerCAM, FullGrad 등 7 가지 주요 베이스라인보다 정밀도 (IoU), 공간 정렬 (CoM distance), 충실도 (Insertion/Deletion AUC) 측면에서 우수한 성능을 입증했습니다. 특히, 최적의 $p$값 선택 없이 고정된 설정에서도 FullGrad 를 모든 지표에서 능가했습니다.

4. 실험 결과 (Results)

• PASCAL VOC 2012 (자연 이미지):
  • DenseNet121 모델에서 Winsor-CAM 은 **IoU 46.8%**를 기록하여, Grad-CAM(39.0%) 과 FullGrad(43.3%) 보다 월등히 높은 성능을 보였습니다.
  • Center-of-Mass (CoM) 거리는 0.059 로 Grad-CAM(0.074) 보다 객체 중심에 더 정확하게 위치했습니다.
  • Insertion AUC (0.656) 와 Deletion AUC (0.197) 역시 기존 방법들보다 우수한 충실도를 보여주었습니다.
  • Ablation Study: 초기 레이어를 포함할수록 국소화 (localization) 성능이 향상됨을 확인했습니다.
• PolypGen (의료 이미지):
  • 대장 폴립 분할 데이터셋에서도 Winsor-CAM 이 일관되게 베이스라인을 능가했습니다. 의료 이미지의 특수성 (블러 기반의 Insertion/Deletion 메트릭 한계) 으로 인해 일부 지표는 낮았으나, IoU 와 CoM 거리 측면에서 여전히 강력한 성능을 유지했습니다.
  • 의료 분야에서는 고수준 의미 특징이 더 중요하여, $p$값이 높을수록 성능이 개선되는 경향을 보였습니다.
• 강건성: 최적의 $p$값을 이미지별로 선택하는 오라클 (oracle) 설정이 아니더라도, 임의의 고정된 $p$값 설정만으로도 FullGrad 보다 우수한 성능을 보여 방법론의 robustness 를 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전 필수 응용 분야 적합성: 의료 및 자율 시스템과 같이 높은 신뢰성과 투명성이 요구되는 분야에서, 전문가 (Expert) 가 해석의 세부 수준을 직접 조절하며 모델의 의사결정을 검증할 수 있는 Human-in-the-loop 도구를 제공합니다.
• 효율성과 성능의 균형: 다중 패스 (multi-pass) 를 요구하는 기존 방법들과 달리, 단일 패스로 실행 가능하여 계산 비용이 낮으면서도 높은 정확도를 제공합니다.
• 차별화된 접근: 단순한 레이어 평균화를 넘어, 통계적 기법 (Winsorization) 을 통해 레이어 간 불균형을 해결하고 노이즈를 제거함으로써 더 신뢰할 수 있는 시각적 설명을 생성합니다.

결론적으로, Winsor-CAM 은 딥러닝 모델의 블랙박스 문제를 해결하기 위한 강력하고 유연하며 효율적인 새로운 시각적 설명 도구로, 특히 전문가의 개입이 필요한 복잡한 의사결정 시나리오에서 큰 잠재력을 가지고 있습니다.