기술 요약: Vision Transformer를 위한 Grad-CAM

1. 문제 제기

Gradient-weighted Class Activation Mapping (Grad-CAM)은 명확한 채널 및 공간 차원을 가진 공간 특징 맵(spatial feature maps)에 의존하여 합성곱 신경망(CNN)의 의사결정을 시각화하는 표준 기술입니다. 그러나 Vision Transformer(ViT) 및 기타 토큰 기반 아키텍처는 컨볼루션 특징 맵을 생성하는 대신, 토큰 임베딩, 셀프 어텐션 메커니ism, 잔차 스트림(residual streams)을 활용합니다.

이러한 근본적인 구조적 불일치에도 불구하고, 문헌에서는 정당한 근거 제시나 적응 과정, 혹은 구조적 차이에 대한 인정 없이 Grad-CAM이 ViT에 일상적으로 적용되고 있습니다. 본 논문은 중요한 격차를 식별합니다: "ViT에서의 Grad-CAM"이라는 용어는 고유하고 잘 정의된 절차를 지칭하지 않는다는 점입니다. CNN과 달리 ViT는 속성(attribution)을 추출할 수 있는 여러 잠재적 소스(예: 토큰 임베딩, 어텐션 행렬, MLP 출력)를 제공합니다. 현재의 문헌들은 이러한 적응 과정을 단순한 CNN 공식의 사소한 확장으로 취급하는 경우가 많으며, 이는 다음과 같은 결과를 초래합니다:

• 방법론적 모호성: 저자들은 특징 추출 위치, 그래디언트 타겟, 토큰 처리(예: [CLS] 토크 제거), 집계 전략(aggregation strategies)에 관한 세부 사항을 자주 누락합니다.
• 재현성 위기: 명시적인 규정 없이는, 보고된 히트맵이 대안적인 선택지들로 구성된 넓은 공간 중 하나가 선택된 결과물일 뿐이므로, 이를 재현하거나 과학적으로 평가하는 것이 불가능합니다.
• 오해: 시각화 자료가 토큰 활성화, 어텐션 가중치, 또는 교차 모달 상호작용을 나타내는지 명확히 밝히지 않은 채, 모델의 행동이나 시각적 근거로서 제시되는 경우가 많습니다.

2. 방법론

저자들은 두 갈래의 접근 방식인 **체계적인 문헌 감사(systematic literature audit)**와 기술적 분류 체계(descriptive taxonomy) 개발을 채택했습니다.

A. 체계적인 문헌 감사

• 코퍼스 구축: 저자들은 2026년 4월 17일, "Grad-CAM" AND "Vision Transformer" (또는 "ViT") 쿼리를 사용하여 2021년 이후의 논문으로 제한하여 Google Scholar에서 검색을 수행했습니다. CVF, NeurIPS 또는 IEEE Access를 통해 이용 가능한 논문으로 필터링한 결과, 초기 풀(pool)은 약 550편의 논문이 확보되었습니다.
• 스크리닝: 수동 스크리닝을 통해 ViT 또는 ViT 기반 아키텍처(Swin Transformer, BEiT, CLIP, BLIP 포함)에 Grad-CAM 또는 Grad-CAM 인접 방법(예: Grad-CAM++, LayerCAM, ScoreCAM)을 적용한 175편의 논문을 식별했습니다.
• 분석: 논문들을 출판 장소, 연도, 작업 설정, 아키텍처 유형, 보고 상세 수준에 따라 코딩했습니다. 분석은 저자들이 적응 과정을 어떻게 정당화했는지, 어떤 특징 표현(feature representations)을 사용했는지, 그리고 제공된 방법론적 상세 수준이 어느 정도인지에 초점을 맞췄습니다.

B. 적응에 대한 기술적 분류 체계

방법론적 격차를 규명하기 위해, 저자들은 ViT에 Grad-CAM을 적응시키는 데 필요한 선택 사항들을 명시적으로 범주화하는 분류 체계를 제안합니다. 이 분류 체계는 규범적(prescriptive)이지 않고(즉, 단일한 "정답" 방법을 정의하는 것이 아님) 기술적(descriptive)이며, 암묵적인 선택을 명시적으로 만드는 것을 목적으로 합니다. 주요 차원은 다음과 같습니다:

1. 특징 추출 위치 (Feature Extraction Locations): 트랜스포머 블록 내 어디에서 "특징 맵"을 추출할 것인가를 식별합니다. 논문은 6가지 주요 후보를 정의합니다:

   • $F_1$: 멀티 헤드 어텐션 이전의 LayerNorm 출력 (정규화된 토큰 임베딩).
   • $F_2$: Softmax 정규화된 어텐션 행렬 (토큰 간 상호작용 강도).
   • $F_3$: 어텐션 출력 (Value가 투영된 토큰 표현).
   • $F_4$: FFN 이전의 LayerNorm 출력.
   • $F_5$: FFN 출력.
   • $F_6$: Post-FFN 잔차 출력.
   • 교차 어텐션(Cross-Attention): 시각-언어 모델(VLM)의 경우, 텍스트 쿼리와 이미지 키를 연결하는 컨텍스트 측 표현과 교차 어텐션 맵을 구분합니다.

2. 그래디언트 타겟 (Gradient Targets): 그래디언트가 계산되는 대상이 되는 스칼라 목적 함수($y_c$)를 정의합니다. 이는 작업(예: 분류를 위한 클래스 로짓, VLM을 위한 ITM 점수, 세그멘테이션 손실)에 따라 달라집니다.

3. 토큰 처리 및 공간 재구성 (Token Handling and Spatial Reconstruction):

   • 토큰 선택: [CLS] 토큰으로부터의 그래디언트를 사용할지, 패치 토큰들에 대해 그래디언트를 평균화할지, 또는 비공간적 토큰을 완전히 제외할지를 결정합니다.
   • 재구성(Reshaping): 1D 토큰 시퀀스를 다시 2D 공간 그리드($H/P \times W/P$)로 매핑합니다. 이는 모든 표현(특히 셀프 어텐션에 의해 심하게 혼합된 표현)에 대해 래스터 스캔 순서(raster-scan ordering)가 유지된다고 가정합니다.

4. 집계 전략 (Aggregation Strategies):

   • 선형 결합: 특징 차원을 결합하는 방법 (예: 공간 토큰에 대해 그래디언트를 평균화할지, 아니면 [CLS] 그래디언트를 사용할지).
   • 헤드 집계: 멀티 헤드 어텐션의 경우, ReLU 적용 전후에 헤드를 평균화할지, 또는 헤드를 별도의 채널로 취급할지를 결정합니다.

3. 주요 결과

175편의 논문에 대한 감사는 다음과 같은 몇 가지 중요한 발견을 도출했습니다:

• 정당화 부족: 약 **58% (101편)**의 논문이 원래의 CNN 기반 Grad-CAM 논문이나 비(非) ViT 변형만을 참조했을 뿐, 트랜스포머에 해당 방법을 적용하는 것에 대한 이론적 정당성을 전혀 제공하지 않았습니다.
• 희박한 방법론적 상세 정보: 적응 과정을 명시적으로 정당화하거나 이를 수행한 선행 연구를 인용한 논문은 **15% (26편)**에 불<과했습니다. 그중에서도 13개의 뚜렷한 피어 리뷰된 적응 방식만이 식별되었으며, 이는 해당 분야가 표준적인 관습에 도달하지 못했음을 나타냅니다.
• 코드 저장소 의존: 약 **10% (17편)**는 pytorch-grad-cam 라이브 라이브러리에만 의존했으며, 이 라이브러리는 적응에 대한 이론적 근거를 제공하지 않은 채 ViT Grad-CAM을 구현합니다.
• 불충분한 명시: 특정 적응 방식을 사용한다고 주장한 논문들 사이에서도 다음과 같은 핵심 세부 사항이 누락되는 경우가 많았습니다:
  • 사용된 정확한 트랜스포머 레이어.
  • [CLS] 토큰의 포함 여부.
  • 어텐션 헤드의 집계 방식.
  • 구체적인 그래디언트 타겟 (예: raw logit vs. softmax probability).
• 시각적 가변성: 표준 ViT-B/16 모델에 대한 질적 실험 결과, 선택한 요소(특징 위치, 그래디언트 타겟, 가중치 전략)에 따라 동일한 입력과 클래스에 대해 질적으로 다른 히트맵이 생성됨을 입증했습니다. 어떤 맵은 객체를 국소화한 반면, 다른 맵은 컨텍스트를 강조하거나 반전된 형태를 보였습니다.

4. 주요 기여

1. 체계적 감사: ViT에서의 Grad-CAM 적용 사례의 보편성과 보고 품질을 정량화한 최초의 대규모 문헌 검토로서, 방법론적 엄격함의 광범위한 결여를 드러냈습니다.
2. 기술적 분류 체계: 토큰 기반 아키텍처에 Grad-CAM을 적응시키는 데 필요한 구체적인 방법론적 선택(특징 위치, 그래디언트 타겟, 토큰 처리, 집계)을 범주화하는 프레임워크를 제공합니다. 이 분류 체계는 단일한 해결책을 규정하기보다는 기존의 변형들을 설명하기 위한 어휘 역할을 합니다.
3. 모호성 식별: 본 논문은 "ViT에서의 Grad-CAM"이 미지정된(underspecified) 용어임을 강조합니다. 적응 선택 사항을 명시적으로 보고하지 않으면 시각화 자료를 재현 가능한 과학적 증거로 취급할 수 없음을 입증했습니다.
4. 보고를 위한 가이드라인: 저자와 검토자가 모델의 행동에 대한 주장을 뒷받침할 수 있도록, ViT Grad-CAM 시각화에 필요한 필수 세부 사항(특징 표현, 그래디언트 타겟, 토큰 처리, 집계, 공간 재구성)을 포함하도록 하는 체크리스트를 제공합니다.

5. 의의 및 주장

본 논문은 ViT에 Grad-CAM을 적용하는 현재의 관행이 방법의 가정(공간 특징 맵)과 모델의 아키텍처(토큰 시퀀스) 사이의 이론적 불일치를 무시하는 "플러그 앤 플레이(plug-and-play)" 방식인 경우가 많다고 주장합니다.

• 과학적 엄격성: 저자들은 현재의 명시적 규정 부족이 고위험 영역(예: 의료 영상, 안전 필수 시스템)에서 설명의 과학적 타당성을 저해한다고 주장합니다. 불충분하게 명시된 히트맵은 시각적으로는 설득력이 있을지 모르나 과학적으로는 해석 불가능합니다.
• 재현성: 본 연구는 적응 선택 사항을 명시적으로 보고하지 않고서는 재현성이 불가능하다고 단언합니다. 분류 체계는 현재 동일한 라벨을 공유하고 있는 서로 다른 속성 절차들을 연구자들이 구분할 수 있게 해줍니다.
• 제한적 범위: 논문은 단일한 "정답" Grad-CAM 적응법을 제안하는 것이 목적이 아님을 명시합니다. 대신, 수행되는 방법론적 선택의 범위를 명확히 하고 보고의 투명성을 높이는 것을 목표로 합니다. 목표는 커뮤니티가 재현 가능한 속성 절차와 시각적으로는 설득력 있지만 명시되지 않은 설명을 구분할 수 있도록 돕는 것입니다.

결론적으로, 본 논문은 연구 커뮤니티에 변화를 촉구합니다: 즉, ViT에서의 Grad-CAM을 CNN 방법의 사소한 확장으로 취급하는 것에서 벗어나, 모든 시각화가 그 기저에 깔린 수학적 및 구현적 선택에 대한 정밀한 정의를 동반하는 더욱 엄격하고 아키텍처를 고려한 접근 방식으로 나아가야 한다는 것입니다.