From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

"From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현대 비전 모델 (CNN 및 Vision Transformer) 은 높은 정확도를 달성하지만 투명성이 부족합니다. 현재의 해석 가능성 (interpretability) 방법론은 세 가지 단절된 영역으로 분산되어 있습니다.

• 국소적 (Local): 특정 입력에 대해 모델이 어디를 보는지 설명 (예: saliency maps) 하지만, 클래스별 증거를 구분하거나 비국소적 특징을 처리하는 데 실패하는 경우가 많습니다.
• 전역적 (Global): 데이터셋 전반에 걸쳐 모델이 무엇을 인코딩하는지 설명 (예: 개념 발견) 하지만, Transformer 에서 활성화가 분산되어 있는 '비국소적' 특징의 경우 의미적 근거를 마련하기 어렵습니다.
• 기작적 (Mechanistic): 내부 계산이 계층을 거쳐 증거를 어떻게 조립하는지 설명하지만, 개념의 진화와 상호작용을 추적할 수 있는 통일된 단위가 부족합니다.

기존 방법론들은 종종 노이즈가 있거나 조작될 수 있는 기울기 (gradients) 에 의존하거나 휴리스틱 사후 처리를 사용하며, 픽셀 수준의 증거와 추상적인 잠재 개념 사이의 간극을 연결하는 일관된 분석 단계를 제공하지 못합니다.

2. 핵심 방법론: iERF 중심 프레임워크

저자들은 단일 근본 분석 단위를 중심으로 구축된 통일된 프레임워크를 제안합니다. 이는 점별 특징 벡터 (Pointwise Feature Vector, PFV) 와 이에 대응하는 인스턴스별 유효 수용野 (Instance-specific Effective Receptive Field, iERF) 의 결합입니다.

• 점별 특징 벡터 (PFV): 은닉층의 특정 공간 좌표에서의 다중 채널 활성화 벡터입니다. 이는 공간 위치를 불변의 앵커로 간주하여 CNN (슬라이딩 윈도우) 과 Transformer (토큰) 모두에 적용 가능합니다.
• 인스턴스별 유효 수용野 (iERF): 주어진 입력 인스턴스에 대해 특정 PFV 의 활성화를 유도하는 특정 입력 픽셀 (또는 패치) 을 식별하는 점수 맵입니다. 이론적 수용野와 달리 iERF 는 동적이며 증거에 기반합니다.

이 프레임워크는 이 단위를 사용하여 세 가지 해석 가능성 차원을 다룹니다.

A. 국소적 설명: 공유 비율 분해 (Sharing Ratio Decomposition, SRD)

• 목표: 고해상도이며 클래스 구별이 가능한 saliency 맵 생성.
• 메커니즘: SRD 는 목표 PFV 를 상류 PFV 들의 가중 혼합물로 분해합니다. 모델의 내부 아핀 변환을 사용하여 부분 기여도와 목표 벡터 간의 방향 정렬에 기반하여 공유 비율 (Sharing Ratios, $\mu$) 을 계산합니다.
• 과정: iERF 는 입력에서 출력으로 재귀적으로 전파됩니다. 최종 클래스 saliency 맵은 인코더 출력의 iERF 의 가중 합이며, 여기서 가중치는 클래스 무관 신호를 억제하도록 조정됩니다.
• 장점: 기울기 기반 방법과 달리 SRD 는 모델이 생성한 정보에만 의존하므로 노이즈와 적대적 조작에 강인하며, 활성화 함수에 무관합니다.

B. 전역적 설명: 개념 앵커 특징 설명 (Concept-Anchored Feature Explanation, CAFE)

• 목표: 픽셀 수준의 증거에 기반하여 추상적 잠재 벡터 (예: 희소 오토인코더나 Transformer 토큰에서 추출된 것) 를 해석.
• 문제: Transformer 에서 자기 주의 (self-attention) 는 전역 컨텍스트를 혼합하여 특징이 '비국소적' (원격 픽셀에 의해 활성화됨) 이 되게 합니다. 전통적인 '최고 활성화 패치' 방법은 여기서 실패합니다.
• 메커니즘: CAFE 는 각 개념 벡터에 대한 직접적인 의미 레이블로 iERF를 사용합니다. 어떤 토큰이 활성화되었는지 보는 대신, 어떤 픽셀이 해당 토큰의 활성화를 유도했는지 추적합니다.
• 과정: 관련성은 목표 SAE 뉴런에서 백본을 거쳐 입력으로 역전파됩니다. iERF 는 '떨어진 알약'과 같은 배경 패치와 같은 모호성을 해소하고 비국소적 특징 및 클래스 토큰에 대한 진정한 의미적 드라이버 (예: "떨어진 알약") 를 드러냅니다.

C. 기작적 설명: 계층 간 개념 그래프 (Interlayer Concept Graph, ICG) 및 ICAT

• 목표: 개념이 계층을 거쳐 어떻게 진화하고 상호작용하여 결정을 형성하는지 추적.
• 노드: PFV 공간에서 추출된 계층별 개념 벡터 (이분 k-means 또는 SAE 와 같은 방법 사용). 각 노드는 해당 iERF 로 앵커링됩니다.
• 엣지: 계층 간 개념 귀속 (Interlayer Concept Attribution, ICAT) 을 통해 정량화됩니다. ICAT 는 $a$층의 부모 개념이 $b$층의 자식 개념에 미치는 영향을 측정합니다.
• 귀속 방법: 논문은 계층 간 삽입/삭제 프로토콜을 사용하여 통합 기울기 (Integrated Gradients, IG) 가 ICAT 에 대한 가장 충실한 구현체 (ICAT$_{IG}$라고 명명됨) 임을 검증합니다.
• 출력: 저수준 특징 (텍스처) 에서 고수준 개념 (객체) 및 최종 결정으로 이어지는 증거 흐름을 보여주는 방향성 다중 그래프.

3. 주요 기여

1. 통일된 분석 단위: CNN 과 Transformer 전반의 국소적, 전역적, 기작적 분석을 위한 일관된 원시 요소로 PFV–iERF 번들 도입.
2. SRD (국소적): 충실도와 강인성 측면에서 최첨단 기준보다 우수한 클래스 구별 가능 saliency 맵을 생성하는 기울기 없는 강인한 방법.
3. CAFE (전역적): 검증 가능한 픽셀 증거에 기반하여 비국소적 SAE 특징과 Transformer 토큰을 해석하는 새로운 접근법으로, 클래스 토큰의 '공간 무차원성' 문제를 해결.
4. ICG 및 ICAT (기작적): 계층 간 개념 간 영향을 추적하는 프레임워크로, 계층 간 분석을 위한 최적의 귀속 방법으로서 통합 기울기를 식별.
5. 종합적 평가: ResNet50, VGG16, ViT 에 대한 광범위한 실험을 통해 국소화, 희소성, 충실도, 적대적 강인성에서 우수한 성능 입증.

4. 실험 결과

• 국소적 (SRD):
  • ImageNet-S50 에서 Pointing Game, Attribution Localization, Fidelity, Stability 측면에서 Grad-CAM, LRP, Integrated Gradients 등 기존 방법보다 우수함.
  • 표적 적대적 공격에 대해 높은 강인성을 보임 (경쟁 방법들은 실패한 반면 클래스 관련 단서를 유지함).
  • ReLU 에만 특화된 방법들과 달리 다양한 활성화 함수 (ReLU, Swish, GELU, Tanh) 에서 높은 충실도를 유지.
• 전역적 (CAFE):
  • 삽입 테스트에서 iERF 기반 CAFE 는 단순 활성화 순위 기반 방법보다 잠재 활성화를 훨씬 빠르게 복구함.
  • 전통적 방법이 모호하거나 잘못된 의미 레이블을 생성한 비국소적 특징 (예: "세 개" 카운팅 개념, "기사 갑옷") 을 성공적으로 해석.
• 기작적 (ICG):
  • 통합 기울기가 삽입/삭제 곡선에서 가장 가파른 하강/상승을 제공함을 검증하여, ICAT 에 대한 가장 충실한 방법임을 확인.
  • 실패 모드 성공적 진단:
    • 오분류: "복서견" 대 "호랑이 고양이"와 같은 경쟁 개념 경로가 오류를 유발함을 드러냄.
    • 적대적 공격: 왜곡이 "주름"과 같은 저수준 개념을 재사용하여 고수준 표현을 장악하는 방식을 추적.

5. 의의

이 논문은 픽셀에서 개념, 그리고 결정에 이르는 일관되고 증거 기반의 지도를 제공합니다. 모든 해석 가능성 작업을 iERF에 앵커링함으로써 이 프레임워크는 다음과 같은 효과를 가집니다.

• 통합: 국소적, 전역적, 기작적 해석 가능성 분야를 단일 수학적 렌즈 하에서 통합.
• 해결: 전역 컨텍스트 혼합이 국소적 증거를 흐리게 하는 현대 아키텍처 (Transformer) 의 특정 문제 해결.
• 신뢰 강화: 모델 디버깅, 실패 모드 이해, 모델이 우연한 상관관계가 아닌 의미 있는 특징에 의존하는지 검증하기 위한 강인하고 조작에 저항하는 도구 제공.
• 미래 영향: 사후 시각화에서 개념 기반 분석으로의 해석 가능성 전환을 위한 기반 마련하여 모델 제어 및 개입을 지원.