기술 요약: DAVE – ViT 그래디언트 분해를 통한 분포 인지형 어트리뷰션 (Distribution-aware Attribution via ViT Gradient Decomposition)

1. 문제 정의

비전 트랜스포머(Vision Transformers, ViTs)는 컴퓨터 비전 분야에서 최첨단 성능을 달나 성과를 거두었으나, 설명 가능한 AI(XAI) 측면에서는 상당한 과제를 안겨줍니다. CNN과 달리 ViT는 어텐션 메커니즘을 사용하여 이미지를 패치 토큰의 시퀀스로 처리합니다. 이러한 구조는 어트리뷰션 맵에 다음과 같은 특정 아티팩트(artifact)를 유발합니다:

• 구조적 아티팩트 (Structured Artifacts): 그래디언트 및 어텐션 기반 설명은 토큰화와 어텐션 라우팅으로 인해 발생하는 격자 형태의 패턴이나 "패치 그리드(patch-grid)" 아티팩트를 나타내는 경우가 많습니다.
• 불안정성 (Instability): 기존 방법들은 빈번하게 불안정한 픽셀 수준 어트리뷰션을 생성하거나, 미세한 시각적 근거가 부족한 거친 패치 수준의 설명에 의존해야 하는 상황에 직면합니다.
• 민감도 (Sensitivity): 표준 그래디언트 기반 방법들은 유효한 입력-출력 변환(effective input-output transformation)과 입력에 대한 연산자의 변화(variation of the operator)를 모두 포착합니다. 후자는 고주파의 국소적으로 불안정한 성분을 증폭시켜 노이즈가 많은 설명을 초래하는 경우가 많습니다.

본 논문은 ViT를 위해 안정적이고 고해 resolution이며 클래스 일관성을 갖춘 어트리뷰션 맵을 얻는 것이 여전히 해결되지 않은 과제라고 주장하며, 이를 위해 구조적 노이즈로부터 진정한 의미론적 특징을 분리할 수 있는 방법이 필요하다고 제안합니다.

2. 방법론: DAVE

저자들은 모델의 안정적인 유효 변환(effective transformation)을 분리하기 위해 입력 그래디언트를 분해하는 수학적으로 근거 있는 프레임워크인 DAVE(Distribution-aware Attribution via ViT Gradient Decomposition)를 제안합니다.

2.1. 구조적 그래디언트 분해 (Structured Gradient Decomposition)

핵심적인 이론적 기여는 레이어 미분의 분해입니다. 저자들은 ViT 레이어를 미분 가능한 연산자 값 맵 $L(X)$와 편향(bias)이 결합된 형태로 모델링합니다. 레이어 $F(X)$의 미분은 두 가지 뚜렷한 항으로 구성됨을 보여줍니다 (식 3):

1. 유효 변환 (Effective Transformation, $L(X)$): 입력에 대해 레이어가 수행하는 직접적이고 입력 조건적인 작용입니다. 이는 예측에 사용되는 안정적인 매핑을 나타냅니다.
2. 연산자 변화 (Operator Variation): 입력에 대한 연산자 $L(X)$의 미분입니다. 이 항은 입력의 작은 섭동(perturbation)에 따라 내부 메커니즘이 어떻게 변하는지를 포착하며, 고주파 불안정성과 아티팩트의 원인으로 식별됩니다.

DAVE는 연산자 변화 항을 버리고, 유효 변환만을 기초적인 어트리뷰션 신호로 유지합니다.

2.2. 등변 필터링 (Equivariant Filtering)

특정 예측에는 유용하지 않지만 입력 전반에 걸쳐 안정적인 구조적 패턴(예: 패치 임베딩에서 발생하는 그리드 아티팩트)을 해결하기 위해, DAVE는 Reynolds 스타일의 연산자를 적용합니다.

• 등변성 기준 (Equivariance Criterion): 이 방법은 어트리뷰션 맵이 입력의 작은 공간적 변환(예: 회전, 이동) 하에서도 일관되게 변환되어야 한다고 가정합니다.
• 필터링 (Filtering): DAVE는 확률 측도 $\nu$로부터 샘플링된 국소적 공간 변환의 이웃 영역에서 유효 변환을 평균함으로써, 국부적 등변성을 위반하는 성분을 억제합니다. 이를 통해 입력의 의미론적 내용과 일관되게 변화하는 어트리뷰션 신호를 분리합니다.

2.3. 저역 통과 안정화 (Low-Pass Stabilization)

고주파 아티팩트를 추가로 억제하기 위해, DAVE는 저역 통과 필터링 연산을 적용합니다. 이는 작은 가우시안 섭동($\epsilon$) 하에서의 등변 유효 변환의 기댓값을 취함으로써 달성됩니다.

• 수학적으로 이는 등변 변환을 스무딩 커널 $K$와 컨볼루션하는 것과 같습니다 (식 7).
• 일반적인 SmoothGrad(원시 그래디언트를 평균 내는 방식)와 달리, DAVE는 유효 변환을 평균 내므로, 버려진 연산자 변화 아티팩트를 재도입하지 않으면서도 어트리뷰션을 안정화합니다.

2.4. 최종 어트리뷰션 맵 (Final Attribution Map)

최종 DAVE 어트리뷰션 맵은 분포 인지형 유효 변환을 입력을 통해 요소별 곱(element-wise multiplication)으로 계산하여 산출됩니다:
$$\text{DAVE}(X) = \tilde{W}^{eq}_L(X) \odot X$$
여기서 $\tilde{W}^{eq}_L(X)$는 공간 변환 및 노이즈에 대한 변환된 유효 연산자의 기댓값입니다.

3. 주요 기여

1. 수학적 프레임워크: 유효 입력-출력 변환과 연산자 변화를 분리하는 구조적 그래디언트 분해를 제공하여, 안정적인 ViT 어트리뷰션을 위한 이론적 토대를 마련했습니다.
2. DAVE 알고리즘: 패치 및 어텐션 유도 아티팩트를 억제하고 안정적이며 고해상도의 픽셀 수준 어트리뷰션을 생성하기 위해 건축적 특성을 활용하는 실질적인 비전 트랜스포머 구현체를 제공합니다.
3. 범용성: 이 방법이 완전 지도 학습 모델(예: DeiT, ViT)뿐만 아니라 자기 지도 학습 기반의 파운데이션 모델(예: DINO) 및 본질적으로 해석 가능한 구조(B-cos 네트워크)에서도 효과적으로 작동함을 입증했습니다.

4. 실험 결과

저자들은 ImageNet-1k 데이터셋에서 표준 ViT 백본(ViT-B/16, DeiT-B/16, DeiT-III-B/16, DINO ViT-B/16) 및 B-cos 모델을 사용하여 DAVE를 평가했습니다.

4.1. 로컬라이제이션 성능 (Localization Performance)

• 그리드 포인팅 게임 (Grid Pointing Game, GridPG): DAVE는 모든 베이스라인(I×G, Integrated Gradients, SmoothGrad, LeGrad, AttnLRP, Chefer-LRP 포함)을 능가했습니다.
  • DeiT-III-B/16에서 DAVE는 **65.76%**를 달성하여, 가장 우수한 경쟁 방법보다 11.92 퍼센트 포인트 향상된 성능을 보였습니다.
  • DeiT-B/16에서는 **63.52%**를 달성했습니다 (+8.05 p.p. 향상).
• 에너지 포인팅 게임 (Energy Pointing Game, EnergyPG): DAVE는 DeiT-B/16(82.23%)과 DeiT-III-B/16(82.43%)에서 가장 높은 점수를 기록했으며, DINO-B/16에서도 유의미한 개선(83.38%)을 보였습니다.
• B-cos 모델: DAVE는 B-cos 네트워크의 본질적인 설명 성능을 개선하여, B-cos-ViT에서 EnergyPG 기준 **+9.14 p.p.**의 향상을 달성했습니다.

4.2. 충실도 (Faithfulness, Pixel Deletion)

• 픽셀 삭제 곡선(중요도가 낮은 픽셀부터 높은 픽셀 순으로 제거)을 사용했을 때, DAVE는 가장 완만한 곡선을 나타냈습니다. 이는 픽셀이 제거됨에 따라 모델의 예측 확신도가 더 오래 안정적으로 유지됨을 의미합니다. 이는 DAVE의 어트리뷰션이 기존 방법들에 비해 모델의 실제 의사결정 과정과 더 일치함을 시사합니다.

4.3. 정성적 분석 (Qualitative Analysis)

• 시각적 비교 결과, DAVE는 배경 노이즈를 줄이고 더 날카로우며 객체에 정렬된 맵을 생성함을 보여주었습니다.
• 확산된 응답이나 패치 그리드 아티팩트를 자주 보이던 베이스라인(예: SmoothGrad, IntGrad)과 달리, DAVE는 다양한 ViT 변형 모델에 걸쳐 의미론적으로 유의미한 특징(예: 윤곽선, 독특한 부분)을 일관되게 강조했습니다.

5. 의의 및 주장

본 논문은 DAVE가 안정적이고 고해상도이며 클래스 일관성을 갖춘 어트리뷰션 맵을 생성하는 메커니즘을 제공함으로써 ViT 설명 가능성의 핵심적인 간극을 해결한다고 주장합니다.

• 신뢰성: 유효 변환을 격리하고 연산자 변화 및 구조적 아티팩트를 억제함으로써, DAVE는 고용량 비전 모델을 감사(audit)하기 위한 더 신뢰할 수 있는 메커니즘을 제공합니다.
• 적용 가능성: 이 방법은 실무자들이 모델의 편향을 식별하고, 오분류를 디버깅하며, 인간의 지각과 일치하는 시각적 근거를 제공함으로써 인간-AI 협업을 강화하는 도구로 제시됩니다.
• 한계 인정: 저자들은 평균 연산자가 원시 그래디언트 방법보다 높은 계산 오버헤드를 발생시킨다는 점을 인정합니다. 이들은 향-후 연구에서 비용을 줄이기 위해 더 효율적인 샘플링이나 변환 그룹의 자동 선택에 집중할 수 있다고 제안합니다.

요약하자면, DAVE는 ViT의 예측에서 "신호"를 건축적 구현의 "노이즈"로부터 분리하는 수학적으로 엄밀한 접근 방식을 제공하며, 그 결과 공간적으로 정밀하고 견고한 설명을 도출합니다.