기술 요약: 효율적인 비전 트랜스포머 설명력을 위한 그래디언트 스킵 관련성 전파 (Gradient-Skipping Relevance Propagation)

1. 문제 정의

비전 트랜스포머(ViT)는 컴퓨터 비전 분야에서 최첨단 성능을 달rem성하였으나, 해석하기가 어렵다는 단점이 있습니다. 기존의 설명 가능성 방법론들은 그래디언트 기반(gradient-based), 어텐션 기반(attention-based), 섭동 기반(perturbation-based)으로 분류되며, 트랜스포머 구조에 적용할 때 심각한 한계에 직면합니다.

식별된 핵심 문제는 다음과 같습니다:

• 균일한 헤드 처리 (Uniform Head Treatment): 대부분의 어텐션 기반 접근 방식은 모든 어텐션 헤드가 균일한 중요도를 가진다고 가정합니다. 그러나 문헌에 따르면 헤드들은 이질적인 역할을 수행합니다. 어떤 헤드는 의미적으로 집중된 패턴을 인코딩하는 반면, 어떤 헤드는 확산된 형태로 어텐션을 수행합니다. 이들을 균일하게 취급하면 정보가 풍부한 신호와 정보가 없는 신호가 섞여 설명력이 희석됩니다.
• 잔차 연결 무시 (Neglect of Residual Connections): 기존 방법들은 스킵 연결(skip connections)을 항등 경로(identity paths)로 모델링하거나 고정된 휴리스틱을 사용합니다. 이는 학습된 변환에 의한 관련성과 단순히 항등 경로를 따라 보존된 관련성을 구분하지 못하며, 결과적으로 부정확한 관련성 할당을 초도합니다.
• 효율성 대 충실도 간의 트레이드오프 (Efficiency vs. Faithfulness Trade-off): 그래디언트 기반 방법은 계산 비용은 저렴하지만 깊은 트랜스포머에서 불안정한 할당 문제를 겪습니다. 섭동 기반 방법은 높은 충실도를 제공하지만 수천 번의 순전파(forward pass)가 필요한 막대한 계산 비용이 듭로듭니다. 어텐션 기반 방법은 효율적이지만 인과적 신뢰성이 부족한 경우가 많습니다.

2. 방법론: GradSkip

이러한 한계를 해결하기 위해, 저자들은 적응형 헤드 가중치 부여와 스킵 연결 인식 전파라는 두 가지 개념적 혁신을 도입한 관련성 전파 방법인 GradSkip을 제안합니다.

2.1 적응형 어텐션 헤드 가중치 부여 (Adaptive Attention Head Weighting)

모든 헤드를 평균 내는 대신, GradSkip은 두 가지 상보적인 지표를 결합하여 동적이고 헤드별로 특화된 중요도 가중치($\omega^l_q$)를 계산합니다:

1. 그래디언트 기반 흐름 지표 ($\tilde{g}^l_q$): 어텐션 점수에 의해 가중치가 부여된 그래디언트 크기를 측정함으로써, 모델의 결정에 대한 헤드의 인과적 영향력을 정량화합니다. 임계값 메커니ism을 통해 노이즈를 줄이기 위해 그래디언트 흐름이 미미한 헤드들을 필터링합니다.
2. 지니 기반 희소성 지표 ($\tilde{s}^l_q$): 헤드의 공간적-의미적 집중도를 포착합니다. 정렬된 어텐션 값에 대해 지니 계수(Gini coefficient)를 계산하며, 높은 지니 계수는 특정 영역에 집중된("spiked") 어텐션 패턴을 나타내어 확산된 분포와 구별합니다.

최종 가중치는 다음과 같은 볼록 결합(convex combination)으로 계산됩니다: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$. 여기서 $\alpha$는 인과적 관련성과 공간적 일관성의 균형을 조절합니다.

2.2 스킵 연결 인식 관련성 전파 (Skip-Connection-Aware Relevance Propagation)

GradSkip은 역전파 과정에서 트랜스포머 블록의 잔차 구조를 명시적으로 모델링합니다. 스킵 경로를 고정된 항등 경로로 취급하는 대신, 상대적인 인과적 기여도에 따라 **어텐션 변환 경로(attention transformation path)**와 스킵 연결 경로(skip connection path) 사이의 관련성을 동적으로 분할합니다.

각 경로의 기여도는 그래디언트 가중치 활성화 크기를 사용하여 정량화됩니다:

• $\beta^l_{main}$: 메인 어텐션 경로를 위한 정규화된 관련성 게이트.
• $\beta^l_{skip}$: 스킵 연결을 위한 보완적 게이트 ($1 - \beta^l_{main}$).

레이어 $l-1$에서의 관련성은 다음과 같이 계산됩니다:
$$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$$
여기서 $\tilde{W}^l$은 헤드 중요도, 그래디언트 크기, 임베딩 크기가 포함된 가중 어텐션 행렬입니다. 이를 통해 주로 항등 매핑 역할을 하는 블록이 설명에 최소한의 기여를 하도록 하여, 스킵 연결을 통해 관련성을 보존합니다.

2.3 구현 세부 사항

이 과정은 중간 표현, 그래디언트 및 어텐션 맵을 포착하기 위한 단 한 번의 순전파와, 관련성을 전파하기 위한 단 한 번의 역전파를 포함합니다. 또한 흐름 불균형을 해결하고 FullGrad-완결성(FullGrad-completeness)을 보장하기 위해 그래디언트 리스케일링(rescaling)을 포함합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 적응형 헤드 가중치 부여: 그래디언트 기반 흐름과 지니 기반 희소성을 결합하여 개별 어텐션 헤드의 인과적 영향력과 선택성을 포착함으로써, 균일한 처리를 넘어선 메커니즘을 제공합니다.
2. 스킵 연결 인식 전파: 상대적인 인과적 기여도에 따라 어텐션과 잔차 경로 사이의 관련성을 동적으로 분할하는 규칙을 통해, 트랜스포머의 근본적인 잔차 구조를 존중합니다.
3. 포괄적인 평가: 분류(ImageNet1K, BloodMNIST) 및 세그멘테이션(ADE20K-150) 벤치마크에서 최첨단의 충실도(faithfulness)와 국소화(localization) 성능을 입증하며, 동시에 계산 비용을 크게 절감했습니다.

4. 실험 결과

4.1 분류 성능

ViT-Base 및 DeiT-Base 모델을 사용하여 ImageNet1K 및 BloodMNIST에서 평가되었습니다:

• 충실도 (Faithfulness): GradSkip은 Insertion-Deletion 지표와 Faithfulness Violation Test에서 최첨단 성능을 달성했습니다. 예를 들어, ImageNet1K의 ViT-Base에서 GradSkip은 두 번째로 우수한 방식인 MUTEX보다 Insertion-Deletion 점수에서 최대 12.50% 더 높은 성능을 보였습니다.
• 국소화 (Localization): Pointing Game 지표에서 GradSkip은 ViT-Base(0.868)에서 가장 높은 점수를 기록했으며, DeiT-Base(0.831)에서도 경쟁력 있는 결과를 얻었습니다.
• 효율성 (Efficiency): GradSkip은 하나의 어트리뷰션 맵을 생성하는 데 69.39 GFLOPs가 필요했습니다. 이는 MUTEX보다 14.45배 적은 연산량이며, TIS보다는 256.66배 적은 연산량입니다. 그러면서도 다른 효율적인 방법들인 LRP 변형 모델들보다 우수한 충실도를 유지했습니다.

4.2 세그멘테이션 성능

SegFormer 모델을 사용하여 ADE20K-150에서 평가되었습니다:

• GradSkip은 가장 높은 픽셀 정확도 (PA) (0.815)와 평균 IoU (mIoU) (0.371)를 달성했습니다.
• 이는 두 번째로 우수한 방식인 MUTEX보다 mIoU 측면에서 53.94% 더 높은 성능입니다.
• 과도하게 확장된 살리언시 맵으로 인해 높은 PA를 보였으나 낮은 mIoU를 기록한 Finer-CAM과 달리, GradSkip은 클래스별 영역을 정밀하게 묘사하는 탁월한 능력을 보여주었습니다.
• 효율성: 단 28.52 GFLOPs가 소요되어, 가장 효율적인 LRP 기반 방법들과 대등한 수준이면서도 훨씬 높은 세그멘테이션 정확도를 보여주었습니다.

4.3 절제 실험 및 분석 (Ablation and Analysis)

• 헤드 희소성 (Head Sparsity): 통계적 분석 결과, 어텐션 희소성(지니 계수로 측정)과 충실도 점수 사이에 유의미한 상관관계가 있음이 확인되었습니다. 희소성을 기준으로 상위 25%의 헤드만을 선택했을 때 성능이 향상되었고, 하위 25%를 사용했을 때는 성능이 저하되었습니다.
• 하이퍼파라미터: 그래디언트 흐름과 희소성 사이의 최적의 균형은 $\alpha = 0.50$에서 발견되었습니다. 한 가지 지표에만 의존할 경우 성능이 최대 26.67%까지 하락했습니다.
• 정성적 분석: 시각화 결과, GradSkip은 (무당벌레와 같은 작은 물체나 깃대와 같은 가는 구조를 정확히 격리하면서 배경 노이즈를 억제하는 등) 집중되고 공간적으로 정밀한 히트맵을 생성하여, 확산되거나 흩어진 활성화를 보이는 경쟁 모델들보다 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 GradSkip이 비전 트랜스포머의 계산 효율성과 설명의 충실도 사이의 간극을 성공적으로 메웠다고 주장합니다. 그 의의는 다음과 같습니다:

• 구조적 인식 (Architectural Awareness): 어텐션 헤드의 이질적인 역할과 잔차 연결의 동적인 특성을 명시적으로 모델링함으로써, Grad-Skip은 모델이 입력을 처리하는 방식을 더 잘 반영하는 설명을 제공합니다.
• 실제 배포 가능성 (Practical Deployment): 비용이 많이 드는 섭동 기반 접근 방식의 높은 충실도를 제공하면서도, 계산 예산은 LRP와 유사한 수준으로 매우 낮아 자원이 제한된 실제 응용 분야에 적합합니다.
• 강건성 (Robustness): 이 방법은 다양한 데이터셋(일반 및 의료), 모델 아키텍처(ViT, DeiT, SegFormer), 그리고 작업 유형(분류 및 세그멘테이션) 전반에 걸쳐 일관된 성능을 입증했습니다.

저자들은 한계점도 언급했습니다. 구체적으로 GradSkip은 모델 내부(그래디언트 및 활성화 값)에 대한 접근이 필요하며, 순수하게 그래디언트가 없는(gradient-free) 환경에서는 적용할 수 없습니다. 또한, 현재 구현은 CLS 토큰을 제외하므로, CLS 토큰이 글로벌 컨텍스트를 집계하는 표준 ViT의 적용성을 제한할 수 있으나, CLS 토큰에 의존하지 않는 SegFormer와 같은 변형 모델에는 직접 적용 가능합니다.