Learn to Rank: Visual Attribution by Learning Importance Ranking

1. 문제 정의 (Problem)

복잡한 컴퓨터 비전 모델 (특히 Vision Transformer, ViT) 의 의사결정을 해석하는 것은 안전이 중요한 분야에서 신뢰와 책임성을 확보하기 위해 필수적입니다. 현재 시각적 귀속 (Visual Attribution) 지도를 생성하는 기존 방법론들은 다음과 같은 3 가지 트레이드오프에 직면해 있습니다.

• 전파 기반 (Propagation-based) 방법: 그라디언트나 어텐션 가중치를 활용하여 효율적이지만, 모델 아키텍처에 의존적이며 저수준 특징 (에지 등) 에 편향될 수 있습니다.
• 교란 기반 (Perturbation-based) 방법: 입력의 일부를 변경하여 출력 변화를 측정하므로 인과적 근거가 명확하지만, 계산 비용이 매우 높고 (단일 맵 생성에 많은 모델 평가 필요), ViT 의 경우 패치 (patch) 단위 해석만 가능해 해상도가 낮고 공간적으로 부정확합니다.
• 학습 기반 (Learning-based) 방법: 추론 시 빠르지만, 기존 귀속 방법의 편향을 학습하거나 단순한 휴리스틱 (heuristic) 을 기반으로 한 대리 목적함수 (surrogate objective) 를 최적화하는 경우가 많아 한계가 있습니다.

이 논문은 삭제 (Deletion) 및 삽입 (Insertion) 지표를 직접 최적화하면서도, 학습 기반 방법의 효율성과 교란 기반 방법의 인과적 엄밀함을 모두 갖춘 새로운 접근법을 제안합니다.

2. 방법론 (Methodology)

저자들은 Amortized Hybrid Attribution (AHA) 라는 새로운 프레임워크를 제안합니다. 핵심 아이디어는 귀속 지도의 품질을 평가하는 데 널리 쓰이는 '삭제/삽입 지표'를 직접 최적화하되, 이를 미분 가능하게 만드는 것입니다.

2.1. 핵심 기술: 미분 가능한 순위 학습 (Differentiable Ranking)

• 문제: 삭제/삽입 지표는 픽셀 중요도를 정렬 (sorting) 하고 상위 $k$개를 선택하는 이산적인 연산에 의존하므로 미분이 불가능합니다.
• 해결: 저자들은 Gumbel-Sinkhorn 알고리즘을 활용하여 하드 정렬 (hard sorting) 을 미분 가능한 완화 (differentiable relaxation) 로 대체합니다.
  • 소프트 순열 행렬 (Soft Permutation Matrix): Gumbel-Softmax 와 Sinkhorn-Knopp 알고리즘을 결합하여, 픽셀 중요도 점수를 목표 순위 분포에 매칭하는 연속적인 확률 분포로 변환합니다.
  • 소프트 상위-k 마스크: 이를 통해 이진 마스크 대신 0 과 1 사이의 연속 값을 갖는 '소프트 마스크'를 생성하여, 교란된 이미지를 생성하고 모델 출력을 통해 그라디언트를 역전파할 수 있게 합니다.

2.2. 학습 전략 (Training Strategy)

• 목적 함수: 생성된 귀속 지도에 대해 삭제 (Deletion) 와 삽입 (Insertion) 시의 AUC (Area Under Curve) 를 계산하고, 이를 손실 함수로 직접 최적화합니다.
  • $Loss = \lambda_{del} \cdot \text{delAUC} - \lambda_{ins} \cdot \text{insAUC}$
• 효율성 및 강건성 향상 기법:
  • 영역 기반 정렬 (Region-Based Permutation): 모든 픽셀을 개별적으로 정렬하는 대신 이미지를 그리드 영역으로 나누어 평균 중요도로 정렬한 후 업샘플링하여 계산 비용을 줄이고 픽셀 단위의 아티팩트를 방지합니다.
  • 교란 단계 샘플링: 전체 교란 시퀀스 대신 무작위로 샘플링된 단계들만 평가하여 학습 부하를 줄입니다.
  • 그리드 증강 (Grid Augmentation): 그리드 크기와 위치를 랜덤하게 변경하여 특정 공간 패턴에 편향되지 않도록 합니다.

2.3. 추론 시 정제 (Test-Time Refinement)

• 추론 시에는 학습된 모델로 한 번의 순전파 (forward pass) 만 수행하여 빠르게 결과를 얻을 수 있습니다.
• 필요시, 특정 샘플에 대해 몇 단계의 그라디언트 업데이트 (예: $T=3$) 를 수행하여 귀속 지도를 미세 조정할 수 있습니다. 이는 계산 비용과 설명의 정밀도 사이의 균형을 조절할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 프레임워크 제안: 교란 기반 방법의 인과적 엄밀성과 학습 기반 방법의 효율성을 결합한 Amortized Hybrid Attribution (AHA) 를 제안했습니다.
2. 직접적인 지표 최적화: 휴리스틱이 아닌, 평가 지표 (Deletion/Insertion) 를 직접 미분 가능하게 만들어 최적화하는 순위 학습 (Permutation Learning) 문제를 해결했습니다.
3. Gumbel-Sinkhorn 적용: 정렬 및 상위-k 선택 연산을 Gumbel-Sinkhorn 을 통해 미분 가능하게 완화하여 엔드 - 투 - 엔드 학습을 가능하게 했습니다.
4. 고해상도 및 밀도 있는 귀속: ViT 와 같은 트랜스포머 모델에서도 패치 단위가 아닌 픽셀 단위 (pixel-level) 의 밀도 있고 경계선과 잘 정렬된 귀속 지도를 생성합니다.

4. 실험 결과 (Results)

ImageNet 데이터셋과 ViT-B/16, ViT-B/32, ConvNeXt Small 등 다양한 모델에서 실험을 수행했습니다.

• 정량적 성능:
  • AHA 는 추가 정제 단계 없이도 ($T=0$) 기존 최첨단 방법들 (Grad-CAM, IG, ViT-CX, MDA 등) 보다 삭제 (Deletion) 및 양성 (Positive) 지표에서 경쟁력 있거나 우월한 성능을 보였습니다.
  • 특히 Faithfulness(신뢰성) 지표 (Ins. - Del., Neg. - Pos.) 에서 가장 높은 점수를 기록했습니다.
  • 추론 시 정제 단계 ($T=3$) 를 적용하면 모든 지표에서 성능이 더욱 향상되어, MDA 와 같은 계산 집약적 방법보다 훨씬 빠르면서도 더 높은 정확도를 달성했습니다.
• 정성적 성능:
  • 기존 ViT 기반 방법들이 생성하는 블록 형태의 거친 맵과 달리, AHA 는 객체의 경계선 (boundary) 을 매우 정밀하게 따르는 선명한 귀속 지도를 생성합니다.
  • 잘못된 분류 (misclassification) 사례에서도 모델이 실제로 어떤 특징 (예: 병뚜껑) 에 기반해 판단했는지 명확하게 보여줍니다.
• 효율성:
  • 학습된 모델은 단일 순전파로 결과를 생성하므로, 전파 기반 방법 (Grad-CAM 등) 과 유사한 속도를 가지면서도 교란 기반 방법 (MDA 등) 보다 수백 배 빠른 추론 속도를 제공합니다.

5. 의의 및 결론 (Significance)

이 논문은 학습된 귀속 (Learned Attribution) 의 패러다임을 한 단계 발전시켰습니다. 기존에는 평가 지표를 직접 최적화하는 것이 계산적으로 불가능하거나 휴리스틱에 의존해야 했지만, Gumbel-Sinkhorn 을 통한 미분 가능한 정렬 기법을 도입함으로써 지표 기반 최적화 (Metric-driven Optimization) 를 학습 기반 프레임워크에 성공적으로 통합했습니다.

이는 특히 Vision Transformer와 같은 최신 아키텍처에 대해, 계산 효율성을 유지하면서도 인과적으로 엄밀하고 공간적으로 정밀한 해석 가능성을 제공한다는 점에서 의미가 큽니다. 또한, 추론 시 정제 옵션을 통해 사용자의 필요에 따라 속도와 정확도를 유연하게 조절할 수 있어 실제 안전 필수 (safety-critical) 응용 분야에 적용하기 매우 유망합니다.