Using the Path of Least Resistance to Explain Deep Networks

이 논문은 직선 경로를 기반으로 한 기존 통합 기울기 (IG) 방법의 한계를 지적하고, 모델 유도 리만 계량을 도입하여 측지선을 따라 기울기를 적분하는 '지오데식 통합 기울기 (GIG)'라는 새로운 기법을 제안함으로써 더 정확한 특성 중요도 할당을 가능하게 합니다.

핵심

🚗 비유: "직진 vs 지형도"

AI 가 어떤 사진을 보고 "이건 제트기야!"라고 판단했다고 가정해 봅시다. 우리는 AI 가 왜 제트기라고 생각했는지 궁금합니다. 예를 들어, 날개나 꼬리 부분 때문에 그렇게 판단한 걸까요?

1. 기존 방법 (Integrated Gradients): "직진하는 자동차"

기존에 가장 많이 쓰이던 방법은 **Integrated Gradients (IG)**입니다.

• 상황: AI 가 "검은색 (아무것도 없는 상태)"에서 시작해서 "제트기 사진"까지 가는 길이라고 상상해 보세요.
• 기존 방식: 이 방법은 **직선 (Straight Line)**으로만 갈 수 있는 자동차를 시켰습니다.
• 문제점: 지도를 보지 않고 직선으로만 가면, 때로는 가파른 절벽이나 **미끄러운 진흙탕 (높은 기울기 영역)**을 지나치게 됩니다.
  • 예시: 제트기 사진에서 날개 부분은 중요하지 않은데, 직선 경로가 그 부분을 지나가면서 AI 가 "아, 이 부분이 중요하구나!"라고 오해하게 만들 수 있습니다. (논문 Fig 1 의 제트기 예시)
  • 마치 직진으로만 가다가 길을 잃고 엉뚱한 곳의 중요성을 과대평가하는 것과 같습니다.

2. 새로운 방법 (Geodesic Integrated Gradients): "현명한 내비게이션"

저자들은 이 문제를 해결하기 위해 **Geodesic Integrated Gradients (GIG)**라는 새로운 방법을 제안했습니다.

• 새로운 방식: 이제 자동차에 **AI 가 만든 지형도 (리만 계량)**를 심어줍니다. 이 지형도는 AI 가 학습한 '경로'를 보여줍니다.
• 원리: 이 지형도에서는 **가파른 절벽 (높은 기울기)**은 피하고, **평탄하고 안전한 길 (낮은 기울기)**을 따라가는 것이 가장 빠르고 효율적인 길 (최단 경로, 측지선) 입니다.
• 결과: AI 는 "제트기"를 설명할 때, 직선으로 가다가 엉뚱한 곳 (날개) 을 중요하게 여기는 실수를 하지 않고, **진짜 중요한 부분 (기체 본체)**을 따라가는 가장 자연스러운 길을 찾습니다.

---

🧩 핵심 아이디어 3 가지

1. "저항이 적은 길" (Path of Least Resistance)

• AI 가 학습한 공간은 평평한 종이처럼 매끄러운 게 아니라, 구불구불한 산과 계곡이 있는 지형과 같습니다.
• 기존 방법은 무조건 직선으로 가려다 보니, AI 가 가장 민감하게 반응하는 '가파른 곳'을 잘못 해석했습니다.
• 새로운 방법은 **AI 가 가장 편안하게 느끼는 길 (저항이 적은 길)**을 따라가므로, AI 의 진짜 생각을 더 정확하게 캐치합니다.

2. "상쇄되지 않는 진실" (No-Cancellation Completeness)

• 기존 방법의 함정: 어떤 특징은 "매우 중요 (+100)"하고, 다른 특징은 "매우 부정적 (-100)"하다고 평가해서 합계가 0 이 되도록 만들 수 있습니다. 결과적으로 "전체적으로 중요하지 않네?"라고 오해할 수 있습니다. (돈을 벌고 또 잃어서 순이익이 0 인 것처럼요.)
• 새로운 방법의 규칙: 저자들은 **"상쇄되지 않는 완전성 (NCC)"**이라는 새로운 규칙을 만들었습니다.
  • "어떤 특징이 중요하면, 그 중요도는 절대 다른 특징의 부정적 점수로 사라지지 않아야 해!"라고 요구합니다.
  • 이렇게 하면 AI 가 진짜로 중요하게 생각하는 부분을 숨기지 않고 명확하게 보여줍니다.

3. "두 가지 길 찾기 기술"

이론상으로는 완벽한 길 (측지선) 을 찾는 게 좋지만, 실제로는 너무 복잡합니다. 그래서 두 가지 방법을 썼습니다.

• 작은 데이터 (2 차원 등): **k-NN (가장 가까운 이웃)**을 이용해 점과 점을 잇는 그물망으로 가장 짧은 길을 찾습니다. (지도 위의 점들을 연결하는 방식)
• 큰 데이터 (이미지 등): **확률적 변분 추론 (SVI)**이라는 기술을 써서, AI 가 "에너지가 적은 (편안한) 길"을 스스로 찾아내도록 훈련시킵니다. (내비게이션이 실시간으로 최적 경로를 계산하는 방식)

---

📊 실험 결과: 왜 더 좋은가요?

저자들은 이 방법을 **합성 데이터 (달 모양 두 개를 구분하는 문제)**와 **실제 사진 (Pascal VOC 데이터셋)**으로 테스트했습니다.

• 합성 데이터: AI 가 평평한 곳에서 직선 경로를 따라가면 엉뚱한 점에 중요도를 부여했지만, 새로운 방법은 모든 점에 똑같은 중요도를 부여하여 AI 의 진짜 행동을 정확히 반영했습니다.
• 실제 사진: 제트기 사진에서 기존 방법은 배경이나 불필요한 부분까지 중요하게 여기는 실수를 했지만, 새로운 방법은 제트기 본체에 집중했습니다.
• 성능: 기존 방법들보다 AI 가 어떤 특징을 보고 판단했는지 더 정확하게 설명해 주었습니다 (Comprehensiveness, Log-odds 지표에서 우세).

⚠️ 단점과 미래

• 단점: 이 새로운 방법은 계산이 조금 더 복잡하고 시간이 더 걸립니다. (기존 방법보다 약 840 배 더 오래 걸릴 수도 있음)
• 미래: 하지만 AI 가 중요한 결정을 내리는 상황 (의료, 자율주행 등) 에서는 정확성이 속도보다 중요합니다. 앞으로 더 빠른 알고리즘이 개발되면 이 방법이 표준이 될 가능성이 큽니다.

💡 한 줄 요약

"AI 가 왜 그런 결정을 내렸는지 설명할 때, 무조건 직선으로 가지 말고 AI 가 가장 편안하게 느끼는 '지형도'를 따라가면, 훨씬 더 정확하고 믿을 수 있는 설명을 얻을 수 있다."

이 연구는 AI 의 '블랙박스'를 여는 열쇠를 더 정교하게 다듬어 준 셈입니다.

기술 요약

이 논문은 딥러닝 모델의 해석 가능성 (Interpretability) 을 높이기 위해 제안된 **지오데식 통합 기울기 (Geodesic Integrated Gradients, GIG)**라는 새로운 속성 (Attribution) 방법을 소개합니다. 저자들은 기존에 널리 쓰이는 **통합 기울기 (Integrated Gradients, IG)**의 한계를 지적하고, 이를 해결하기 위해 모델이 유도하는 리만 기하학 (Riemannian geometry) 을 기반으로 한 새로운 접근법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• 기존 IG 의 한계: 통합 기울기 (IG) 는 입력과 기준선 (Baseline, 예: 검은색 이미지) 사이의 **직선 경로 (Straight path)**를 따라 모델의 기울기 (Gradient) 를 적분하여 각 입력 특징의 중요도를 산출합니다.
• 직선 경로의 결함: 고차원 공간에서 직선 경로는 모델이 학습한 결정 경계 (Decision Boundary) 나 고기울기 영역 (High-gradient regions) 을 비효율적으로 통과할 수 있습니다. 이로 인해 모델의 실제 행동과 무관한 **오해석 (Misattribution)**이 발생합니다.
  • 예시: 이미지에서 객체 (예: 제트기) 가 검은색 배경에 있을 때, 직선 경로는 배경의 고기울기 영역을 지나게 되어 객체 자체를 중요하지 않다고 잘못 판단하거나, 불필요한 아티팩트를 생성할 수 있습니다.
• 완전성 (Completeness) 의 부족: 기존 IG 는 '완전성' (속성 값의 합이 출력 변화량과 같음) 을 만족하지만, 특징 간 상쇄 (Cancellation, 한 특징은 큰 양수, 다른 특징은 큰 음수) 를 허용합니다. 이로 인해 개별 특징의 중요도가 왜곡될 수 있습니다.

2. 방법론 (Methodology)

저자들은 입력 공간을 모델의 기울기 (Jacobian) 에 의해 유도된 **리만 계량 (Riemannian metric)**을 가진 매니폴드로 간주하고, **지오데식 (Geodesic, 최단 경로)**을 따라 기울기를 적분하는 GIG 를 제안합니다.

• 모델 유도 리만 계량 (Model-induced Riemannian Metric):
  • 입력 공간에 계량 텐서 $G_x = J_x^T J_x$를 정의합니다. 여기서 $J_x$는 모델의 야코비안 (Jacobian) 입니다.
  • 이 계량 하에서 지오데식은 모델의 기울기 변화가 큰 영역 (고비용 영역) 을 피하고, 기울기가 평탄한 영역 (저비용 영역) 을 통과하는 **'최소 저항의 경로 (Path of Least Resistance)'**가 됩니다.
• 지오데식 경로 근사 기술:
  • k-최근접 이웃 (kNN) 기반: 저차원 데이터 (예: 합성 데이터) 에 적합합니다. 샘플링된 점들 간의 가중 그래프를 구성하고, 다익스트라 (Dijkstra) 알고리즘 등을 사용하여 최단 경로를 찾습니다.
  • 확률적 변분 추론 (Stochastic Variational Inference, SVI) 기반: 고차원 데이터 (예: 이미지) 에 적합합니다. 직선 경로를 초기값으로 두고, 고기울기 영역을 피하도록 에너지 함수 (거리 항 + 곡률/기울기 패널티 항) 를 최소화하는 경로를 학습합니다.
• 새로운 공리: 상쇄 없는 완전성 (No-Cancellation Completeness, NCC):
  • 기존 '완전성' 공리를 강화한 새로운 공리입니다. $\sum |A_i(x)| = |f(x) - f(x')|$를 만족해야 합니다.
  • 이는 특징 간의 중요도가 서로 상쇄되어 전체 합만 맞고 개별 값이 왜곡되는 것을 방지합니다.
  • 핵심 정리 (Theorem 1): 모델 유도 계량 하에서 경로 기반 속성 방법이 NCC 를 만족할 필요충분조건은 그 경로가 지오데식인 것입니다.

3. 주요 기여 (Key Contributions)

1. GIG 방법론 제안: IG 의 직선 경로 한계를 극복하기 위해 모델의 기하학적 구조를 반영한 지오데식 경로를 도입했습니다.
2. NCC 공리 및 증명: 특징 간 상쇄를 배제하는 새로운 공리 NCC 를 제안하고, 이를 만족하는 유일한 경로 기반 방법이 지오데식 IG 임을 수학적으로 증명했습니다.
3. 근사 알고리즘 개발: kNN 과 SVI 를 활용하여 실제 딥러닝 모델에서 지오데식 경로를 효율적으로 근사하는 두 가지 방법을 제시했습니다.
4. 실험적 검증: 합성 데이터 (Half-moons) 와 실제 이미지 데이터 (Pascal VOC 2012) 를 통해 기존 방법들 (IG, Guided IG, SHAP 등) 보다 더 신뢰할 수 있는 (Faithful) 속성을 제공함을 입증했습니다.

4. 실험 결과 (Results)

• 합성 데이터 (Half-moons):
  • GIG(kNN) 는 다른 모든 방법 (IG, GradientShap, KernelShap 등) 보다 높은 순도 (Purity) 점수를 기록했습니다.
  • 특히 노이즈가 증가할수록 기존 IG 는 성능이 급격히 떨어지는 반면, GIG 는 안정적인 성능을 유지하며 모델의 실제 결정 경계를 잘 반영했습니다.
• 실제 이미지 데이터 (Pascal VOC 2012):
  • 포괄성 (Comprehensiveness): 중요한 특징을 마스킹했을 때 예측 확률이 얼마나 크게 떨어지는지 측정. GIG(SVI) 는 기존 방법 대비 약 29% 향상 (0.27 vs 0.21) 을 보였습니다.
  • 로그-오즈 (Log-odds): 마스킹 후 남는 증거의 강도 측정. GIG 는 약 15% 향상 (1.44 vs 1.28) 을 보였습니다.
  • 시각적 결과: 검은색 배경의 객체 (제트기) 분류에서 IG 는 배경 아티팩트를 중요하게 여기는 오류를 보인 반면, GIG 는 객체 자체에 올바르게 집중했습니다.
• 단점: GIG(SVI) 는 계산 비용이 매우 높습니다 (IG 대비 약 840 배, 이미지당 약 14 분 소요). 이는 실시간 적용보다는 고신뢰성 해석이 필요한 환경 (감사, 디버깅) 에 적합함을 의미합니다.

5. 의의 및 결론 (Significance)

• 이론적 기반 강화: 단순히 휴리스틱을 개선하는 것을 넘어, 리만 기하학과 미분 기하학을 바탕으로 한 엄밀한 이론적 틀을 제공했습니다.
• 해석의 신뢰성 향상: 모델이 실제로 학습한 결정 경계와 기울기 구조를 따르는 경로를 통해, 모델의 실제 의사결정 과정을 더 정확하게 설명할 수 있게 되었습니다.
• 향후 방향: 계산 효율성을 높이기 위해 지오데식 ODE 솔버 직접 적용, amortised path prediction (경로 예측을 위한 신경망 학습), 와밍 스타트 (Warm-starting) 등의 기술 개발이 필요하며, 이러한 최적화가 이루어진다면 GIG 는 더 널리 활용될 수 있을 것입니다.

요약하자면, 이 논문은 **"모델의 기울기 지형도 (Gradient Landscape) 를 고려한 최단 경로 (지오데식) 를 따라 기울기를 적분해야만, 특징 간 상쇄 없이 모델의 진짜 의도를 올바르게 해석할 수 있다"**는 핵심 통찰을 제시하며, 딥러닝 해석 가능성 분야에서 중요한 이론적, 실증적 발전을 이루었습니다.