Attribution via Distributional Paths for Information Revelation

기술 요약: 정보 공개를 위한 분포 경로 기반 기여도 산정 (Attribution via Distributional Paths for Information Revelation)

문제 정의
특성 기여도(Feature attribution) 방법론은 입력 특성에 중요도 점수를 할당함으로써 모델의 예측을 설명하는 것을 목표로 한다. 두 가지 지배적인 접근 방식인 SHAP(Shapley Additive exPlanations)과 Integrated Gradients(IG)는 모두 모델 출력의 변화량과 참조 상태(reference state) 사이의 차이에 기여도가 합산된다는 '완전성(completeness)' 속성을 만족한다. 그러나 두 방식은 뚜렷한 한계를 보인다:

• SHAP는 이산적이고 조합적인 특성 공개(feature reveal) 연산에 의존한다. 이는 특성을 완전히 알지 못하거나 완전히 관찰된 상태로 취급하며, 점진적인 정보 공개가 결여된 불연속적인 개입을 생성한다.
• IG는 입력 공간(input space) 내에서 연속적인 경로(예: 베이스라인에서 입력값까지의 직선)를 정의한다. 이 접근 방식은 입력 공간의 의미 없는 영역을 가로지를 수 있는 궤적을 따라 모델의 점별(pointwise) 응답을 평가한다. 결과적으로 IG는 특정 예측에 무관한 특성이라 하더라도 궤적 초기(베이스라인 근처)에 마주친 특성이 최종 입력의 기여도에 불균형적인 영향을 미치는 '그림자(shadows)'와 같은 "경로 아티팩트(path artifacts)"에 취약하다.

핵심 문제는 표준 경로 방법들이 특성을 쿼리하는 해상도나 불확실성을 제어하지 못한 채, 입력 공간의 특정 지점에서의 모델의 가공되지 않은 응답을 적분한다는 점이다.

방법론: Reveal-IG
저자들은 Reveal-IG를 제안하며, 이는 경로 기여도 프레임워크를 입력 공간에서 **구조화된 프로브 분포(structured probe distributions)**의 공간으로 격상시킨 방법이다. 단순히 원시 입력값의 궤적을 따르는 대신, Reveal-IG는 관심 대상인 입력($x^\star$) 주변으로 점진적으로 집중되는 확률 분포의 궤적을 추적한다.

1. 분포 경로 정식화 (Distributional Path Formulation):
   본 방법은 $\theta$로 매개변수화된 프로브 분포 $q_\theta(z | x^\star)$의 공간을 통과하는 경로를 정의한다. 분해되는 대상은 기대 모델 응답이다:
   $$G(\theta; x^\star) = \mathbb{E}_{z \sim q_\theta(\cdot|x^\star)}[f(z)]$$
   기여도는 분포의 경로를 따라 기대 응답의 그래디언트를 적분하여 얻는다:
   $$\Delta G = \int_S \nabla_\theta \mathbb{E}_{z \sim q_\theta(z|x^\star)}[f(z)] \cdot d\theta$$
   이는 경로 적분의 완전성 속성을 유지하면서, 원시 출력(raw output)이 아닌 기대 응답(expected response)에 적용한다.

2. 프로브 설계 (Probe Design):

• 이미지 데이터: 프로브는 픽셀 채널에 대한 인수 분해된 가우시안 분포(factorized Gaussian distribution)이다. 경로는 광범위한 참조 상태(높은 불확실성, 예: $\mu=0, \sigma=1$)에서 시작하여 관찰된 이미지 주변에 집중된 프로브로 끝난다. 최종 엔드포인트의 분산($\sigma_{final}$)은 고정되거나 모델의 타겟 로짓이 안정적인 노이즈 스케일에 따라 적응적으로 선택될 수 있다.
• 표 형식 데이터 (Tabular Data): 표 형식 공간에서의 선형 보간은 종종 의미론적으로 유효하지 않으므로, 프로브는 훈련 데이터의 경험적 주변 분포(empirical marginal distributions) 상에 정의된다. 온도 제어 유사도 커널(temperature-controlled similarity kernel)을 사용하여 분포를 경험적 주변 분포에서 관찰된 특성 값 $x^\star_i$ 주변의 집중된 분포로 전이시킨다. 경로는 온도를 낮추는 방식으로 정의되며, 이는 특성 정보를 점진적으로 드러내는 효과를 준다.

3. 그래디언트 추정 (Gradient Estimation):
   그래디언트는 입력값이 아닌 프로브 파라미터 $\theta$에 대해 계산된다.

• 미분 가능한 모델과 가우시안 프로브의 경우, 재매개변수화 트릭($z = \mu + \sigma\epsilon$)을 통해 자동 미분을 사용하여 효율적인 그래디언트 추정이 가능하다.
• 비미분 모델(예: 트리 앙상블) 또는 경험적 프로브를 사용하는 표 형식 데이터의 경우, 블랙박스 추정기를 사용한다. 훈련 세트에서 특성 값을 샘采样하고 이를 프로브 분포에 따라 가중치를 부여함으로써, 모델의 미분 가능성 없이도 그래디언트 추정을 가능하게 한다.

주요 기여

• 격상된 경로 적분 (Lifted Path Integration): 저자들은 경로 적분이 원시 입력 지점이 아닌 구조화된 분포의 공간에서 수행되는 프레임워크를 도입했다. 이를 통해 특성이 쿼리되는 "해상도"를 제어할 수 있다.
• 연속적인 정보 공개 (Continuous Information Revelation): Reveal-IG는 SHAP의 이산적인 특성 포함 방식을 연속적인 대응물로 대체하여, 급격한 특성 포함 대신 고불확실성 프로브에서 집중된 프로브로 이어지는 미분 가능한 경로를 제공한다.
• 도메인 적응성 (Domain Adaptability): 이 프레임워크는 가우시안 프로브를 사용하는 이미지 분류와 경험적 주변 프로브를 사용하는 표 형식 회귀를 위해 구체화되었으며, 이를 통해 "격상된(lifted)" 관점이 서로 다른 기하학적 구조를 가진 도메인 간의 기여도를 아우르는 공통 언어를 제공함을 입증한다.
• 아티팩트 완화 (Artifact Mitigation): 경로 초기 단계에서 넓은 분포에 걸쳐 모델 응답을 평균화함으로써, 표준 IG에서 흔히 발생하는, 베이스라인 인접 구조의 영향력을 과도하게 받는 "그림자" 아티팩트를 희석시킨다.

실험 결과

• 합성 진단 (Synthetic Diagnostics): 2D 제어 실험에서 Reveal-IG는 IG에서 나타나는 "그림자" 아티팩트(관심 지점에서 먼 특성이 영향을 주는 현상)와 SHAP의 축 정렬 구조적 편향을 피한다. 또한 경로의 세밀함(granularity)을 변화시킴에 따라 SHAP과 IG의 극단 사이를 보간하는 기여도 필드를 생성한다.
• 이미지 분류 (ImageNet): ResNet-50 및 ViT-B/16에 대해 평가했을 때, Reveal-IG는 최첨단(SOTA) 또는 이에 근접한 성능을 달erm한다.
  • 기여도의 **부호(sign)**를 활용하는 지표(예: Positive-Evidence Insertion/Deletion 및 Sensitivity-n)에서 베이스라인보다 유의미하게 우수한 성능을 보여, 타겟 클래스를 지지하는 특성과 억제하는 특성을 더 잘 구분함을 입증했다.
  • 크기 기반 지표(RMA 등)에서는 경쟁력을 유지하지만, 부호가 없는 saliency 작업에서는 Blur-IG 및 IDG가 강력한 경쟁자이다.
  • 경로를 따른 기여도 축적 분석 결과, IG는 베이스라인 근처에서 많은 기여도를 할당하는 반면, Reveal-IG는 궤적 후반부(프로브가 집중될 때)에 대부분의 기여도를 할당한다.
• 표 형식 회귀 (Tabular Regression): Bike Sharing, California Housing, Wine Quality 데이터셋에서 평가되었다.
  • Reveal-IG는 방향성 삽입(signed attribution consistency) 및 sensitivity-max(안정성) 지표에서 일관되게 강한 모습을 보인다.
  • KernelSHAP과 특성 제거(feature ablation) 방식이 충분성/포괄성(perturbation 기반 방식의 고유 지표)에서 경쟁력이 있지만, Reveal-IG는 임의의 기하학적 보간을 피하는 더 자연스러운 경로를 제공하면서도 perturbation-native 성능을 제공하는 유리한 절충안을 제시한다.

의의 및 주장
본 논문은 Reveal-IG가 경로 기여도를 **스무딩 문제(smoothing problem)**로 재정의한다고 주장한다. Blur-IG가 입력 공간을 스무딩(coarse-to-fine)한다면, Reveal-IG는 불확실성이 감소하는 분포를 통해 모델 응답을 스무딩한다.

저자들은 경로 공간의 선택이 설명에 포함될 모델의 입력-출력 행동의 어떤 부분을 결정하는지 강조한다. 입력 공간에서 분포 공간으로 이동함으로써 Reveal-IG는 다음을 가능하게 한다:

1. 제어된 해상도: 다양한 규모의 정보 수준에서 모델을 쿼리할 수 있는 능력.
2. 도메인 특화 프로브: (표 형식 데이터의 경험적 주변 분포와 같이) 데이터의 구조를 존중하는 프로브를 정의할 수 있는 유연성.
3. 강건성: 경로 의존적 아티팩트를 줄여, 특히 특성의 중요도 부호가 중요한 작업에서 더 안정적이고 의미 있는 기여도를 제공함.

논문은 이미지의 경우 IG보다 약 7배, 표 형식 데이터의 경우 몬테카를로 샘플링으로 인해 최대 1000배 더 높은 계산 비용이 발생한다는 점과 특성 간 상관관계를 무시하는 인수 분해된 분포 가정 등의 한계를 인정한다. 그러나 이러한 트레이드오프가 특히 부호의 중요성이 결정적인 작업에서 더 견고하고 해석 가능한 기여도 프레임워크를 제공한다고 주장한다.