Toward Faithful Segmentation Attribution via Benchmarking and Dual-Evidence Fusion

1. 문제 정의 (Problem)

기존의 심층 신경망 (DNN) 에 대한 사후 (Post-hoc) 할당 (Attribution) 방법은 이미지 분류 분야에서 잘 연구되어 왔으나, 시맨틱 세그멘테이션 (Semantic Segmentation) 분야에서는 다음과 같은 한계가 존재합니다.

• 시각적 타당성 (Visual Plausibility) 의 함정: 기존 평가는 생성된 히트맵이 시각적으로 얼마나 그럴듯한지에 의존합니다. 그러나 시각적으로 그럴듯하다고 해서 해당 픽셀이 모델의 예측을 실제로 주도하거나 (인과적 신뢰성, Faithfulness), 목표 영역 밖의 픽셀에 불필요한 중요도를 부여하지 않는다는 것을 보장하지 않습니다.
• 평가 프로토콜의 부재: 세그멘테이션 할당 방법론을 평가하기 위한 표준화된 벤치마크가 부족합니다. 특히 "목표 영역 내의 픽셀을 가리면 모델의 확신이 얼마나 떨어지는가 (인과적 의존성)"와 "목표 영역 밖의 픽셀에 할당된 중요도가 얼마나 큰가 (Off-target Leakage)"를 정량적으로 측정하는 지표가 결여되어 있습니다.
• 기존 방법의 한계: 대부분의 세그멘테이션 할당 방법은 그래디언트 기반 (Grad-CAM 변형 등) 이며, 이는 특징의 공존 (co-occurrence) 을 반영할 뿐 인과적 증거를 보장하지 못합니다.

2. 방법론 (Methodology)

저자들은 두 가지 핵심 기여를 통해 문제를 해결합니다: 새로운 벤치마크와 Dual-Evidence Attribution (DEA) 방법론.

A. 재현 가능한 벤치마크 (Reproducible Benchmark)

Pascal VOC 와 SBD 데이터셋에서 세 가지 사전 학습된 백본 (DeepLabV3, FCN, LRASPP) 을 사용하여 다음과 같은 4 가지 평가 축을 정의했습니다.

1. 타겟 삭제 신뢰성 (Target Deletion Faithfulness): 목표 영역 내에서 할당 값이 높은 픽셀들을 순차적으로 삭제 (Occlusion) 했을 때, 해당 영역에 대한 모델의 신뢰도 (확률) 가 얼마나 급격히 하락하는지 측정합니다. (수식 3: TDD)
2. 원격 누출 (Off-target Leakage): 목표 마스크 밖의 픽셀에 할당된 중요도가 얼마나 큰지 정량화합니다. (수식 4, 5: ODD 및 LeakAbs)
3. 교란 강인성 (Perturbation Robustness): 노이즈, 밝기, 대비, 블러, 반전 등 입력 이미지에 교란을 가했을 때 할당 맵의 일관성을 측정합니다.
4. 실행 시간 (Runtime): 설명 생성에 소요되는 실제 시간.

B. 듀얼-증거 할당 (Dual-Evidence Attribution, DEA)

기존의 그래디언트 기반 방법의 불안정성과 개입 (Intervention) 기반 방법의 계산 비용/강인성 문제를 보완하기 위해 제안된 경량 보정 기법입니다.

• 두 가지 증거의 융합:
  1. EGA (Elementwise Gradient Attribution): 요소별 그래디언트 - 활성화 곱 (세부 구조 제공).
  2. RIA (Region Intervention Attribution): 고정된 그리드 영역을 가리고 모델 출력 변화를 측정 (인과적 신호 제공).
• 융합 전략 (수식 2):
  $$A_f = \alpha A_g \odot (1 + \beta A_r) + (1 - \alpha) A_r$$
  • $\odot$는 요소별 곱셈으로, 두 증거 (그래디언트와 개입) 가 모두 동의하는 픽셀에 가중치를 높입니다.
  • 잔여 항 $(1-\alpha)A_r$는 그래디언트 응답이 불안정할 때 개입 신호의 인과적 지지를 유지합니다.
  • 이 방식은 그래디언트 맵의 세부 정보를 유지하면서 개입 기반의 인과적 신뢰성을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 세그멘테이션 할당 신뢰성 벤치마크: 시각적 평가에 의존하지 않고, 개입 기반 신뢰성, 원격 누출, 강인성, 실행 시간을 종합적으로 평가하는 재현 가능한 벤치마크를 구축했습니다.
2. DEA 알고리즘 제안: 그래디언트 신호와 개입 신호를 가중치 융합하여, 순수 그래디언트 기반 방법보다 삭제 신뢰성 (Deletion Faithfulness) 을 크게 향상시키면서도 강인성을 유지하는 경량 보정 방법을 제시했습니다.
3. 공개 및 검증: 모든 샘플별 출력 및 집계 스크립트를 공개하여 독립적인 검증을 가능하게 했습니다.

4. 실험 결과 (Results)

Pascal VOC 와 SBD 데이터셋에서 수행된 실험 결과는 다음과 같습니다.

• 신뢰성 (Faithfulness): DEA 는 순수 그래디언트 기반 방법 (GPA, EGA) 보다 일관되게 타겟 삭제 신뢰성 (TDD) 을 향상시켰습니다. (SBD 11/11, VOC 6/6 에서 EGA 대비 개선).
• 강인성 (Robustness): 순수 개입 기반 방법 (RIA) 은 신뢰성은 가장 높았으나 강인성이 낮았습니다. DEA 는 RIA 의 신뢰성을 일부 희생하더라도 EGA 수준의 높은 강인성을 회복했습니다.
• 원격 누출 (Off-target Leakage): DEA 는 EGA 대비 목표 영역 밖의 불필요한 활성화 (누출) 를 줄였습니다.
• 성능 트레이드오프: DEA 는 개입 (Intervention) 패스를 수행해야 하므로 순수 그래디언트 방법보다 계산 비용 (실행 시간) 이 더 걸립니다. 그러나 시각적 평가만으로는 보이지 않았던 '신뢰성 - 안정성' 트레이드오프를 명확히 드러냈습니다.
• 정성적 분석: DEA 는 그래디언트 맵에서 나타나는 넓은 저신뢰도 컨텍스트 활성화를 억제하고, 목표 영역 내의 연속적인 객체 구조를 더 선명하게 유지하는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: 이 논문은 세그멘테이션 할당 방법론의 평가가 "시각적 타당성"에서 "인과적 신뢰성"과 "정량적 지표"로 전환되어야 함을 강조합니다.
• 실용적 가이드라인: DEA 는 실시간 제약이 없는 평가 중심 환경에서 그래디언트 기반 할당을 개입 기반의 신뢰성 있는 행동으로 이동시키는 실용적인 보정 도구로 제안됩니다. 반면, 초저지연 (Low-latency) 환경에서는 여전히 EGA 가 선호될 수 있음을 시사합니다.
• 미래 작업: 통계적 유의성 검정 도입, 얇은 구조 (Thin structures) 를 위한 적응형 개입 계획, 그리고 더 빠른 영역 수준 평가 방법 개발이 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 시맨틱 세그멘테이션의 설명 가능성 (Explainability) 을 평가하기 위한 엄격한 벤치마크를 정립하고, 그래디언트와 개입 신호를 융합한 DEA를 통해 기존 방법론의 인과적 신뢰성 문제를 해결하는 새로운 방향성을 제시했습니다.