Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

기술 요약: 일관된 증거, 견고한 인식

문제 정의
속성(Attribution) 방법론은 딥 뉴럴 네트워크 예측의 근간이 되는 입력 증거를 식별하기 위해 널리 사용된다. 그러나 이러한 방법들이 모델의 행동을 능동적으로 개선할 수 있는 잠재력에 대해서는 아직 충분히 탐구되지 않았다. 핵심적인 문제는 레이블을 보존하는 기하학적 변환(예: 뒤집기 또는 회전) 하에서의 속성 불일치이다. 예측된 클래스는 변하지 않을 수 있지만, 모델은 종종 원래의 객체 증거에서 다른 영역이나 무관한 영역으로 의존도를 옮긴다. 이는 기하학적 변환에 대한 민감성을 나타내며, 이는 견고성을 저해한다.

기존의 속성 정규화 접근 방식은 일반적으로 그래디언트 기반 맵(예: Grad-CAM)에서 유도된 자기 지도 일관성 목적 함수에 의존한다. 이러한 방법들의 근본적인 한계는 **충실성(faithfulness)**이다. 그래디언트 기반 맵은 모델의 결정(decision)을 구동하는 실제 증거를 항상 정확하게 반영하지는 않는다. 결과적으로, 이러한 맵들을 정렬하는 것은 설명 출력(explanation output)의 일관성은 보장할 수 있으나, 근저에 있는 결정 과정(decision process)의 일관성을 보장하지는 않는다. 모델은 설명 수준의 일관성은 달성하면서도 여전히 변환에 민감한 증거에 의존할 수 있다. 본 연구가 다루는 핵심 과제는 어떻게 **충실하고 결정과 연결된 속성(faithful, decision-linked attribution)**을 효과적인 훈련 신호로 전환하여, 인간의 주석 없이도 일관된 증거 의존성을 강제할 것인가 하는 점이다.

방법론
저자들은 이미지 영역에 대한 **서브모듈러 탐색(submodular search)**을 기반으로 하는 주석이 필요 없는 속성 정규화 프레임워크를 제안한다. 이 방법은 두 단계로 작동한다:

1. 쿼리 단계 (감독 생성):
   그래디언트 기반 히트맵을 사용하는 대신, 본 프레임워크는 검색 기반 속성 방법(구체적으로 LIMA)을 사용하여 압축적이고 클래스 판별력이 높은 증거를 추출한다. 이 과정은 일관성(consistency), 신뢰도(confidence), 협업(collaboration) 지표를 결합한 서브모듈러 점수 함수를 최대화하도록 이미지 영역을 탐욕적(greedily)으로 선택한다. 탐색은 일관성 임계값에 도달할 때 종료된다.

   • 필터링: 올바르게 분류되고, 높은 신뢰도를 가지며, 압축적인 속성 영역을 생성하는 샘플만을 유지한다. 이는 감독 신호가 신뢰할 수 있는 모델 행동으로부터 유도되도록 보장한다.
   • 감독 시퀀스: 유지된 샘플들에 대해, 선택된 영역들의 순차적 시퀀스와 정지 조건이 "탐색 유도 감독(search-derived supervision)"을 구성한다.

2. 훈련 단계 (서브모듈러 랭킹 손실):
   모델을 정규화하기 위해, 본 프레임워크는 변환된 이미지의 속성 탐색 궤적을 원본 이미지의 공간적으로 대응하는 궤적과 정렬한다. 탐색 과정은 이산적(discrete)이고 순차적이므로 미분 가능한 대리 함수(differentiable surrogate)가 필요하다. 저자들은 두 개의 항으로 구성된 **서브모듈러 랭킹 손실(Submodular Ranking Loss)**을 도입한다:

   • 선택-랭킹 손실 ($L_{SelR}$): 변환된 이미지에서의 탐욕적 탐색의 각 단계에서, 이 항은 공간적으로 대응하는 타겟 영역(원본 시퀀스로부터 유도된)이 나머지 비타겟 후보들보다 더 높은 순위를 갖도록 강제한다.
   • 선택-절단 손실 ($L_{SelT}$): 이 항은 변환된 궤적의 누적된 증거가 타겟 터미널 단계에서의 원본 쿼리 시퀀스와 동일한 정지 기준을 충족하도록 장려한다.

전체 목적 함수는 표준 분류 손실에 서브모듈러 랭킹 손실을 가중치 $\lambda$와 함께 결합한 것이다. 프레임워크는 계산 오버헤드를 관리하기 위해 제약된 탐색 공간 및 희소 정규화(sparse regularization)와 같은 최적화를 포함하여 구현되었다.

주요 기여

1. 충실한 속성 전제 조건: 본 연구는 감독이 단순히 맵의 일관성을 넘어, 예측의 근간이 되는 증거를 충실하게 나타내야 한다는 원칙을 중심으로 속성 정규화를 공식화한다.
2. 주석이 필요 없는 프레임워크: 필터링된 서브모듈러 탐색으로부터 압축된 감독 시퀀스를 유도하는 새로운 프레임워크를 제시하여, 인간이 제공하는 관련성 주석의 필요성을 제거한다.
3. 서브모듈러 랭킹 손실: 변환된 궤적을 따라 후보 선택을 정렬하고 정지 기준을 강제하는 미분 가능한 손실 함수를 제공하여, 이산적인 증거 선택 과정을 위한 대리 함수 역할을 수행한다.
4. 실증적 검증: 속성 안정성과 충실성이 향상되었으며, 깨끗한 이미지의 정확도에 미치는 영향은 최소화하면서도 변환된 입력에 대한 강력한 견고성을 입증하는 광범-한 실험을 수행하였다.

실험 결과
본 방법론은 ViT-B/16, ViT-L/16, ResNet-50, ConvNeXt-B 아키텍처를 사용하여 ImageNet-100 및 ImageNet-1K에서 평가되었다.

• 속성 품질 (ImageNet-100, ViT-B/16):
  • 속성 안정성이 0.14에서 0.27로 증가했다.
  • 삽입(Insertion) 점수가 52.1% 개선되었다.
  • 삭제(Deletion) 점수가 62.2% 감소했다.
  • 분류 정확도는 단 0.28 퍼센티지 포인트만 하락했다.
• 견고성 (ImageNet-1K):
  • 평균 변환 입력 정확도가 ResNet-50에서 0.55, ConvNeXt-B에서 0.33 퍼센티지 포인트 향상되었다.
  • 깨끗한 이미지 정확도 감소는 0.30 포인트로 제한되었다.
• 효율성: 본 방법론은 CGC와 유사한 훈련 처리량(throughput)을 달면서도 CLIP-AFT보다 빠르며, 2차 그래디언트 방법론보다 현저히 낮은 GPU 메모리 요구량을 보인다.

의의 및 주장
본 논문은 충실한 속성이 예측 성능을 실질적으로 저해하지 않으면서도 일관된 증거 의존성을 촉진한다고 주장한다. 잠재적으로 불충실한 그래디언트 맵을 정렬하는 것에서 벗어나, 서브모듈러 탐색으로부터 유도된 실제 증거 선택 과정을 정렬함으로써, 본 방법론은 변환 민감도의 근본 원인을 해결한다. 결과는 단순한 설명 출력이 아닌 결정 관련 증거에 대한 등변성(equivariance)을 강제하는 것이, 기하학적 변환 전반에 걸쳐 공간적으로 대응하는 증거에 의존하는 더 견고한 모델을 만든다는 것을 시사한다. 저자들은 추가 연구를 촉진하기 위해 코드를 곧 공개할 예정이라고 밝혔다.