Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

기술 요약: 이미지 지리 위치 추정 모델에 대한 객체 수준의 설명

문제 제기
시각적 콘텐츠를 기반으로 이미지의 촬영 위치를 예측하는 이미지 지리 위치 추정 모델은 딥러닝을 활용하여 높은 성능을 달성했습니다. 그러나 이러한 예측을 이끄는 구체적인 시각적 증거를 이해하는 것은 여전히 어렵습니다. 인간은 GeoGuessr 과 같은 게임에서 도로 표지판, 식생, 건축 세부 사항과 같은 구체적이고 객체 수준의 단서에 의존하는 반면, 표준 귀속 방법 (예: Grad-CAM) 은 일반적으로 확산되고 중첩되는 히트맵을 생성합니다. 이러한 맵은 일관된 시각적 개체보다는 광범위한 영역을 강조하여 모델의 결정이 특정하고 해석 가능한 객체나 지각 가능한 패턴과 어떻게 연결되는지 파악하기 어렵게 만듭니다. 이 격차는 지리 위치 추정 모델을 개념 수준의 세분성으로 해석, 신뢰 및 분석하는 능력을 제한합니다.

방법론
저자들은 귀속 맵을 이산적이고 객체와 유사한 요소로 분해하고 그 예측 관련성을 평가하기 위한 객체 중심 분석 파이프라인을 제안합니다. 방법론은 세 가지 주요 단계로 구성됩니다.

1. 모델 학습 및 귀속: 국가 분류를 위해 합성곱 신경망 (ResNet50) 을 학습시킵니다. 예측에 영향을 미치는 중요한 영역을 식별하기 위해 기울기 기반 및 점수 기반 방법 (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) 을 사용하여 귀속 맵을 생성합니다. 이러한 맵은 상위 $p$ 백분위수의 픽셀을 유지하도록 임계값을 적용하여 "귀속 유도 영역"을 생성합니다.
2. 객체 추출: 이러한 중요한 영역 내에서 분할 모델 (특히 Segment Anything Model 의 변형: MobileSAM, SAM2, SAM3) 을 사용하여 이산적인 시각적 요소를 추출합니다. 이러한 요소는 의미론적 레이블이 할당되지 않지만 지각 가능한 단위 (예: 자동차, 표지판) 로 간주됩니다.
   • 점수 매기기: 각 후보 세그먼트는 고-중요도 픽셀과의 중첩 정도, 평균 귀속 값, 기하학적 중심의 귀속 값을 기반으로 점수가 매겨집니다.
   • 필터링: 관련성 임계값 이하인 세그먼트는 폐기됩니다. 중첩되는 세그먼트는 근접한 중복을 제거하면서 작은 세부 사항을 보존하기 위해 포함 기반 교차율 (IoU) 기준을 사용하여 필터링됩니다.
   • 출력: 나머지 세그먼트는 컨텍스트를 보존하기 위해 약간의 패딩이 추가된 직사각형 바운딩 박스로 변환됩니다.
3. 신실성 평가: 추출된 요소의 예측 관련성은 두 가지 표준 XAI 지표를 사용하여 유사한 커버리지를 가진 무작위로 선택된 영역과 비교하여 테스트됩니다.
   • 삭제 테스트: 원본 이미지에서 추출된 컷이 가려집니다. 분류 정확도가 크게 떨어지면 제거된 영역에 중요한 정보가 포함되어 있었음을 의미합니다.
   • 삽입 테스트: 이미지의 나머지 부분은 마스킹되고 추출된 컷만 유지됩니다. 높은 유지 정확도는 컷에 충분한 예측 정보가 포함되어 있음을 나타냅니다.

주요 기여

• 객체 중심 파이프라인: 본 논문은 사전 정의된 개념이 필요하거나 하위 분류기를 수정하지 않고도 확산된 픽셀 수준 귀속 맵과 국소화된 객체와 유사한 시각적 증거 사이의 간극을 연결하는 사후 (post-hoc) 프레임워크를 소개합니다.
• 정량적 검증: 이 연구는 귀속 유도 컷이 크기가 유사한 무작위 컷보다 일관되게 더 많은 예측 정보를 유지한다는 엄격한 평가를 제공합니다.
• 분할 분석: 이 작업은 분할 품질이 해석 가능성에 미치는 영향을 조사하여 분할 모델의 선택 (예: SAM3 대 SAM2) 이 추출된 단서의 커버리지와 효과에 상당한 영향을 미친다는 것을 보여줍니다.

결과
실험은 프랑스, 인도, 일본의 이미지를 포함한 벤치마크 (OSV-5M 데이터셋 사용) 에서 수행되었습니다.

• 예측 관련성: 모든 테스트된 구성에서 귀속 유도 컷은 무작위 기준선보다 우수한 성과를 보였습니다. 삭제 테스트에서는 이러한 영역을 가리면 정확도 하락이 더 컸으며, 삽입 테스트에서는 훨씬 더 많은 예측 정보를 유지했습니다.
• 방법 비교:
  • 귀속 방법: Grad-CAM++ 및 기타 기울기 기반 방법은 추출을 안내하는 효과적인 중요도 맵을 제공했습니다.
  • 분할 모델: 더 많은 수의 세그먼트를 생성하는 SAM3 은 SAM2 및 MobileSAM 에 비해 두 가지 절단 설정에서 더 강력한 결과를 달성했습니다. 저자들은 SAM2 가 너무 적은 수의 세그먼트를 생성하여 의미 있는 정보를 제거할 만큼의 충분한 공간적 커버리지를 제공하지 못했기 때문에 삭제 테스트에서 성능이 저조했다고 지적합니다.
• 정성적 발견: 추출된 요소에는 차량, 벽, 거리 표지판, 도로 표시 등 다양한 시각적 패턴이 포함되었습니다. 그러나 저자들은 일부 추출된 요소가 중첩되거나 더 큰 구조의 일부에 해당하거나 분할 제약으로 인해 비정형적으로 남을 수 있음을 인정하며 한계를 지적합니다.

의의 및 주장
이 논문은 지리 위치 추정 모델의 귀속 맵이 의미 있게 지각 가능한 시각적 영역으로 분해될 수 있는 국소화된 증거를 포함한다고 주장합니다. 이는 모델 예측이 인간이 사용하는 것과 유사한 특정 객체 수준의 단서로 추적될 수 있음을 시사합니다. 저자들은 이 작업을 이미지 지리 위치 추정 분야에서 객체 수준의 해석 가능성과 개념 기반 설명을 향한 한 걸음으로 위치시킵니다.

저자들은 연구 결과의 범위에 대해 겸손한 태도를 유지합니다. 추출된 요소는 근사적이며 과분할될 수 있음을 인정합니다. 또한 평가는 추가 기준선 없이 3 개 국가 설정으로 제한됩니다. 향후 연구는 프레임워크를 더 크고 세분화된 벤치마크로 확장하고, 지리 위치 추정 작업에서 인간의 추론과의 정렬을 검증하기 위해 인간 평가를 포함하는 것을 제안합니다.