Causal Explanations for Image Classifiers

기술 요약: 이미지 분류기를 위한 인과적 설명

문제 정의
신경망(NN)은 복잡하고 비선형적인 "블랙박스"로 기능하며, 이로 인해 픽셀 데이터가 어떻게 해석되어 분류를 생성하는지 추적하기 어렵습니다. 이러한 불투명성은 내부 레이어에 접근할 수 없는 독점 시스템(예: 의료 분야)에서 특히 문제가 됩니다. 이미지 분류기를 위한 기존의 설명 가능한 AI(XAI) 기술은 일반적으로 그래디언트(gradient), 전파(propagation) 또는 섭동(perturbation)에서 유도된 픽셀 순위나 히트맵에 의존합니다. 그러나 이러한 방법들은 원인과 설명에 대한 형식적 정의에 기반한 원칙적인 접근 방식이 부족합니다. 또한, 기존 도구들은 설명이 너무 크거나, 불필요한 정보를 포함하거나, 임의의 초기 세그멘테이션(예: LIME) 또는 가이드 없는 무작위 가림(예: RISE)에 의존하는 경우가 많습니다. 본 논문은 이미지 분류기에 적합한 설명에 대한 공식적이고 엄격한 정의와, 모델의 블랙박스를 열지 않고도 이를 계산할 수 있는 효율적인 방법을 다룹니다.

방법론
저자들은 실제 인과성(actual causality) 이론에 기초하여 할퍼른(Halpern, 2019)의 정의를 이미지 분류기에 맞게 변형한 새로운 블랙박스 접근 방식을 제안합니다.

1. 형식적 정의: 본 논문은 설명을, 모든 다른 픽셀이 마스킹(사전 정의된 데이터셋의 데이터로 대체)된 상태에서도 원래의 이미지가 동일한 분류를 얻기에 충분한, 원래 값을 가진 최소 픽셀 부분 집합으로 정의합니다. 이미지 분류기는 입력 픽셀이 외생 변수이고 분류가 출력인 깊이 2의 인과 모델로 모델링됩니다.
2. 난해성(Intractability): 저자들은 정확한 최소 설명을 계산하는 것이 난해함(픽셀 수에 따라 지수적으로 증가)을 증명합니다. 이에 따라 저자들은 근사 알고리즘을 제안합니다.
3. rex 알고리즘: 제안된 도구인 rex는 두 가지 주요 단계를 통해 근사적 설명을 계산합니다.
   • 인과적 순위 지정(Causal Ranking): 알고리즘은 이미지를 직사각형 형태의 "슈퍼픽셀(superpixels)"(초기값 4개)로 분할합니다. 그 후, 마스킹된/마스킹되지 않은 영역의 조합을 모델에 대해 테스트함으로써 각 슈퍼픽셀의 "충분한 책임의 정도(degree of sufficient responsibility)"를 계산합니다. 이 과정은 반복적입니다. 책임도가 높은 슈퍼픽셀은 재귀적으로 세분화되고 재평가됩니다. 단일 분할의 편향을 완화하기 위해, 알고리즘은 무작위 초기 분할을 사용하여 여러 번 실행되며, 결과적인 책임 점수를 평균하여 픽셀 수준의 순위를 생성합니다.
   • 설명 추출(Explanation Extraction): 순위가 매겨진 리스트를 사용하여, 공집합으로부터 모델의 출력이 원래의 분류와 일치할 때까지 가장 높은 순위의 픽셀을 추가하는 탐욕적(greedy) 알고리즘을 구축합니다.
4. 복잡도: 저자들은 알고리즘이 종료됨을 증명하며, 모델 호출 횟수가 이미지 크기에 대해 선형적($O(2^s n N)$, 여기서 $s$는 분할 크기, $n$은 픽셀 수, $N$은 반복 횟수)임을 입증하여 계산이 가능함을 보여줍니다.

주요 기여

• 형식적 프레임워크: 본 논문은 휴리스틱이나 그래디언트 기반의 중요도 측정과 구별되는, 실제 인과성에 기반한 이미지 분류기를 위한 설명의 공식적 정의를 확립합니다.
• 알고리즘 및 도구(rex): 근사적 최소 설명을 계산하기 위한 효율적인 블랙박스 알고리즘을 도입하고 이를 오픈 소스 도구로 구현합니다.
• 이론적 보장: 저자들은 알고리즘의 종료와 복잡도에 대한 증명을 제공하며, 정밀한 정의와 비교한 근사 비율에 대한 논의를 제공합니다.
• 품질 지표: 본 논문은 표준 XAI 지표를 비판적으로 평가합니다. 삽입 곡선(insertion curves)과 설명 크기는 견고하지만, 삭제 곡선(deletion curves)은 여러 유효한 설명이 존재하는 모델의 경우 오해의 소지가 있을 수 있다고 주장합니다(즉, 높은 삭제 AUC가 품질 저하가 아닌 여러 개의 서로 다른 설명 영역 때문에 발생할 수 있음).

실험 결과
저자들은 네 가지 데이터셋(ImageNet-1k-mini, VOC2012, ECSSD, 그리고 커스텀 "Photobombing" 데이터셋)과 세 가지 모델(ResNet50, ViT, ConvNext)에 대해 rex를 최신 화이트박스(예: Grad-CAM, LRP), 그레이박스(예: Integrated Gradients, GradientSHAP), 블랙박스(예: LIME, RISE, KernelSHAP) 도구들과 비교 평가했습니다.

• 설명 크기: rex는 일관되적으로 가장 작은 설명을 생성했으며, 이미지 크기의 평균 3%에서 5% 사이였습니다. 이는 다른 블랙박스 도구들보다 현저히 작으며, Grad-CAM과 같은 화이트박스 방법보다 우수한 성능을 보이기도 합니다.
• 효율성: rex는 가장 효율적인 블랙박스 도구로, 실행 시간은 다른 섭동 기반 방법들과 유사하며(추출 포함 약 4~6초), RISE보다 훨씬 빠릅니다.
• 품질 측정:
  • 삽입 곡선(Insertion Curves): rex는 가장 높은 곡선 아래 면적(AUC)을 달 기록하였으며, 이는 식별된 픽셀들이 분류 신뢰도를 복구하는 데 매우 효과적임을 나타냅니다.
  • 세그멘테이션 중첩(Segmentation Overlap): 인간이 제공한 세그멘테이션이 있는 데이터셋에서, rex 설명은 관련 객체와 높은 중첩을 보였고 무관한 배경이나 가려진 부분과는 최소한의 중첩을 보였습니다.
  • 삭제 곡선(Deletion Curves): 저자들은 rex가 종종 경쟁 도구들보다 높은 삭제 AUC를 갖는다는 점에 주목합니다. 그들은 이것이 실패가 아니라 특징이라고 주장합니다. 즉, rex는 여러 개의 뚜렷한 설명 영역(예: 객체의 여러 부분)을 식별하므로, 한 영역의 픽셀을 삭제하더라도 다른 영역의 신호가 즉시 파괴되지 않기 때문입니다(이는 하나의 확산된 영역을 식별하는 도구들과 대조적입니다).

의의 및 주장
본 논문은 rex가 이론적으로 인과 관계에 근거하면서도 계산 효율적인 설명을 제공함으로써 블랙박스 XAI 분야에서 중요한 진전을 이루었다고 주장합니다. 저자들은 `와 rex가 블랙박스 도구들 중 가장 작고 정밀한 설명을 생성하며, 설명의 크기와 집중도 측면에서 화이트박스 방법들을 능가하기도 한다고 단언합니다.

결정적으로, 본 논문은 rex 설명의 작은 크기(흔히 5% 미만)가 해당 픽셀들이 분류에 충분하다는 점에서 더 이상의 축소는 유용하지 않음을 시사한다고 주장합니다. 또한 저자들은 이 접근 방식이 기존의 이미지 세그멘테이션에 의존하지 않으므로, 세그멘테이션 마스크를 사용할 수 없거나 부정확한 다양한 데이터셋과 모델 아키텍처에 걸쳐 견고하다는 점을 강조합니다. 이 연구는 블랙박스 방법이 공식적인 인과적 정의에 의해 유도될 때 화이트박스 방법과 대등하거나 혹은 더 나은 설명 품질을 달성할 수 있음을 입증합니다.