Sufficient, Necessary and Complete Causal Explanations in Image Classification

이 논문은 이미지 분류기의 출력에 대한 형식적 엄밀성과 계산 효율성을 동시에 보장하는 인과적 설명 (충분성, 필요성, 완전성) 을 제안하고, 이를 모델 내부 정보나 그래디언트 접근 없이 블랙박스 방식으로 구현하여 다양한 모델의 설명 패턴을 분석했습니다.

핵심

🕵️‍♂️ 핵심 개념: "사진의 조각 puzzle"

AI 가 사진을 볼 때, 우리는 보통 "어떤 부분이 고양이인지 알려줘"라고 생각합니다. 하지만 이 논문은 사진을 세 가지 다른 역할의 조각으로 나누어 설명합니다.

1. 충분 조건 (Sufficient): "이것만 있으면 돼!"

• 비유: 스무디 한 잔을 만들기 위해 '딸기'만 있으면 되는 경우
• 설명: 사진에서 아주 작은 부분만 보여줘도 AI 가 "아, 이건 고양이네!"라고 확신할 수 있는 최소한의 조각들입니다.
• 논문 내용: 그림 1(b) 를 보면, '무당벌레' 사진에서 아주 작은 부분만 떼어내도 AI 는 여전히 '무당벌레'라고 맞춥니다. 이 부분이 바로 '충분한 설명'입니다.

2. 필요 조건 (Necessary): "이게 없으면 안 돼!"

• 비유: 스무디에서 '딸기'를 빼면 그냥 '사과 주스'가 되는 경우
• 설명: 만약 이 부분만 지워버리면, AI 는 전혀 다른 것 (예: '잎벌레') 으로 오인합니다. 즉, 이 부분이 있어야만 '고양이'라는 결론이 나옵니다.
• 논문 내용: '무당벌레'의 특정 부분만 지우면 AI 는 '잎벌레'로 분류합니다. 이 부분은 '필수 불가결한 요소'입니다.

3. 완전한 설명 (Complete) & 조정 픽셀 (Adjustment Pixels)

• 비유: 완벽한 레시피 vs. 맛을 더 살리는 마지막 한 스푼
• 설명:
  • 완전한 설명 (1-Complete): '충분한 조각'과 '필요한 조각'을 합쳐서, **원래 사진과 똑같은 확신도 (Confidence)**를 가진 상태입니다. 마치 레시피대로 다 만든 스무디처럼요.
  • 조정 픽셀 (Adjustment Pixels): 그런데 흥미로운 점은, '충분한 조각'과 '완전한 조각' 사이에 약간의 차이가 있다는 것입니다. 이 차이는 AI 의 확신도를 미세하게 조절하는 역할입니다.
  • 예시: 그림 2 를 보면, '세면대'를 인식할 때 핵심 부분만 있으면 '세면대'라고 하지만, 확신도가 낮습니다. 여기에 '조정 픽셀' (빨간색 부분) 을 더하면, AI 는 "아, 이건 확실한 세면대구나 (확신도 0.75)"라고 말합니다. 하지만 이 픽셀들을 제거하면 AI 는 "아, 변기 시트네"라고 오해할 수도 있습니다.

---

🚀 이 연구가 왜 특별한가요?

1. "블랙박스"도 설명 가능해요! (Black-box Friendly)

• 기존 방법: AI 의 내부 회로 (그래디언트 등) 를 들여다보거나, AI 가 "선형적"이어야만 (수학적으로 단순해야만) 설명이 가능했습니다. 마치 자동차 엔진을 분해하지 않고는 고장 원인을 못 찾는 것과 비슷합니다.
• 이 연구: 엔진을 뜯지 않고, 입력 (사진) 과 출력 (결과) 만 보고도 "이 부분이 원인이다"라고 수학적으로 증명합니다. 어떤 복잡한 AI 모델 (ResNet, MobileNet 등) 이든 상관없이 작동합니다.

2. "논리"와 "원인"이 만났다!

• 논리 기반 설명: 수학적으로 완벽하지만, 현실의 복잡한 AI 에는 적용하기 어렵습니다.
• 원인 기반 설명 (Causal): "A 가 없으면 B 가 안 된다"는 인과관계를 이용합니다. 이 논문은 **"원인 기반 설명도 논리 기반 설명만큼 수학적으로 완벽하다"**는 것을 증명했습니다.

3. 실험 결과: AI 모델마다 성격이 다르다!

• 연구팀은 3 가지 다른 AI 모델 (ResNet50, MobileNet, Swin) 을 테스트했습니다.
• ResNet50: 아주 적은 픽셀로도 충분히 판단을 내립니다. (효율적)
• MobileNet: 훨씬 더 많은 픽셀이 필요합니다.
• 결론: AI 모델마다 "무엇을 보고 판단하는지"의 패턴이 완전히 다릅니다. 이 연구는 그 차이를 정량적으로 보여줍니다.

---

💡 요약: 이 기술이 우리에게 주는 메시지

이 논문은 AI 의 결정 과정을 "필요한 것 (Necessary)", "충분한 것 (Sufficient)", 그리고 **"확신을 주는 것 (Adjustment)"**으로 세분화하여 보여줍니다.

• 왜 중요한가?
  • 의료 영상 (MRI) 에서 "왜 종양이라고 판단했는지"를 정확히 알려줍니다.
  • AI 가 헛된 부분 (노이즈) 에 반응하는지, 진짜 중요한 특징을 보는지 확인할 수 있습니다.
  • 블랙박스인 AI 를 투명하게 만들어, 우리가 AI 를 더 신뢰하고 이해할 수 있게 도와줍니다.

마치 요리사 (AI) 가 요리를 할 때, 어떤 재료가 핵심이고, 어떤 재료가 맛을 더해주는지를 정확히 알려주는 레시피 분석 도구라고 생각하시면 됩니다. 이제 우리는 AI 가 "왜" 그렇게 생각했는지, 수학적으로 증명된 이유를 알 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 기존 설명 기법의 한계:
  • 형식적 엄밀성 부재: 기존 이미지 분류기 설명 알고리즘 (Saliency, Gradient 기반 등) 은 다양한 접근법을 사용하지만, 형식적으로 엄밀하게 정의되지 않아 신뢰성이 부족합니다.
  • 계산 가능성의 제약: 논리 기반 (Logic-based) 설명은 형식적 엄밀성을 가지지만, 모델이 명시적인 함수로 주어지고 단조성 (Monotonicity) 이나 선형성 같은 강한 가정을 전제로 해야 계산이 가능합니다. 이는 실제 복잡한 이미지 분류기 (딥러닝 모델) 에 적용하기 어렵습니다.
• 목표:
  • 형식적 엄밀성을 유지하면서도, 모델의 내부 구조나 특정 속성 (단조성 등) 에 대한 가정 없이 블랙박스 이미지 분류기에 적용 가능하고 계산 효율적인 인과적 설명 체계를 구축하는 것.

2. 방법론 (Methodology)

2.1. 이론적 기반: 실제 인과성 (Actual Causality)

• 논리는 Halpern-Pearl (HP) 정의에 기반한 실제 인과성 이론을 적용합니다.
• 이진 인과 모델 (Binary Causal Model): 입력 이미지 $x$와 분류기 $N$에 대해, 픽셀을 변수로, 분류 결과의 유지를 출력 변수로 하는 2 단계 깊이의 인과 모델을 구성합니다.
  • 변수: 이미지의 각 픽셀 (1 은 원본 값 유지, 0 은 마스킹/가림).
  • 출력: 마스킹된 이미지의 분류 결과가 원본과 동일한지 여부.

2.2. 새로운 설명 정의 (Key Definitions)

논문은 기존 단일 컨텍스트 충분 설명 (SCSE) 을 확장하여 다음과 같은 새로운 설명 유형을 정의합니다.

1. 충분 설명 (Sufficient Explanation, SCSE/MCSE):

   • 특정 픽셀 집합만 남기고 나머지를 마스킹했을 때, 모델이 여전히 원본 클래스를 예측하는 최소한의 픽셀 집합.
   • 단일 컨텍스트 (SCSE): 모든 픽셀이 마스킹된 상태 (배경) 에서만 유효.
   • 다중 컨텍스트 (MCSE): 이미지의 부분적 마스킹 상태 (다양한 컨텍스트) 에서도 항상 유효. (이미지 분류기는 단조성이 아니므로 MCSE 가 더 엄격함).

2. 필요 설명 (Necessary Explanation, NE):

   • 특정 픽셀 집합을 마스킹했을 때, 모델의 예측이 바뀌는 (필요한) 최소 픽셀 집합.

3. 완전 설명 (Complete Explanation, SCCE/MCCE):

   • 충분성과 필요성을 동시에 만족하는 설명.
   • 즉, 해당 픽셀 집합만으로도 원본 분류가 가능하고, 이 픽셀들을 제거하면 분류가 바뀌는 집합.

4. 신뢰도 기반 설명 (Confidence-based Explanations):

   • $\delta$-신뢰 설명 ($\delta$-confident): 원본 이미지의 신뢰도 $c$에 대해 $\delta \cdot c$ 이상의 신뢰도를 가지는 설명.
   • 1-완전 설명 (1-complete explanation): 원본 이미지와 정확히 동일한 신뢰도를 가지는 완전 설명.
   • 조정 픽셀 (Adjustment Pixels): 1-완전 설명을 만들기 위해 $\delta$-완전 설명에 추가로 필요한 픽셀들. 이는 분류기의 신뢰도를 미세 조정하는 역할을 합니다.

2.3. 알고리즘 (Algorithms)

• 복잡도: 모든 유형의 인과적 설명 결정 문제는 co-NP-complete임이 증명됨. 따라서 근사 알고리즘이 필요.
• ReX 기반 접근: 기존 도구인 ReX (Chockler et al., 2024) 를 기반으로 함.
  • 책임도 (Responsibility) 매핑: 픽셀이 분류 결과에 미치는 인과적 영향력을 정량화하여 픽셀을 순위 매김.
  • 그리디 알고리즘 (Greedy Approach):
    • $\delta$-완전 설명 탐색: 픽셀을 책임도 순서대로 추가하거나 제거하며 ($K^+$, $K^-$), 목표 신뢰도 조건을 만족하는 최소 집합을 찾음.
    • 1-완전 설명 및 조정 픽셀 탐색: $\delta$-완전 설명에서 원본 신뢰도까지 맞추기 위해 필요한 추가 픽셀을 탐색.
• 블랙박스 특성: 모델 아키텍처, 내부 가중치, 기울기 (Gradient) 접근 없이 오직 입력 - 출력 쌍만으로 작동.

3. 주요 기여 (Key Contributions)

1. 형식적 엄밀성과 블랙박스 적용의 조화:

   • 논리 기반 설명과 동등한 형식적 속성을 가지면서도, 이미지 분류기의 비선형성/비단조성을 고려한 인과적 설명 체계를 정립함.
   • 논리 기반 설명 (Abductive/Contrastive) 과 인과적 설명의 동치성을 수학적으로 증명.

2. 새로운 설명 범주의 도입:

   • $\delta$-완전 설명과 1-완전 설명을 도입하여 모델의 '신뢰도'를 설명에 통합.
   • 조정 픽셀 (Adjustment Pixels) 개념을 통해, 분류 결정에는 필수적이지 않지만 신뢰도 조절에 관여하는 픽셀을 식별.

3. 효율적인 근사 알고리즘 구현:

   • co-NP-complete 문제를 해결하기 위한 효율적인 근사 알고리즘을 개발 및 구현 (평균 1 이미지당 6 초 소요).
   • ReX 오픈소스 도구에 통합.

4. 입력 불변성 (Input Invariance):

   • 제안된 인과적 설명은 입력 값의 미세한 변화 (예: 노이즈, 평균 이동) 에 영향을 받지 않는 '입력 불변성'을 가짐. 이는 기존 Saliency 방법들의 약점을 보완.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 모델: ImageNet-1K, PascalVOC, ECSSD 데이터셋과 ResNet50, MobileNet, Swin Transformer 모델을 사용.
• 모델별 패턴 차이:
  • ResNet50: 가장 적은 수의 픽셀로 충분성 (Sufficiency) 과 $\delta$-완전성을 달성. 조정 픽셀도 적음.
  • MobileNet & Swin t: ResNet50 보다 더 많은 픽셀이 필요하며, 모델 간 행동 패턴이 유사함.
• 역분류 (Inverse Classification) 분석:
  • 완전 설명의 픽셀을 마스킹했을 때 모델이 예측하는 '역분류' 클래스와 원본 클래스 간의 계층적 거리를 분석.
  • 대부분의 경우 두 클래스는 계층적으로 가깝지만 (예: 원숭이 -> 구아논 원숭이), 일부 오분류 사례에서는 완전히 다른 클래스 (예: 소 -> 오토바이) 로 분류되기도 함.
• 타 XAI 도구 비교 (Grad-CAM, LIME vs ReX):
  • 정확도 (Precision): ReX 가 일반적으로 가장 작은 충분 설명 집합 (평균 이미지의 약 4%) 을 찾음. LIME 은 약 14%, Grad-CAM 은 모델에 따라 매우 불규칙함.
  • 안정성: ReX 와 LIME 이 Grad-CAM 보다 더 안정적임. ReX 는 이미지 구조에 대한 사전 지식이 필요 없어 신뢰도가 높음.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 기여: 이미지 분류기 설명에 '신뢰도'와 '완전성'을 형식적으로 통합한 최초의 체계 제공.
• 실용적 가치:
  • 모델이 어떤 픽셀에 의존하여 결정 내리는지 (충분성), 어떤 픽셀이 결정에 필수적인지 (필요성), 그리고 신뢰도를 어떻게 조절하는지 (조정 픽셀) 를 정량적으로 분석 가능.
  • 의료 영상 (MRI 등) 과 같이 높은 신뢰도와 명확한 근거가 필요한 분야에서 모델의 의사결정 과정을 검증하는 데 유용.
• 한계 및 향후 과제:
  • 계산 복잡도로 인해 근사 알고리즘을 사용해야 함.
  • 조정 픽셀의 의미 해석에 대한 추가 연구 필요.

요약하자면, 이 논문은 블랙박스 이미지 분류기에 대해 형식적으로 엄밀하면서도 계산 가능한 인과적 설명 프레임워크를 제시하여, 기존 설명 기법들의 불완전성을 해결하고 모델의 내부 동작 원리 (특히 신뢰도 조절 메커니즘) 를 심층적으로 이해할 수 있는 길을 열었습니다.