Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 심층 신경망 (DNN) 은 인간의 이미지 진위 (Authenticity) 판별을 높은 정확도로 예측할 수 있습니다. 그러나 높은 예측 성능이 반드시 인간과 유사한 정보 처리 방식을 사용하거나, 그 내부 메커니즘을 투명하게 드러낸다는 것을 의미하지는 않습니다.
• 핵심 문제: 기존 연구는 모델의 예측을 설명하기 위해 '속성 히트맵 (Attribution Heatmaps, 예: Grad-CAM)'을 생성하지만, 이러한 설명이 강건 (Robust) 하고 일관성 (Consistency) 이 있는지에 대한 검증이 부족했습니다.
  • 서로 다른 아키텍처가 동일한 성능을 내더라도 서로 다른 설명 (이미지의 다른 부분 강조) 을 제공할 수 있는가? (라쇼모노 효과)
  • 같은 아키텍처라도 무작위 시드 (Random Seed) 를 달리하면 설명이 일관되게 유지되는가?
  • 모델이 '진위성 (Authenticity)' 자체를 학습한 것인지, 아니면 진위성과 상관관계가 높은 '화질 (Quality)' 정보를 학습한 것인지 구분할 수 있는가?
• 목표: 이미지 진위성 판단을 예측하는 모델들이 생성하는 설명이 인간 심리학적 메커니즘을 설명하는 데 유효한지, 즉 설명의 식별 가능성 (Identifiability) 과 일관성을 평가하는 것.

2. 연구 방법론 (Methodology)

• 데이터셋: AIGCIQA2023 데이터셋 사용 (2,400 개의 AI 생성 이미지).
  • 인간 평가자 (25 명) 가 각 이미지의 화질 (Quality), 진위성 (Authenticity), 대응성 (Correspondence) 을 1~5 점 척도로 평가.
  • 비현실적인 카테고리 (일러스트, 예술 등) 가 포함된 1,033 개 이미지를 제외하고 1,367 개 이미지를 분석에 사용.
• 모델 아키텍처:
  • 사전 학습된 6 가지 비동결 (Frozen) 백본 모델 사용: VGG-16/19, ResNet-152, DenseNet-161, EfficientNetB3, Barlow Twins (자기지도 학습).
  • 각 백본에 간단한 회귀 헤드 (Regression Head) 를 연결하여 인간의 진위성 평점 (0~100 점) 을 예측하도록 훈련.
• 실험 설계:
  • 예측 성능 평가: 10 개의 서로 다른 무작위 시드로 모델을 훈련하여 예측 정확도 (RMSE, PLCC, SRCC) 와 인간 데이터의 노이즈 천장 (Noise Ceiling) 대비 성능을 측정.
  • 설명 일관성 평가:
    1. 아키텍처 내 일관성 (Within-architecture): 동일 아키텍처의 10 개 변형 모델이 생성한 히트맵 간의 상관관계 및 IoU(Intersection-over-Union) 측정.
    2. 아키텍처 간 일관성 (Across-architecture): 서로 다른 아키텍처가 동일한 이미지에 대해 생성한 설명의 유사성 측정.
  • 설명 생성 방법:
    • Grad-CAM: 기울기 기반 방법.
    • MPM (Multi-scale Pixel Masking): 픽셀 마스킹 기반 방법.
    • LIME: 초픽셀 (Superpixel) 기반 국소 회귀 모델.
  • 변수 분리 분석: 진위성 예측이 화질 (Quality) 정보에 의존하는지 확인하기 위해 부분 상관 분석 (Partial Correlation) 수행.
  • 앙상블 (Ensemble): Bagging 및 Stacking 기법을 사용하여 여러 모델의 예측을 통합하고, 이를 통해 새로운 설명 맵 생성 시도.

3. 주요 결과 (Key Results)

3.1 예측 성능과 정보의 종류

• 성능: Barlow Twins 와 DenseNet-161 이 가장 높은 예측 정확도 (인간 데이터 노이즈 천장의 약 80% 수준, PLCC $\approx$ 0.63) 를 보임.
• 정보의 식별:
  • VGG 모델 (VGG-16/19): 진위성 예측 성능은 좋았으나, 이는 화질 (Quality) 정보를 주로 추적하여 달성한 것임. 화질 변수를 통제한 후의 부분 상관관계는 0 에 가까움. 즉, VGG 는 진위성 자체의 특징을 학습하지 못함.
  • 기타 모델 (Barlow Twins, EfficientNetB3 등): 화질 변수를 통제한 후에도 진위성 예측에 유의미한 잔여 상관관계를 보임. 즉, 진위성 고유의 정보를 학습함.

3.2 설명의 일관성 (Consistency)

• 아키텍처 내 일관성:
  • 대부분의 모델 (특히 Barlow Twins, VGG) 은 무작위 시드를 달리해도 높은 설명 일관성을 보임.
  • 흥미로운 발견: 이미지의 진위성 점수가 높을수록 (더 사실적으로 보일수록) 모델 간 설명 일관성이 더 높았음. 반면, 진위성이 낮은 이미지는 모델마다 다른 특징을 강조하여 일관성이 낮음.
• 아키텍처 간 일관성 (가장 중요한 발견):
  • 서로 다른 아키텍처 (예: Barlow Twins vs. VGG) 가 동일한 성능을 내더라도, 생성된 설명 맵 (히트맵) 은 매우 달랐음.
  • 아키텍처 간 설명의 상관관계는 일반적으로 낮았으며, 특히 VGG 와 다른 모델 간에는 설명이 완전히 불일치함.
  • 이는 라쇼모노 효과 (Rashomon Effect) 를 명확히 보여줌: 서로 다른 모델이 동일한 결과를 예측하지만, 그 근거 (설명) 는 상이함.

3.3 앙상블 모델의 효과

• 단일 모델보다 앙상블 (Bagging, Stacking) 이 인간 판별을 더 정확하게 예측함 (PLCC $\approx$ 0.73).
• 앙상블 모델을 통해 생성된 설명 맵은 단일 모델보다 더 명확하게 이미지의 진위성 관련 요소를 구분해 냄.
• 그러나 LIME 은 앙상블 모델의 행동을 충분히 근사하지 못해 앙상블 설명 생성에는 적합하지 않음.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 예측 성능 $\neq$ 설명의 유효성: 딥러닝 모델이 인간의 행동을 잘 예측한다고 해서, 그 모델이 제공하는 '설명 (Explanation)'이 인간 심리학적 메커니즘을 반영한다고 볼 수 없음을 입증함.
2. 설명 비식별성 (Non-identifiability) 증명: 서로 다른 아키텍처가 동일한 성능을 내더라도 서로 다른 시각적 단서 (Cues) 를 기반으로 예측할 수 있음을 보여줌. 따라서 단일 모델의 설명을 인간 인지 메커니즘의 증거로 받아들이는 것은 위험함.
3. 화질 vs 진위성 구분: 많은 모델이 진위성 판단을 할 때 실제로는 '화질'을 판단하고 있을 수 있음을 통계적으로 분리하여 증명함. 이는 AI 생성 이미지 판별 연구에서 중요한 통찰을 제공함.
4. 앙상블 접근법의 제안: 단일 모델의 설명 불일치 문제를 해결하고 예측 정확도를 높이기 위해 앙상블 모델을 사용하는 것이 유효한 대안임을 제시함.
5. 인지 과학적 함의: 행동 예측 모델의 사후 설명 (Post-hoc explanations) 은 현재로서는 인간 인지 메커니즘에 대한 약한 증거로 간주되어야 함을 강조함.

5. 결론 (Conclusion)

이 연구는 이미지 진위성 판단을 예측하는 딥러닝 모델들이 인간과 유사한 성능을 낼 수 있지만, 그 내부 작동 원리 (설명) 는 모델마다 크게 다르며, 때로는 인간이 사용하는 실제 단서가 아닌 상관관계가 있는 다른 정보 (화질 등) 를 기반으로 할 수 있음을 보여줍니다. 따라서 심리학 및 인지 과학 연구에서 모델의 예측 성능만 믿고 설명을 해석하는 것은 신중해야 하며, 설명 일관성과 모델 간 합의 (Consensus) 를 검증하는 것이 필수적입니다.