Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

기술 요약: 딥페이크 탐지기의 의미론적 어휘 공개

문제 정의
딥페이크(DF) 기술은 정보의 무결성에 심각한 위협을 가하며, 이에 따라 강력한 탐지 방법이 필수적이다. 그러나 딥페이크 탐지 분야의 지배적인 접근 방식은 이진 분류(실제 vs 가짜)에 의존하고 있으며, 이는 법적 절차와 같이 높은 신뢰도가 요구되는 응용 분야에서 필요한 투명성과 정당성을 결빙한다. 이를 해결하기 위해 설명 가능한 딥페이크 탐지(XDFD)가 등장했으나, 기존 기술들은 상당한 한계를 지닌다. 시공간적 국소화(spatio-temporal localization) 방법은 종종 조잡한 시각적 증거(예: 특정 아티팩트가 아닌 얼굴 전체를 강조함)를 생성하며, 텍스트 설명 방법은 정확한 공간적 접지(grounding)가 부족하거나 탐지기가 사용하는 근거를 제대로 반영하지 못하는 경우가 많다. 또한, 현재의 많은 XDFD 접근 방식은 구조적 수정, 보조적인 학습 목표, 또는 인간의 주석(annotation)을 필요로 하며, 이는 해석 가능성과 예측 성능 사이의 트레이드오프를 발생시킨다.

방법론
본 연구는 모델의 아키텍처를 수정하거나 재학습을 요구하지 않고, 최첨단 블랙박스 딥페이크 탐지기를 분석하는 사후(post-hoc) 설명 가능한 AI(XAI) 프레임워크를 제안한다. 핵심적인 기술적 접근법은 선형 표현 가설(linear representation hypothesis)에 기반한 **인코딩-디코딩 방향 쌍(Encoding-Decoding Direction Pairs, EDDP)**을 활용한다.

1. 개념 추출(Concept Extraction): 이 방법은 개념(실제 또는 가짜 이미지를 나타내는 특징)이 모델의 잠재 공간 내에서 개념 임베딩의 선형 결합으로 인코딩되어 있다는 가정하에 작동한다. 저자들은 FaceForensics++로 사전 학습된 Xception 네트워크의 특정 레이어(12번째 잔차 블록)의 활성화값에 EDDP를 적용하여 다음을 공동 학습한다:

   • 디코딩 방향($W$): 개념 탐지기 역할을 하는 벡터.
   • 인코딩 방향($S$): 개념이 인코딩되는 잠재 공간 내의 특정 방향을 나타내는 벡터.
   • 임계값($b$): 개념 활성화를 위한 결정 경계.

2. 시각화 및 정량화:

   • 개념 존재 맵(Concept Presence Maps, CPMs): 공간 패치에 디코딩 방향을 적용하고 업샘플링하여 특정 개념이 어디에 존재하는지 보여주는 이진 맵.
   • 개념 기여도 맵(Concept Contribution Maps, CCMs): 단순한 존재 여부와 인과적 기여를 구분하여, 각 개념이 최종 예측 로짓(logit)에 미치는 영향을 정량화하는 공간 인지형 히트맵.

3. 검증 및 분석:

   • RCAV 민감도: 상대적 개념 활성화 벡터(Relative Concept Activation Vector) 점수를 사용하여 특정 개념이 모델을 "실제(Real)" 또는 "가짜(Fake)" 분류로 편향시키는지 결정한다.
   • 의미론적 매핑: 교집합 대비 합집합(Intersection over Union, IoU) 점수를 통해 추상적인 개념 방향을 실제 얼굴 영역(예: 코, 눈, 입)에 매핑한다.
   • 충실도 평가(Faithfulness Assessment): 저자들은 개념 클로닝(대상 샘수의 개념 계수를 소스 베이스로 이식)과 표적 개입(예측을 뒤집기 위해 개념을 추가하거나 제거)을 사용하여, 식별된 개념이 모델 결정의 주요 동인인지 검증한다.

주요 기여

• 최초의 사후 개념 기반 딥페이크 XAI: 본 연구는 아티팩트 수준의 감독이나 모델 재학습 없이, 딥페이크 탐지 분야에 사후 개념 기반 XAI를 적용한 첫 사례이다.
• 의미론적 어휘 발견: 본 연구는 탐지기가 학습한 16개의 내부 개념을 성공적으로 찾아내어, 추상적인 잠재 활성값을 인간이 해석 가능한 특징(예: "가짜-입", "실제-눈", "가짜-목")으로 매핑하였다.
• 전역적 및 지역적 이해: 이 프레임워크는 어떤 개념이 예측을 주도하는지 식별함으로써 전역적 모델 이해를 가능하게 하며, CCM은 특정 조작 아티팩트를 지목하는 공간 인지형 개념 기반 지역 설명을 제공한다.
• 역사실적 분석(Counterfactual Analysis): 이 방법은 체계적인 개입을 통해 특정 개념과 모델 출력 사이의 인과 관계를 입증함으로써 "만약 ~라면 어떻게 될까"라는 분석을 용이하게 한다.

결과

• 개념 식별: 분석 결과, 모델을 "가짜" 쪽으로 일관되게 편향시키는 개념들(예: $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$)과 "실제" 쪽으로 편향시키는 개념들(예: $c_0, c_5, c_7, c_8, c_{11}$)이 명확히 드러났다. 일부 개념은 변별력이 없는 것으로 나타났다.
• 의미론적 접지: IoU를 통한 정량적 매핑을 통해 개념들이 특정 얼굴 영역(예: $c_5$는 코와 상관관계, $c_{12}$는 가짜 눈과 상관관계)과 일치함을 확인하였다.
• 충실도: 개념 클로닝 실험은 대상 예측을 재현하는 데 87.34%의 정확도를 달성하였으며, 오분류된 샘플에 대한 표적 개입은 모델 출력을 바로잡는 데 99.8%의 성공률을 기록하였다. 이는 학습된 개념 계수가 분류에 사용되는 핵심 특징을 포착하고 있음을 확인시켜 준다.
• 조작 특이성: 본 연구는 특정 개념이 특정 딥페이크 생성 기술에 높은 특이성을 보임을 관찰하였다(예: $c_3$와 $c_9$는 DeepFakes 및 Face2Face에서 매우 빈번하게 나타남). 이는 탐지기가 특정 생성 과정에 내재된 아티팩트를 학습한다는 것을 나타낸다.

의의 및 주장
본 논문은 이 접근 방식이 이진 예측을 넘어 훈련 과정에서 학습된 고유한 특징을 드러냄으로써 딥페이크 탐지 전략에 대한 더 깊은 이해를 제공한다고 주장한다. 분류 로직을 식별 가능한 얼굴 영역에 접지하고 모델 예측을 유도할 수 있는 메커니즘을 제공함으로써, 본 연구는 더욱 투명하고 신뢰할 수 있는 탐지 시스템을 가능하게 한다. 저자들은 이 방법이 설명과 결정 함수 사이의 긴밀한 정렬을 제공하여, 재학습이나 구조적 제약에 따른 운영 오버헤드 없이 충실도를 향상시킨다고 강조한다.

한계점
저자들은 몇 가지 제약 사항을 솔직하게 인정하였다:

• 탐지기 자체를 재학습시키지는 않지만, EDDP 모델은 여전히 대상 모델의 특정 표현 공간(representation space) 상에서 학습되어야 한다.
• 개념의 수는 수동으로 정의되는 하이퍼파라미터이며, 이는 적절히 선택되지 않을 경우 중복되거나 신호가 불충분할 위험이 있다.
• 식별된 개념들은 사용된 특정 모델 아키텍처(Xception) 및 데이터셋(FaceForensics++)에 최적화되어 있으므로, 별도의 학습 과정 없이는 다른 모델이나 데이터셋으로 직접 전이되지 않을 수 있다.