💻 computer science

Score-based Likelihood Ratios for Deepfake Image Evidence Using Deep Learning Features

본 논문은 기존의 이진 분류 탐지 방식의 한계를 극복하고 사법적 의사결정을 위한 해석 가능하며 수치적으로 근거가 확실한 평가를 제공하기 위해, SRM 딥러닝 특징과 보정된 통계 모델링을 활용하여 딥페이크 이미지의 증거 강도를 정량화하는 포렌식 준수 점수 기반 가능도 비 프레임워크를 제안한다.

원저자: Tianli Guo, Pengji Chen, Rui Lu, Yunqi Tang

게시일 2026-09-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianli Guo, Pengji Chen, Rui Lu, Yunqi Tang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

법정에서 증거의 무게는 결코 단순히 "예" 또는 "아니오"의 문제가 아닙니다. 디지털 미디어가 증거로 제시될 때, 문제는 그것이 진짜인지 가짜인지 여부뿐만 아니라, 데이터가 한 결론을 다른 결론보다 얼마나 강력하게 뒷받침하느냐 하는 것입니다. 수십 년 동안 법의학 전문가들은 조작을 포착하기 위해 조명, 그림자, 그리고 디지털 지문을 분석하는 방식에 의존해 왔습니다. 그러나 새로운 세대의 인공지능이 이 판도를 바꾸어 놓았습니다. 이제 이러한 시스템은 비디오와 사진 속의 얼굴을 매우 정밀하게 교체할 수 있어, 그 결과물이 인간의 눈은 물론 숙련된 전문가들에게도 실제와 구별할 수 없을 정도로 완벽해 보입니다. 명백한 오류나 누락된 데이터를 찾는 전통적인 도구들은 이러한 새로운 위조물들이 완벽하도록 생성되기 때문에 종종 실패합니다. 이는 중요한 격차를 만듭니다. 법 체계는 이미지 자체가 결점 없이 완벽해 보일 때, 단순한 이진적 추측을 넘어 계산된 확률로서 증거의 강도를 측정할 수 있는 방법을 필요로 합니다.

이 격차를 메우기 위해 연구자 톈리 구오(Tianli Guo), 펑지 첸(Pengji Chen), 루이 루(Rui Lu), 그리고 윈치 탕(Yunqi Tang)은 딥페이크 이미지를 평가하는 새로운 방법을 개발했는데, 이는 문제를 단순한 분류 작업이 아닌 통계적 문제로 취급합니다. 컴퓨터에게 "가짜" 또는 "진짜"라고 외치도록 훈련시키는 대신, 그들의 시스템은 검증 대상 이미지가 알려진 실제 얼굴들의 집합과 얼마나 유사한지를 측정합니다. 그들은 먼저 인간의 눈에는 보이지 않는 미세한 고주파 패턴을 포착하도록 설계된 특수 신경망(인공지능의 일종)을 사용하여, 모든 이미지로부터 고유한 디지털 지문을 추출합니다. 이 지문은 단순한 숫자가 아니라 질감과 구조의 복잡한 지도입니다. 연구진은 수집된 모든 실제 이미지의 평균 지문을 계산하여, 진본성의 이상향을 나타내는 중심점인 '센트로이드(centroid)'를 만듭니다.

그들 작업의 핵심은 새로운 미지의 이미지와 이 실제 얼굴들의 중심점 사이의 거리를 측정하는 것입니다. 만약 이미지가 진정으로 실제라면, 그 디지털 지문은 진본 그룹의 중심에 매우 가깝게 위치해야 합니다. 만약 딥페이크라면, 설령 매우 고품질이라 할지라도 그 지문은 이 중심점에서 벗어나게 됩니다. 연구진은 수천 개의 실제 및 가짜 이미지를 비교하며 이 접근 방식을 테스트했고, 이러한 거리들이 정확히 어떻게 분포되는지 매핑했습니다. 그들은 일부 위조물이 현실을 모방하는 데 매우 뛰어나지만, 여전히 실제 사진보다 중심점에서 더 멀어지게 만드는 통계적 흔적을 남긴다는 것을 발견했습니다. 연구진은 커널 밀도 추정(kernel density estimation)이라는 수학적 기법을 사용하여 이러한 거리들을 우도비(likelihood ratio)로 변환했습니다. 이 비율은 척도 역할을 하여, 법의학 조사관에게 이미지가 위조일 가능성에 비해 실제일 가능성이 얼마나 더 높은지를 막연한 신뢰 점수가 아닌 정확한 수치로 알려줍니다.

이 시스템이 법정에서 신뢰할 수 있을 만큼 견고함을 보장하기 위해, 팀은 여러 단계의 엄격한 테스트와 교정 과정을 적용했습니다. 그들은 결과값이 실제 확률을 정확하게 반영하도록 보장하기 위해 '인접 위반자 처리 알고리즘(Pool Adjacent Violators algorithm)'이라 불리는 방법을 사용하여 결과를 보정했습니다. 특정 딥페이크 이미지 데이터셋에 대한 테스트 결과, 이 시스템은 약 6.75%의 사례에서만 오류를 범하며 높은 정확도로 실재와 가짜를 구별해 낼 수 있었습니다. 나아가, 연구진은 극단적인 값이 오해를 불러일으킬 수 있는 통계 모델링의 일반적인 문제를 해결했습니다. 경험적 경계값을 설정함으로써, 시스템이 무작위 추측보다 낮은 신뢰도를 내놓지 않도록 보장하였고, 결과적으로 가장 극단적이고 불확실한 예측들을 효과적으로 제거했습니다. 그들이 '경험적 하한 및 상한법(Empirical Lower and Upper Bound method)'이라고 부르는 이 과정은 가장 극단적인 데이터 포인트의 1% 미만을 솎아내어, 견고하고 신뢰할 수 있는 결과 세트를 남겼습니다.

이러한 결과는 고정된 임계값에 의존하여 쉽게 속을 수 있는 기존 딥페이크 탐지기의 한계를 넘어설 수 있음을 보여줍니다. 딥러닝 특징과 세심한 통계 모델링을 결합함으로써, 연구진은 정량화 가능하고 해석 가능한 증거 강도를 생성하는 파이프라인을 구축했습니다. 이 접근 방식은 모든 사건을 즉각적으로 해결하는 마법의 탄환이라고 주장하는 것이 아니라, 법적 증거의 기준에 부합하는 법의학적 프레임워크를 제공합니다. 이 시스템은 실제와 가짜 사이의 복잡하고 보이지 않는 차이를 법적 환경에서 무게를 달고 이해할 수 있는 명확한 수치로 성공적으로 변환합니다. 현재의 연구는 특정 데이터셋 내의 얼굴 교체 딥페이크에 초점을 맞추고 있지만, 이 방법은 정밀함과 확신을 가지고 점점 더 복잡해지는 디지털 환경을 헤쳐 나가야 하는 법 체계에 유망한 길을 제시합니다.

기술 요약: 딥러닝 특징을 이용한 딥페이크 이미지 증거의 점수 기반 우도비(Score-based Likelihood Ratios)

문제 정의
GAN(Generative Adversarial Networks) 및 확산 모델(diffusion models)을 이용한 페이스 스와핑(face-swapping) 등 딥페이크 기술의 급격한 발전은 기존의 포렌식 인증 방법을 무력화시켰습니다. 전통적인 접근 방식은 고정된 임계값(예: 0.5)을 사용하는 이진 분류에 의존하는데, 이는 확률적 해석이 불가능하며 법적 절차에서 요구되는 단계적인 증거 강도를 정량화할 수 없습니다. 또한, 기존의 딥러으로 학습된 탐지기들은 데이터 분포 변화에 민감한 미교정 신뢰도 점수를 생성하며, 모호한 사례와 명확한 위조 사례를 구분하지 못하는 경우가 많습니다. 따라서 "블랙박스" 형태의 AI 출력을 포렌식 과학(예: DNA 및 지문 분석)에서 사용되는 베이지안 추론 표준에 부합하는 투명하고 수치적으로 근거 있는 증거로 변환하는 프레임워크가 절실히 필요합니다.

방법론
저자들은 딥러닝 특징을 활용한 점수 기반 우도비(Score-based Likelihood Ratio, SLR) 프레임워크를 제안하여 이러한 포렌식 격차를 해결하고자 합니다. 본 방법론은 네 가지 주요 단계로 구성됩니다:

딥 특징 추출 (Deep Feature Extraction):
- 본 연구는 RGB 콘텐츠와 고주파 영역의 주파수 특징을 공동으로 분석하도록 설계된 이중 분기 구조인 공간 풍부 모델(Spatial Rich Model, SRM) 네트워크를 활용합니다.
- 네트워크는 Xception 백본을 사용하여 5개 단계로 구성되며, 공간 해상도를 점진적으로 줄이는 동시에 채널 깊이를 2048까지 증가시킵니다.
- 교차 모달 어텐션(cross-modal attention) 메커니즘을 통해 두 분기를 융합하여 2048 채널의 8×8 공간 특징 맵을 출력합니다. 이 맵들은 통계적 분석을 위해 1차원 벡터로 평탄화(flattening)됩니다.
중심점 참조 유사도 점수 산출 (Centroid-Referenced Similarity Scoring):
- 무작위적인 쌍별 매칭 대신, 본 연구는 모든 실제 훈련 샘플의 평균 특징 벡터로부터 도출된 **전역 실제 특징 중심점( $\mu_0$ )**을 구축합니다.
- 유사도 점수는 개별 테스트 샘플(실제 및 딥페이크 모두 포함)과 이 보편적인 실제 클래스 중심점 사이의 **코사인 유사도(Cosine Similarity)**를 사용하여 계산됩니다.
- 이를 통해 두 가지 점수 분포, 즉 내부 실제 분포(실제 vs 실제 중심점)와 교차 위조 분포(위조 vs 실제 중심점)가 생성됩니다.
확률 밀도 추정 및 교정 (Probability Density Estimation and Calibration):
- 가우시안 커널을 이용한 **커널 밀도 추정(Kernel Density Estimation, KDE)**을 적용하여 두 가설( $H_p$ : 실제; $H_d$ : 딥페이크)에 대한 유사도 점수의 확률 밀도 함수(PDF)를 모델링합니다.
- 대역폭(bandwidth)은 **실버먼의 법칙(Silverman's rule)**을 사용하여 결정되며, **10-겹 교차 검증(ten-fold cross-validation)**을 통해 최적화됩니다.
- 우도비(LR)는 확률 밀도의 비율인 $LR = f(Score | H_p) / f(Score | H_d)$ 로 계산됩니다.
- 점수를 잘 교정된 확률적 척도로 보장하기 위해 PAV(Pool Adjacent Violators) 알고리즘이 사용됩니다.
경험적 경계 (ELUB):
- 꼬리 영역(tail-region)의 외삽으로 인한 오도된 증거를 방지하기 위해, 경험적 하한 및 상한(Empirical Lower and Upper Bound, ELUB) 방법을 적용합니다.
- 하나의 결과적 오도 우도비(Consequential Misleading LR, CMLR)를 갖는 정규화된 베이즈 오류율(Normalized Bayes Error-rate, NBE) 곡선을 사용하여 신뢰할 수 있는 작동 범위를 식별합니다.
- LR 값은 이 범위 밖의 경우 가장 가까운 경계값으로 절단(truncation)되어, 시스템이 중립적인 기준선( $LR=1$ )보다 성능이 저하되지 않도록 보장합니다.

주요 기여

포렌식 준수 프레임워크: 본 연구는 딥러닝 탐지를 사법 표준과 연결하여, 단순한 이진 "실제/가짜" 분류를 넘어 해석 가능한 우도비로 변환함으로써 딥러닝과 사법 체계 사이의 간극을 메웁니다.
보편적 중심점 패러다임: 저자들은 통합된 실제 특징 중심점 접근 방식을 도입하여, 다양한 데이터셋에 걸쳐 표준화된 유사도 측정을 가능하게 하고 무작위 쌍별 매칭의 불안정성을 극복했습니다.
강건한 교정 및 경계 설정: PAV 교정과 ELUB 절단 방식의 통합은 출력된 LR이 통계적으로 신뢰할 수 있고, 잘 교정되었으며, 극단적인 경우의 과도한 외삽에 저항력이 있음을 보장합니다.
정량화된 증거: 파이프라인은 투명한 통계적 뒷받침을 통해 증거의 강도를 수치적으로 근거 있는 평가로 제공하며, 사법적 결정을 지원합니다.

결과
본 프레임워크는 네 가지 주요 데이터셋(FaceForensics++, Celeb-DF-v2, DFDCP, UADFV)에서 평가되었으며, 예비 평가에서 우수한 성능을 보인 DFDCP 데이터셋에 초점을 맞추어 심층 분석을 수행했습니다.

판별력: 시스템은 DFDCP 테스트 세트에서 **6.75%의 등가 오차율(Equal Error Rate, EER)**을 달 기록했습니다.
교정: 로그 우도비 비용(Cllr)은 PAV 교정 전 0.3306에서 교정 후 0.3174로 감소하여, 신뢰성이 향면되고 증거 위험이 감소했음을 나타냈습니다.
분포 분석: DET 곡선, Tippett 플롯, 기대 교정 오차(ECE) 분석은 가설 간의 강력한 판별력과 다양한 사전 확률에 따른 안정적인 교정을 확인시켜 주었습니다.
ELUB의 영향: ELUB 방법은 $\log_{10}LR$ 값을 $[-1.796, 2.303]$ 범위로 제한했습니다. 이 절단 작업은 전체 샘플의 8.88%(11,764개 중 1,044개)에만 영향을 미쳤으며, 핵심적인 판별 분포를 유지하면서도 신뢰할 수 없는 꼬리 부분의 외삽을 효과적으로 제거했습니다.

의의 및 주장
본 논문은 포렌식 준수 및 정량화 가능한 파이프라인을 제공한다고 주장합니다. 딥 특징 학습(SRM)과 교정된 통계 모델링(KDE, PAV, ELUB)을 결합함으로써, 본 연구는 다음과 같은 증거 강도를 제공합니다:

해석 가능성: 불투명한 AI 점수에서 투명한 우도비로 변환됩니다.
수치적 근거: 임의적인 임계값이 아닌 엄격한 통계적 분포에 기반합니다.
사법적 허용 가능성: 인간의 시각적 판단이 불충분한 고정밀 페이스 스왑 위조물을 평가하기 위한 실질적인 솔루션을 제공하며, 포렌식 과학에서 널리 채택된 베이지안 추론 프레임워크와 일치하도록 설계되었습니다.

저자들은 현재 평가가 특정 데이터셋의 페이스 스와핑 딥페이크에 국한되어 있으며, 멀티모달 증강 없이 SRM 네트워크에만 의존한다는 한계점을 인정했습니다. 향후 연구에서는 다양한 딥페이크 유형으로 확장하고 다양한 데이터셋에 대해 ELUB 경계를 검증할 것을 제안합니다.

유사한 논문