💻 computer science

CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection

이 논문은 훈련 과정에서 딥페이크 데이터나 특정 대상의 신원을 요구하지 않으면서도, UV 텍스처 맵과 마스크드 오토인코더(Masked Autoencoders)를 활용하여 조작된 얼굴 영역을 강조하는 시각적 잔차 맵을 제공함으로써 변조된 영상을 식별하는 견고하고 효율적이며 해석 가능한 관심 인물(Person-of-Interest) 딥페이크 탐지기인 CUPID를 소개한다.

원저자: Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

유명 인사의 가짜 사진을 찾아내려고 노력한다고 상상해 보세요. 보통은 눈을 가늘게 뜨고 보거나 치아가 이상하게 보이는지 확인하곤 하죠. 하지만 만약 그 가짜가 너무 정교해서 사람의 눈으로는 차이를 구별할 수 없다면 어떨까요? 바로 그 지점에서 CUPID가 등장합니다. CUPID는 '관심 인물(Person-of-Interest, POI)' 딥페이크를 잡아내기 위해 설계된 새로운 디지털 탐정입니다. 여기서 POI 딥페이크란 악의적인 의도를 가진 사람들이 실제 인물의 얼굴을 가짜 몸에 합성하거나, 그 사람이 하지 않은 말을 하게 만드는 무서운 영상들을 말합니다.

여기 반전이 있습니다. CUPID는 가짜 영상을 단 하나도 보지 않고도 가짜를 잡아내는 법을 배울 수 있습니다. 사실 이 논문은 매번 유명인 한 명을 잡기 위해 수천 개의 가짜 예시를 사용하여 별도의 특수한 로봇을 훈련시켜야 했던 기존 방식에 대해 명시적으로 반대하고 있습니다. 저자들은 기존 방식이 느리고, 너무 많은 데이터를 필요로 하며, 영상이 압축되거나 크기가 조정될 때(예를 들어 불안정한 휴대폰 연결로 영상을 시청할 때) 종종 실패한다는 점을 보여줍니다. 대신, CUPID는 다양한 사람들의 실제 영상만을 통해 무엇이 '진짜' 얼굴인지 이해하는 법을 배웁니다. 그리고 이 지식을 활용하여, 한 번도 본 적 없는 사람에 대해서도 가짜를 식별해 냅니다.

마법의 지도: 얼굴 펼치기

그렇다면 어떻게 작동할까요? 유명인의 얼굴을 3D 찰흙 조각이라고 상상해 보세요. 사진을 찍으면 각도에 따라 코의 모양이 달라 보일 수 있고, 조명 때문에 볼 부분이 어둡게 보일 수도 있습니다. 이는 컴퓨터가 얼굴을 비교하기 어렵게 만듭니다.

CUPID는 **UV 텍스처 맵(UV Texture Map)**이라는 영리한 기술을 사용합니다. 이것은 그 3D 찰흙 얼굴을 마치 스티커처럼 피부만 벗겨내어 테이블 위에 평평하게 펼쳐 놓는 것과 같습니다. 이 평평한 지도 위에서는 사람이 고개를 돌리거나 웃더라도 코는 항상 같은 위치에, 눈은 항상 같은 위치에, 입은 항상 같은 위치에 있게 됩니다. 이 "평평한 지도"는 각도와 조명의 혼란을 제거하여, 컴퓨터가 작업할 수 있는 깨끗하고 표준화된 청사진을 제공합니다.

"빈칸 채우기" 게임

얼굴이 이 지도로 평평하게 펼쳐지면, CUPID는 "마스크드 오토인코딩(Masked Autoencoding)"이라는 게임을 수행합니다. 퍼즐 조각이 있는데 누군가 조각의 50%를 검은색 테이프로 가려 놓았다고 상상해 보세요. CUPID는 보이는 조각들을 보고 테이프 아래에 무엇이 있을지 추측합니다.

이 능력을 정말 뛰어나게 만들기 위해, CUPID는 방대한 양의 실제 영상 라이브러리(6,000명 이상의 서로 다른 사람들이 포함된 VoxCeleb2 데이터셋)를 통해 훈련합니다. CUPID는 왼쪽 눈이 보이면 코가 특정 거리만큼 떨어져 있어야 하고, 입은 특정한 모양을 가져야 한다는 '규칙'을 배웁니다. 즉, 실제 인간의 얼굴이 어떻게 구성되는지에 대한 "규칙"을 배우는 것입니다. 논문은 이러한 규칙을 실제 데이터만을 사용하여 숙달함으로써, 시스템이 언제 그 규칙을 '위반'하는지를 포착하는 전문가가 된다는 것을 증명합니다.

사칭범 잡기

새로운 영상이 도착하면—예를 들어 정치인의 가짜 영상일 수도 있겠죠—CUPID는 그 얼굴을 UV 맵으로 펼친 뒤, 자신이 학습한 "실제 얼굴" 청사진에 맞추어 봅니다.

진짜라면: 얼굴이 청사진에 완벽하게 들어맞습니다. 컴퓨터는 "네, 이것은 실제 인간의 패턴과 일치합니다"라고 말합니다.
딥페이크라면: AI가 빈 공간을 채우려 노력하지만, 가짜 얼굴에는 이상한 결함이나 불가능한 형태가 나타납니다. 컴퓨터는 "어라, 이 청사진에 비해 코가 엉뚱한 곳에 있네요! 이것은 가짜입니다"라고 판단합니다.

논문은 이 방식이 **매우 강력하다(robust)**는 것을 보여줍니다. 영상이 아주 작게 축소되거나 소셜 미디어에서 영상을 다운로드할 때처럼 심한 압축으로 찌그러지더라도, CUPID는 계속 작동합니다. 네 가지 데이터셋에 대한 테스트에서 CUPID는 다른 탐지기들이 실패하는 "저품질" 조건에서도 다른 방법들을 능가하는 성능을 보였습니다. 예를 들어, 'FakeAVCeleb' 데이터셋에서 영상이 압축되었을 때, 다른 방식들은 정확도가 크게 떨어졌지만 CUPID는 약 87.5%의 높은 정확도를 유지했습니다.

판결의 "이유"

가장 멋진 기능 중 중 하나는 CUPID가 **설명 가능하다(interpretable)**는 점입니다. 대부분의 AI 탐지기는 단순히 "예/아니오"라는 답만 줍니다. 하지만 CUPID는 왜 영상이 가짜라고 생각하는지 보여줄 수 있습니다. CUPID는 얼굴의 어느 부분이 수상한지를 강조하는 "히트맵(heat map)"을 생성합니다.

만약 딥페이크가 입 부분을 바꿨다면, 히트맵은 입술 주변을 붉게 빛냅니다.
눈이 이상해 보인다면, 빛은 눈 쪽으로 이동합니다.
논문은 가짜 영상의 경우 이러한 "빛나는 지점"이 진짜 영상보다 훨씬 더 밝고 집중되어 있다는 것을 보여줌으로써, 조사관들이 신뢰할 수 있는 시각적 단서를 제공한다는 점을 입증합니다.

속도와 효율성

마지막으로, CUPID는 속도광입니다. 다른 방식들은 긴 영상의 모든 프레임을 스캔해야 할 수도 있지만(시간이 매우 오래 걸립니다), CUPID는 전체 클립에서 단 10개의 프레임만 확인하면 결정을 내릴 수 있습니다. 이 덕분에 CUPID는 기존의 최고 방식보다 32배 더 빠릅니다. 저자들은 2,000개 이상의 영상을 대상으로 이를 측정했으며, CUPID는 영상당 평균 단 0.155초가 걸린 반면, 경쟁 방식은 거의 5초가 걸렸습니다.

아직 못하는 것 (현재 기준)

CUPID가 완벽하지 않다는 점을 아는 것도 중요합니다. 논문은 한국인 피사체가 포함된 KoDF라는 데이터셋에서 다소 어려움을 겪었다고 언급합니다. 저자들은 이것이 훈련 데이터에 해당 인구 통계학적 특성을 가진 사람들이 충분하지 않았기 때문이라고 설명하며, 시스템이 여전히 인종적 차이에 민감할 수 있음을 보여줍니다. 또한, 얼굴 교체(face swap)를 포착하는 데는 탁월하지만, 사람이 시간에 따라 어떻게 움직이는지(예: 립싱크)를 명시적으로 모델링하지는 않으므로, 아직 모든 종류의 음성 기반 가짜를 잡아내지는 못할 수도 있습니다.

요약하자면, CUPID는 거짓이 무엇인지 보기 위해서 거짓을 직접 볼 필요가 없는 새로운 종류의 거짓말 탐지기입니다. 얼굴을 지도로 펼치고 실제 데이터를 통해 "빈칸 채우기"를 함으로써, 실제 인간의 모습이 무엇인지에 대한 매우 날카로운 감각을 구축하여, 영상 품질이 형편없을 때도 빠르게 가짜를 찾아낼 수 있습니다.

기술 요약: CUPID – 해석 가능한 특정 인물(Person-of-Interest) 딥페이크 탐지를 위한 UV 텍스처 맵 재구성

문제 정의

생성형 AI의 확산으로 인해 특정 고위 인물(Person-of-Interest, 이하 POI)을 표적으로 하는 매우 정교한 딥페이크 제작이 가능해졌습니다. 이러한 합성 미디어는 민주적 절차와 사회적 신뢰에 심각한 위협을 가합니다. 딥페이크 탐지를 위해 포렌식 커뮤니티가 특화된 방법들을 개발해 왔으나, 기존 솔루션들은 다음과 같은 세 가지 핵심 과제에 직면해 있습니다:

강건성(Robustness): 많은 방법론이 압축이나 다운스케일링과 같은 일반적인 후처리 작업 하에서 성능 유지에 어려움을 겪습니다.
효율성(Efficiency): 현재의 탐지기들은 특히 슬라이딩 윈도우 전략을 사용하는 경우 계산 비용이 많이 드는 추론을 요구하는 경우가 많습니다.
해석 가능성(Interpretability): 몇몇 방법은 왜 해당 영상이 가짜로 분류되었는지에 대한 직관적인 시각적 설명을 제공하지 못하며, 이는 포렌식 분석에서의 유용성을 제한합니다.

또한, 기존의 POI 특화 접근 방식은 각 대상의 신원을 위해 별도의 모델을 학습시켜야 하거나(많은 양의 특정 데이터 필요), 광범위한 캘리브레이션 없이는 보지 못한 신원(unseen identities)에 대해 잘 일반화되지 못하는 경우가 많습니다.

방법론

저자들은 CUPID(ReConstructing UV texture maps for Person-of-Interest Deepfake detection)를 제안합니다. 이는 학습 과정에서 딥페이크 샘플을 전혀 필요로 하지 않으며, 학습 단계에서 POI에 대해 불가지론적(agnostic)인 특성을 가진 비주얼 전용 탐지기입니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. UV 텍스처 맵 추출

CUPID는 원본 비디오 프레임을 직접 처리하는 대신, 얼굴의 외형을 UV 텍스처 맵으로 변환합니다.

과정: 각 프레임에 대해 3D 형태 모델(3D Morphable Model, 3DMM)을 얼굴에 피팅합니다. 이 모델은 얼굴 텍스처를 표준적인 2D UV 공간으로 투영합니다.
장점: 이 표현 방식은 조밀한 의미론적 대응(semantic correspondence)을 구축합니다. 즉, UV 맵의 특정 픽셀 좌표는 모든 신원, 포즈, 표정에 관계없이 동일한 얼굴 영역(예: 코끝, 눈)에 대응합니다. 이는 신원 특징을 포즈 및 표정 변화로부터 분리하여, 후처리 작업에 대한 강건성을 높여주는 표준화된 입력을 제공합니다.

2. 마스크드 오토인코더(Masked Autoencoder, MAE) 학습

비전 트랜스포머(Vision Transformer, ViT) 기반의 마스크드 오토인코더를 오직 실제(real) 비디오 데이터(VoxCeleb2)로만 학습시켜, 얼굴 신원의 일반적인 잠재 공간을 학습합니다.

구조: 인코더는 UV 텍스처 맵의 가시적인 패치들을 처리하고, 경량 디코더는 마스킹된 패치들을 재구성합니다.
학습 목적 함수: 다음을 포함하는 결합 손실 함수를 사용하여 최적화됩니다:
- 마스크드 재구성 손실 ( $L_{rec}$ ): 풍부한 텍스처 표현을 학습하기 위한 마스킹된 패치에 대한 픽셀별 MSE.
- 대조 손실 ( $L_{cont}$ ): 여러 인코더 깊이에서 동일한 신원의 임베딩은 클러스터링하고 서로 다른 신원은 분리하는 다층 NT-Xent 손실.
- 지각 손실 ( $L_{perc}$ ): 지각적으로 일관된 재구성을 보장하고 그리드 아티팩트를 억제하기 위한 VGG-16 기반 손실.
결과: 결과적으로 생성된 인코더는 보지 못한 피사체로도 일반화될 수 있는 신원 식별력이 있는 임베딩을 생성합니다.

3. 추론 및 탐지

시스템은 오픈 셋(open-set) 시나리오에서 작동합니다:

참조 세트 구축: 대상 POI에 대한 깨끗한(pristine) 참조 비디오 세트를 잠재 공간으로 인코딩하여 참조 분포(CLS 임베딩의 중심점으로 표현됨)를 형성합니다.
유사도 점수 산출: 테스트 비디오를 인코딩하고, 쌍별 유사도 함수(maximum inner product)를 사용하여 참조 분포와 비교합니다.
결정: 유사도 점수가 임계값 $\gamma$ 보다 낮으면 해당 비디오를 가짜로 분류합니다.

4. 해석 가능성 메커니즘

CUPID는 UV 맵과 잠재 공간의 구조적 특성을 활용하여 **잔차 맵(residual maps)**을 생성합니다.

시스템은 테스트 비디오와 참조 중심점 사이의 잠재 변위(latent displacement)를 디코딩합니다.
참조 세트에서 관찰된 "자연스러운" 변동성을 제거함으로써, 이 방법은 테스트 비디오가 POI의 실제 신원에서 가장 크게 벗어나는 특정 얼굴 영역을 강조하는 맵을 생성합니다. 이는 조작(예: 입이나 눈 주변의 이상 현상)에 대한 시각적 증거를 제공합니다.

주요 기여

새로운 POI 탐지기: UV 텍스처 맵과 오직 실제 데이터로만 학습된 MAE를 결합한 CUPID를 도입했습니다. 이는 추론 시점에 보지 못한 POI에도 적용 가능한 일반적인 신원 인식 표현을 학습합니다.
해석 가능성 프레임워크: UV 공간과 잠재 표현을 활용하여 피사체 수준의 잔차 맵을 생성함으로써, 탐지 결정에 대한 직관적인 시각적 설명을 제공하는 절차를 제시합니다.
포괄적인 평가: 고품질(HQ) 및 저품질(LQ) 설정 모두에서 네 가지 데이터셋(DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak)을 대상으로 최신 일반 탐지기 및 POI 특화 베이스라인과 광범위한 벤치마킹을 수행했습니다.

실험 결과

실험 결과, CUPID는 다음과 같은 주요 영역에서 우수한 성능을 입증했습니다:

강건성: CUPID는 특히 강력한 압축 및 다운스케일링(LQ 설정) 환경에서 현재의 최첨단 방법들을 능가합니다. 일반적인 베이스라인들이 LQ 설정에서 평균 약 24포인트의 성능 저하를 보이는 반면, CUPID의 성능 저하는 약 3.2포인트에 불과합니다.
성능: 최고의 전반적인 강건성을 달하며, 대부분의 데이터셋에서 POI 특화 베이스라인(POI-Forensics)을 능가하는 경쟁력 있는 정확도를 달성했습니다.
효율성: CUPID는 POI-Forensics보다 32배 빠른 추론 속도를 달성하여 훨씬 효율적입니다. 이는 경쟁 모델들이 비디오 길이에 따라 확장되는 슬라이딩 윈도우 방식을 사용하는 것과 달리, 비디오당 고정된 적은 수의 프레임(10개)을 샘플링하는 전략 덕분입니다.
임계값 안정성: 이 방법은 피사체 간에 최적의 결정 임계값 분포가 더 조밀하게 나타나며, 이는 기존 POI 탐지기에 비해 피사체별 캘리브레이션이 적게 필요함을 나타냅니다.
해석 가능성: 잔차 맵의 정성적 분석을 통해, 가짜 비디오가 사용된 조작 기술(예: 페이스 스왑의 블렌딩 아티팩트)과 일치하는 특정 얼굴 영역에서 더 높은 활성화 값을 생성함을 확인했습니다.

의의 및 한계

본 논문은 **신원-맥락적 재구성(identity-contextual reconstruction)**과 UV 얼굴 표현에서 도출된 유사성 단서가, 학습 과정에서 가짜 데이터에 노출되지 않고도 딥페이크 탐지를 위한 강력한 신호를 제공한다는 것을 CUPID가 보여준다고 주장합니다. 이는 UV 맵의 구조적 특성이 신원 특징을 조작 아티팩트로부터 효과적으로 격리한다는 것을 시사합니다.

저자들은 두 가지 주요 한계를 인정합니다:

시간적 역동성(Temporal Dynamics): 현재의 비디오 전용 표현은 신원 중심적이며 시간적 표현력을 명시적으로 모델링하지 않으므로, 립싱크(LipSync) 조작에 대한 효과가 제한될 수 있습니다.
인종 편향(Ethnicity Bias): 학습 데이터(VoxCeleb2)에 인종적 다양성이 부족하여, 한국인 피사체에 집중된 KoDF 데이터셋에서 다소 낮은 결과를 보였습니다. 이는 인종 관련 분포 변화에 대한 민감성을 시사합니다.

저자들은 향arian 연구가 피사체별 역동성을 통합하고, 공정성과 일반화 성능을 개선하기 위해 더욱 인종적으로 다양한 데이터셋에서 학습하는 것에 집중할 것이라고 결론지었습니다.