기술 요약: GLID – 게이티드 로컬 내재 차원 (Gated Local Intrinsic Dimension)

1. 문제 정의

미세 조정된 파운데이션 모델(예: CLIP)에 기반한 얼굴 위조 탐지기들은 현재 벤치마크를 주도하고 있으나, 결정적인 구조적 약점인 블라인드 축(blind axes) 문제를 안고 있다. 이러한 탐지기들은 학습 데이터에 존재하는 특정 아티팩트 패밀리(예: 특정 GAN 또는 스왑 방식)는 학습하지만, 학습하지 않은 생성 패밀리(예: 디퓨전 모델 또는 새로운 재현 도구)에 대해서는 우연 수준의 성능에 머문다. 본 논문은 미세 조정 과정에서 보조 신호가 학습 데이터가 존재하는 지점에서 정확히 흡수되어 버리기 때문에, 더 많은 데이터나 표준적인 재학습으로는 메울 수 없는 간극이 발생한다고 주장한다. 핵심 질문은 '동결된(frozen) 파운데-모델이 위조 라벨 없이도 이러한 블라인드 축을 탐지할 수 있는 기하학적 신호를 본질적으로 포함하고 있는가?'이다.

2. 방법론: GLID

GLID(Gated Local Intrinsic Dimension)는 추가적인 학습 데이터 대신 **매니폴드 기하학(manifold geometry)**을 활용하여 이 블라인드 스팟을 해결한다. 이 방법은 세 단계로 작동한다.

A. 학습이 필요 없는 기하학적 신호 추출 (Training-Free Geometric Signal Extraction)

GLID는 단일 이미지의 패치 토큰을 동결된 비전 트랜스포머(특히 DINOv3)의 특징 공간 내에 존재하는 저차원 매니폴드의 샘플로 취급한다.

• 로컬 내재 차원 (Local Intrinsic Dimension, LID): 코사인 거리에 대한 레비나-비켈(Levina–Bickel) 최대 가능도 추정량을 사용하여 이 패치 매니폴드의 LID를 추정한다.
• 다중 깊이 프로파일링 (Multi-Depth Profiling): 단일 레이어에 의존하는 대신, GLID는 네 개의 특정 깊이(블록 6, 12, 18, 23)와 세 가지 이웃 크기($k=8, 16, 32$)에 걸쳐 12차원 LID 프로파일을 계산한다.
• 패밀리-깊이 시그니처 (Family-Depth Signature): 이 방법은 서로 다른 생성 패밀리가 특정 네트워크 깊이에서 매니폴드를 교란한다는 경험적 관찰에 기초한다.
  • GAN: 가장 깊은 레이어에서 매니폴드를 가장 크게 교란한다.
  • 디퓨전 모델 (Diffusion Models): 네트워크 중간 깊이에서 매니폴드를 교란하며, 가장 깊은 레이어에서는 신호가 붕괴된다.
  • 이 패턴은 다양한 백본, 추정기, 심지어 비(非)얼굴 이미지에서도 유지된다.

B. 게이티드 인젝션 (Gated Injection)

기하학적 신호는 단순히 탐지기의 출력에 더해지는 것이 아니라, **신뢰도 게이트(confidence gate)**를 통해 조건부로 주입된다.

• 기본 탐지기 (Base Detector): FaceForensics++(FF++)로 미세 조정된 CLIP-L 모델이 기본 로짓($z$)과 신뢰도 점수($p$)를 제공한다.
• 게이트 (The Gate): 게이팅 함수 $g = 4p(1-p)$가 적용된다. 이 함수는 탐지기가 확신할 때(즉, 학습 데이터가 커버하는 축에 있을 때) 0에 가깝고, 탐지기가 불확실할 때(블라인드 축일 때) 정점에 도달한다.
• 주입 공식: 최종 점수는 다음과 같이 계산된다.
  $$GLID(x) = z + \alpha^* \cdot g \cdot w_\ell s_\ell$$
  여기서 $s_\ell$은 부호가 있는 풀링된 LID 신호(깊은 층과 중간 층의 프로파일을 결합함)이며, $w_\ell$은 작은 이상치를 억제하기 위한 크기 가중치, $\alpha^*$는 스칼라 주입 강도이다.

C. 분포 내 보정 (In-Distribution Calibration)

주입 강도 $\alpha$는 평가 데이터에는 손을 대지 않고, 오직 **학습 데이터(FF++)**만을 사용하여 보정된다. 규칙은 학습 데이터의 AUC가 0.002 이상 감소하지 않는 범위 내에서 가장 큰 $\alpha$를 선택한다. 이를 통해 $\alpha^* = 0.1$을 얻으며, 이는 기하학적 신호가 알려진 축의 성능을 저하시키지 않으면서 오직 기본 탐지기가 취약한 부분에서만 활성화되도록 보장한다.

3. 주요 기여

1. 방법론: 이미지 내부의 패치 매니폴드 LID를 위조 신호로 활용하고, 이를 게이티드 및 분포 내 보정된 인젝션 메커니즘을 통해 구현한 최초의 탐지기이다.
2. 두 가지 경험적 법칙:
   • 패밀리-깊이 시그니처 (Family-Depth Signature): 생성기는 특정 네트워크 깊이에 고유한 "지문"을 남기며(GAN은 끝단, 디퓨전은 중간), 이 패턴은 백본과 도메인에 관계없이 견고하다.
   • 흡수 경계 (Absorption Boundary): 미세 조정은 학습 데이터가 도메인을 커버하는 지점에서 정확히 보조 신호의 이득을 흡수한다. 타겟 패밀리의 데이터를 단 1%만 학습 데이터에 추가해도 기하학적 이득이 사라지는데, 이는 기하학적 신호가 데이터가 없을 때만 필요함을 증명한다.
3. 증거: 동일한 프로토콜(동일한 크롭, 시드, 데이터)로 재학습된 강력한 SOTA 베이스라인들과 비교한 엄격한 16개 축 교차 생성기 벤치마크를 수행하였다. 연구에는 부트스트랩 통계, 시드별 분석 및 사전 등록된 분석 게이트가 포함되었다.
4. 정직성: 논문은 GLID가 우위를 점하지 못하는 지점(예: Text-to-Image 및 in-the-wild 축에서 SBI가 여전히 더 강력함)을 명시적으로 보고하며, 실패 모드에 대해서도 상세히 기술한다.

4. 결과

16개 축의 동결 벤치마크에서 GLID는 평균 AUC 0.805를 달연하여, 재학습된 최첨단 베이스라인들 중 1위를 차지했다(가장 강력한 경쟁자인 Effort의 0.790을 상회).

• 블라인드 스팟 복구: 이 방법은 Generation 그룹의 AUC를 +0.084(0.731에서 0.816으로) 높이는 동시에, Reenactment 그룹에서는 -0.005라는 무시할 만한 하락만을 기록했다.
• 특정 이득: StyleGAN에서 GLID는 SBI(+0.188에서 +0.244 델타)와 Effort를 크게 앞선다. Text-to-Image(T2I)의 경우, SBI가 여전히 더 강력하지만 GLDI는 Effort보다 높은 성능을 보인다.
• 안정성: 결정론적인(deterministic) 성격을 가진 LID 신호는 크로스 시드(cross-seed) 간의 정확도 편차를 5.5배 줄여, 다양한 학습 시드에 걸쳐 탐지기 성능을 안정화한다.
• 비용: 이 방법은 추론 시간당 이미지당 4.1ms만을 추가하므로, 다른 학습이 필요 없는 방법들에 비해 계산 효율적이다.

5. 의의 및 주장

본 논문은 GLID가 동결된 파운데이션 모델의 기하학적 구조를 활용함으로써, 미세 조정된 탐지기들의 블라인드 스팟을 해결하는 원칙적이고 비휴리스틱한 복구 방안을 제공한다고 주장한다.

• 패러다임 전환: 단일한 "최적의 레이어"가 존재한다는 관념에 도전한다. 대신, 최적의 깊이는 생성 패밀리에 따라 조건부로 결정된다.
• 실무적 가이드: "흡수 경계" 법칙은 실무자들에게 명확한 규칙을 제공한다: 만약 위조 패밀리를 알고 있다면 데이터 커버리지가 가장 효과적인 해결책이며, 만약 패밀리를 모른다면 GLID와 같은 기하학적 신호가 필수적인 대안이다.
• 견고성: 기하학적 신호는 다양한 추정기와 왜곡 유형(예: JPEG 압축, 블러)에 대해 견고함을 보여줌으로써, 학습이 필요 없는 탐지기들의 안정성에 대한 기존의 우려를 해소한다.

저자들은 GLID가 모든 위조 탐지 문제를 해결하는 것은 아니지만(특히 DFDC의 심한 압축이나 립싱크 마이크로 에디팅에서 어려움을 겪음), 기하학이 데이터의 블라인드 스팟을 복구할 수 있음을 성공적으로 입증했다고 결론짓는다.