기술 요약: 눈이 AI 를 배신할 때

문제 정의

최근 생성 모델 (Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6 등) 의 발전으로 인해, 과거 AI 생성 콘텐츠 (AIGC) 탐지의 주요 근거가 되었던 저수준 아티팩트가 효과적으로 제거되었습니다. 주파수 이상, 업샘플링 흔적, 픽셀 수준의 지문과 같은 신호는 대부분 완화되어, 기존의 탐지기 (NPR, UnivFD, AIDE) 가 현대적인 인물 중심 데이터셋에서 우연 수준에 가까운 성능으로 무너졌습니다. furthermore, 위협 환경은 authentic 사진의 국소 영역을 inpainting 모델이 재생성하는 '부분 편집' 위조로 이동했습니다. 이러한 위조물은 원본 이미지의 전역 광도 통계량을 유지하여, 전역적으로 분산된 단서에 의존하는 탐지기를 회피합니다.

본 논문은 탐지가 저수준 통계 분석에서 고수준 의미 일관성 축으로 전환되어야 한다고 주장합니다. 구체적으로, 생성기가 국소적으로 사실적인 얼굴을 생성할 수는 있지만, 다중 인물 상호작용에서 **사회적 시선 (social gaze)**의 기하학적 일관성을 유지하는 데 어려움을 겪는다고 가정합니다.

방법론

1. 의미적 단서로서의 사회적 시선 일관성

저자들은 사회적 시선 일관성을 상호작용하는 개인 간의 시선 방향, 머리 - 눈 정렬, 그리고 동공 배치 간의 상호 일관성으로 정의합니다. 시선을 행동 인식 대상으로 간주하거나 얼굴 내부 해부학적 사전 지식 (예: 동공 모양의 불규칙성) 에 초점을 맞춘 이전 연구와 달리, 이 연구는 시선을 검증 가능한 법의학 예측으로 다룹니다. authentic 사진은 구성상 이러한 기하학적 관계를 만족하는 반면, 최신 inpainting 모델은 눈 영역에서 이를 체계적으로 위반합니다.

2. 맞춤형 시선 데이터셋 구축

생성기 지문과 같은 혼란 요인에서 시선 단서를 분리하기 위해, 저자들은 Custom Gaze 데이터셋 (46,830 개의 쌍을 이루는 이미지) 을 구축했습니다.

• 쌍 단위 정체성 보존: 각 위조 이미지는 OI Mutual Gaze 데이터셋에서 유래한 실제 소스 이미지를 기반으로, FLUX.1-Fill을 사용하여 눈 영역만 재생성하여 생성되었습니다. 기본 정체성, 장면, 조명, 전역 구성은 불변으로 유지됩니다.
• 단축로 차단: 이러한 쌍을 이루는 구조는 모델이 생성기별 전역 지문 (예: FLUX 고유의 스펙트럼 잔차) 을 단축로로 학습하는 것을 방지하여, 모델이 눈 영역의 해부학적 기반 차이에 의존하도록 강제합니다.
• 마스크 적용: 얼굴 바운딩 박스의 수직 밴드 $[0.25h, 0.55h]$를 덮는 특정 마스크 ($M_{eye}$) 가 inpainting 에 사용됩니다.

3. 블록 구성적 캡션 감독

본 논문은 비전 - 언어 모델 (VLM), 특히 FakeVLM(LLaVA-v1.5 + Vicuna-7B)의 훈련에 추론 골격을 주입하기 위한 새로운 감독 체계를 도입합니다.

• 구조: 자유 형식 생성이나 이진 분류 대신, 모델은 5 개의 블록으로 구성된 캡션을 출력하도록 훈련됩니다: 결정 $\to$ 장면 $\to$ 방법(시선 기반 추론) $\to$ 증거 $\to$ 결론.
• 구성적 다양성: 추론 골격 (논리적 흐름) 은 불변이지만 표면적 어휘화는 다양합니다. 4 개의 위치에 대해 5 가지 변형의 거대 풀 (macro-pools) 에서 샘플링함으로써, 시스템은 단 20 개의 거대 풀 항목에서 1,250 개의 고유한 캡션을 생성합니다.
• 근거: 이 설계는 추론 일관성과 출력 다양성을 분리하여 모드 붕괴를 방지하면서도, 모델이 텍스처 기반 설명으로 default 하지 않고 특정 '시선 중심' 추론 경로를 내재화하도록 합니다.

4. 훈련 프로토콜

• 혼합 미세 조정: 모델은 비인물 카테고리에서의 분포 붕괴를 방지하기 위해 Custom Gaze 데이터셋과 기존 FakeClue 데이터셋 (텍스처 중심 감독) 의 혼합물로 미세 조정됩니다.
• 체크포인트 선택: 저자들은 검증 손실 대신 **균형 정확도 (BA)**를 기준으로 체크포인트를 선택하며, 손실 최소화가 클래스 균형 성능과 상관관계가 없는 유의미한 분리가 있음을 지적합니다.
• 아키텍처: 파라미터 효율적 미세 조정 (LoRA) 이 비전 인코더와 LLM 에 적용되며, 비전 - 언어 프로젝터에는 전체 미세 조정이 적용됩니다.

주요 기여

1. 새로운 탐지 축 (C1): 저수준 패러다임과 직교하는 의미적 탐지 축으로서 사회적 시선 일관성의 도입. 저자는 이것이 생성기 간 전이 가능성을 설명하는 4 단계 기계적 설명을 제공합니다:

   • 쌍 편집 단축로 차단: 생성기 지문의 암기를 방지합니다.
   • 어려운 것에서 쉬운 것으로의 난이도 전이: 부분 편집 (어려움) 에 대한 훈련이 전체 합성 (쉬움) 에 대한 성능을 향상시킵니다.
   • CLIP 사전 지식 보존: 생성기 간에 공유되는 사전 훈련된 CLIP 표현을 활용합니다.
   • 확산 계열 공유 스펙트럼 약점: 확산 기반 생성기 전반의 주위 눈 구조에서 일관된 스펙트럼 약점을 활용합니다.

2. 감독 설계 (C2): 블록 구성적 캡션 감독의 제안. 이는 고정된 추론 골격에 표면적 변형을 가하여 모델이 단순히 라벨을 예측하는 것이 아니라, 시선 기하학에 기반하여 이미지가 왜 위조인지 왜 설명하도록 강제합니다.

3. 교차 아키텍처 검증 (C3): 시선 단서가 아키텍처와 무관함을 입증. 감독 설계는 7B 파라미터 VLM(FakeVLM) 과 비전 전용 백본 (Effort) 을 여러 벤치마크에서 모두 향상시켜, 신호가 단일 모델 아키텍처에 특이적이지 않음을 증명합니다.

실험 결과

이 방법은 Custom Gaze(부분 편집 위조), COCOAI Person(단일 인물 AIGC), COCOAI Interaction(다중 인물 상호작용) 의 세 가지 벤치마크에서 평가되었습니다.

• 성능 향상:
  • 핵심 진단 벤치마크인 COCOAI Interaction 서브셋에서 제안된 방법은 FakeVLM 원본 대비 균형 정확도 (BA) 를 **67.8% 에서 71.5%**로 (+3.7 pp) 향상시켰으며, Macro-F1(+7.5 pp) 과 MCC(+13.3 pp) 에서 막대한 향상을 보였습니다.
  • COCOAI Person에서는 BA 가 **83.0% 에서 84.3%**로 (+1.3 pp) 향상되었습니다.
  • Custom Gaze에서는 이 방법이 거의 완벽한 성능 (99.9% BA) 을 달성하여 분포 내 천장을 포화시켰습니다.
• 베이스라인 대비 비교:
  • 저수준 탐지기 (AIDE, NPR, UnivFD) 는 상호작용 서브셋에서 우연 수준에 가까운 성능 (BA $\le$ 51.5%) 으로 무너졌습니다.
  • 제안된 7B 모델은 13B 파라미터 경쟁자 SIDA-13B를 평균 BA 에서 +14.4 pp, MCC 에서 +30.5 pp 앞질렀으며, 이는 파라미터 수보다 감독 설계가 더 중요함을 보여줍니다.
• 혼동 행렬 분석: 성장은 '위조' 분류의 상당한 회복 (+17, 상호작용 서브셋) 에 기인했으며, '실제' 분류에서는 거의 저하가 없어 '모든 것을 위조로 예측'하는 아티팩트를 배제했습니다.
• 교차 아키텍처 전이: 비전 전용 Effort 백본을 Custom Gaze 데이터셋으로 미세 조정했을 때 유사한 분포 내 포화 및 분포 간 전이 패턴이 나타나, 단서가 VLM 아키텍처와 무관함을 확인했습니다.

중요성과 주장

본 논문은 저수준 아티팩트가 사라짐에 따라 사회 - 의미적 일관성이 AIGC 탐지를 위한 결정적인 최전선이 된다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

1. 패러다임 전환: 픽셀 통계에서 현재 확산 모델이 명시적으로 강제하지 않는 고수준 기하학적 관계 (시선 일관성) 로 탐지를 이동시킵니다.
2. 효과적인 감독: 모델이 예측을 어떻게 설명하느냐 (구조화된 추론 vs 자유 형식 또는 이진) 가 모델 아키텍처 자체만큼이나 중대함을 입증합니다.
3. 강건성: 단일 생성기 (FLUX.1-Fill) 와 특정 작업 (부분 눈 편집) 에서 유도된 단서가 다른 모델 계열의 다중 생성기, 전체 이미지 합성 시나리오로 일반화될 수 있음을 증거로 제시합니다.

저자들은 한계점을 인정합니다. 이는 도메인 전문화 (인물 중심만 해당), 데이터셋 구축을 위한 단일 inpainter 의존성, 그리고 단일 인물 시나리오에서 시선 단서에 과도하게 의존하는 '카드 과신' 경향 등을 포함하며, 향후 작업에서 원칙적인 게이트 메커니즘으로 완화될 수 있다고 제안합니다.