기술 요약: PRPO – 비전-언어 딥페이크 감지를 위한 문단 수준 정책 최적화

문제 제기

GAN 및 확산 모델 등을 포함한 생성형 인공지능 (GAI) 의 급속한 발전으로 인해 딥페이크 탐지는 온라인 안전을 위한 핵심적인 과제가 되었습니다. 다중 모달 대규모 언어 모델 (MLLM) 은 강력한 추론 능력을 갖추고 있지만, 딥페이크 탐지에 적용되는 것은 현재 세 가지 주요 요인에 의해 제한받고 있습니다:

1. 데이터 부족: 상세한 추론 주석이 포함된 대규모 고품질 데이터셋의 부재로 인해 모델이 단순한 질문 - 답변 증류에 의존하게 되며, 이는 필요한 복잡한 추론에는 불충분합니다.
2. 아키텍처의 한계: 범용 비전 인코더 (예: CLIP ViT) 는 미묘한 조작을 구별하는 데 필요한 세밀하고 고주파수의 시각적 인공물을 포착하는 데 종종 실패합니다.
3. 추론의 질: 기존 MLLM 은 종종 환각, 표면적 설명, 또는 시각적 증거와 일치하지 않는 설명을 생성합니다. 이들은 종종 성급한 결론으로 달려가 후속 추론 단계를 편향시킵니다.

현재의 탐지 방법들은 종종 설명 가능성을 결여하고 있으며, 신뢰할 수 있는 근거 없이 이진 분류만 제공합니다. 또한, 기존 강화 학습 (RL) 접근법은 최종 결과물보다는 중간 추론 단계의 일관성과 근거를 보상하는 경향이 있습니다.

방법론

본 논문은 새로운 데이터셋, 특화된 아키텍처, 그리고 새로운 테스트 시간 강화 학습 알고리즘으로 구성된 포괄적인 프레임워크를 제안합니다.

1. 데이터셋: DF-R5

저자들은 약 115,000 개의 이미지 - 추론 쌍을 포함하는 추론 주석이 달린 데이터셋인 DF-R5를 소개합니다.

• 출처: 이미지는 DDIM, PixArt-α, SD-2.1, SiT, StyleGAN3 등 다섯 가지 다양한 생성 도메인을 아우르는 DF-40 벤치마크에서 파생되었습니다.
• 생성 파이프라인: 고품질 주석을 보장하기 위해 최첨단 MLLM(주로 벤치마크에서 우수한 성능을 보인 Gemini-2.5) 을 사용하여 3 단계 파이프라인이 설계되었습니다:
  • 특성 발견: MLLM 이 이미지 입력 없이 딥페이크와 관련된 시각적 특성을 열거하여 일반적인 특성 목록을 수립합니다.
  • 특성 점수화: 각 이미지에 대해 모델이 특정 특성을 실재 (-1), 가짜 (+1), 또는 불확실 (0) 로 점수화합니다.
  • 추론 생성: 특성들을 의미적으로 일관된 그룹 (문단) 으로 통합하여 간결하고 해석 가능한 추론 설명을 생성합니다.

2. 아키텍처: DX-LLaVA

저자들은 세밀한 시각적 인공물을 포착하도록 설계된 다중 모달 아키텍처인 DX-LLaVA(Deepfake detection and eXplainability LLaVA) 를 제안합니다.

• 비전 인코더: 표준 CLIP ViT 를 CLIP ConvNeXT로 대체합니다. ConvNeXT 는 ViT 가 종종 놓치는 모발선 불규칙성, 모공 불일치와 같은 국소적 고주파수 인공물에 대한 더 강한 텍스처 편향과 민감도를 갖기 때문에 선택되었습니다.
• 이중 목적 미세 조정: 모델은 결합된 손실 함수를 사용하여 미세 조정됩니다:
  • $L_{lm}$: 추론 생성에 대한 표준 언어 모델링 손실.
  • $L_{binary}$: 풀링된 시각적 임베딩에 적용되는 경량 이진 분류 손실.
  • 이 이중 접근법은 언어 모델이 판별적 시각적 단서와 정렬되도록 보장하여, 베이스라인 LLaVA 에서 관찰된 "일관된 텍스트이지만 판별력은 부족함" 문제를 방지합니다.

3. 알고리즘: 문단 수준 상대 정책 최적화 (PRPO)

PRPO 는 MLLM 추론을 문단 수준에서 이미지 콘텐츠와 정렬하도록 설계된 테스트 시간 강화 학습 알고리즘입니다. 토큰을 균일하게 처리하는 표준 그룹 상대 정책 최적화 (GRPO) 와 달리, PRPO 는 문단 단위로 작동합니다.

• 보상 메커니즘: 이 알고리즘은 두 가지 레이블 없는 보상 구성 요소를 활용합니다:
  • 시각적 일관성 보상 (VCR): 고정된 CLIP ConvNeXT 인코더를 사용하여 각 추론 문단과 이미지 특성 간의 정렬을 측정합니다. 문단에서 키워드를 추출하여 이미지 임베딩과 코사인 유사도를 계산합니다. 이는 환각과 일반적인 설명을 패널티로 처리합니다.
  • 예측 일관성 보상 (PCR): 중간 추론 문단의 다수결 투표와 최종 결론 간의 내부 일관성을 강제합니다. 최종 답변이 지지 문단들의 합의와 모순되면 보상은 0 이 됩니다.
• 최적화: PRPO 는 기준 모델으로부터의 과도한 편차를 방지하기 위해 KL-발산 항을 포함하면서, 상대적 이점 (정규화된 보상) 으로 가중된 문단의 로그 확률을 최대화합니다. 핵심적으로, 이 과정은 테스트 시간에 발생하며 재학습을 위한 추가 주석 데이터가 필요하지 않습니다.

주요 기여

1. DF-R5 데이터셋: 딥페이크 탐지를 위한 고품질 추론 데이터의 격차를 해소하는 대규모 추론 주석 데이터셋 (115k 이미지).
2. DX-LLaVA 아키텍처: CLIP ConvNeXT 와 Vicuna 를 통합한 새로운 아키텍처로, 픽셀 수준 비전 인코더가 미묘한 딥페이크 인공물 탐지에 ViT 보다 우수함을 입증합니다.
3. PRPO 알고리즘: 문단 수준의 시각적 근거와 자기 일관성을 강제하여 광범위한 재학습 없이 추론의 질을 크게 향상시키는 테스트 시간 RL 방법.
4. 포괄적 평가: 보이지 않는 도메인 전반에 걸쳐 탐지 정확도와 설명 충실도 모두에서 상당한 향상을 보여주는 광범위한 실험.

실험 결과

탐지 성능

• 일반화: 보이지 않는 도메인 (도메인 간 테스트) 에서 PRPO 는 평균 F1 점수 **89.91%**를 달성하여 최첨단 베이스라인 SIDA 보다 14.65% 높고, 다른 MLLM(예: Gemini-2.5 의 80.31% F1) 보다 우위를 점합니다.
• 강건성: PRPO 는 실재와 가짜 이미지가 거의 구별되지 않는 SiT 와 같은 까다로운 도메인에서 특히 강점을 보여, 베이스라인보다 훨씬 낮은 점수에 비해 F1 71.26% 를 달성합니다.
• 아키텍처 영향: DX-LLaVA 아키텍처에서 ViT 를 ConvNeXT 로 대체한 결과, ViT 기반 변형에 비해 도메인 간 설정에서 F1 24.10% 의 향상이 있었습니다.

추론의 질

• 평가: 설명은 GPT-4o 에 의해 분류 정확도, 증거 근거, 추론의 질, 신뢰도 보정, 명확성 등 다섯 가지 기준에 따라 평가되었습니다.
• 점수: PRPO 는 전체 추론 점수 4.55/5.0으로 가장 높은 점수를 기록하여 Gemini-2.5(4.20) 와 모든 다른 베이스라인을 능가했습니다.
• 어블레이션: VCR 과 PCR 보상의 조합이 필수적인 것으로 나타났습니다. VCR 만 사용하면 정밀도는 높지만 재현율은 낮아졌고, PCR 만 사용하면 재현율이 낮았습니다. 둘을 함께 사용하면 지표를 효과적으로 균형 잡았습니다.

효율성

• PRPO 는 테스트 시간에 작동합니다. 계산 프로파일링에 따르면 샘플링이 지배적인 비용 (약 90%) 이지만, 보상 계산 및 정책 업데이트는 경량입니다. 이 방법은 배치 크기에 따라 효율적으로 확장되어 배치 크기가 증가함에 따라 지연 시간을 크게 줄입니다.

중요성과 주장

본 논문은 신뢰할 수 있고 해석 가능한 딥페이크 탐지를 위해 시각적 증거에 기반한 다중 모달 추론을 근거화하는 것이 필수적이라고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 테스트 시간 적응: PRPO 를 통한 테스트 시간 적응은 주석 데이터에 대한 광범위한 재학습 없이 모델이 추론 정렬을 스스로 개선할 수 있게 합니다.
• 문단 수준 최적화: 이는 모델이 최종 토큰만 최적화하는 것이 아니라, 추론의 모든 단계가 이미지로 뒷받침되는지 확인하도록 강제하기 때문에 중요한 혁신입니다.
• 의사 결정 지원 도구: 이 접근법은 미디어 포렌식에서 인간 분석가를 위한 의사 결정 지원 도구로 기능하며, 정확할 뿐만 아니라 상세하고 증거 기반인 설명을 제공합니다.

저자들은 겸손하게 한계를 지적하며, 현재 접근법은 주로 얼굴 중심 딥페이크에 초점을 맞추고 있으며, 극도로 희소한 인공물 시나리오 (특정 SiT 생성과 같은) 는 여전히 어렵다고 인정합니다. 그들은 이 작업을 안전-중요 응용 분야에서 구조화된 추론과 비전 - 언어 모델을 통합하는 한 단계로 위치시키고, 독립적인 의사 결정 시스템이 아닌 것으로 규정합니다.