기술 요약: VendorBench-100

문제 정의

합성 미디어 생성의 급격한 민주화는 딥페이크 탐지의 부담을 전문 포렌식 연구소에서 일반 플랫폼과 개인에게로 전이시켰습니다. 현재 세 가지 서로 다른 패러다임이 이 탐지 공백을 메우기 위해 경쟁하고 있으나, 이들은 공통된 프로토콜 하에 평가되는 경우가 거의 없어 직접적인 비교가 불가능합니다:

1. 상용 API (Commercial APIs): 검증되지 않은 정확도 주장을 제공하는 블랙박스 방식의 독점 서비스.
2. 제로샷 시각-언어 모델 (Zero-Shot Vision-Language Models, LLMs): 특정 학습 없이 프롬프트에 의해 임시로 포징(prompted)된 범용 멀티모달 모델.
3. 오픈 소스 탐지기 (Open-Source Detectors): 로컬 인프라를 요구하는 파편화된 학술적 체크포인트 및 커뮤니티 분류기 생태계.

기존 벤치마크들은 대개 이러한 패러다임들을 고립된 상태에서 평가하며, 실제 세상에서 유통되는 "무질서하고 적대적인 콘텐츠"를 반영하지 못하는 크고 균질한 데이터셋을 사용하는 경우가 많습니다. 또한, 단순 정확도와 같은 표준 평가 지표는 불균형한 데이터셋에서 오해의 소지가 있으며, 모델의 순위 결정 능력(변별력)이 신뢰할 수 있는 운영 지점 결정(기본 임계값 정확도)으로 이어지는지를 평가하기 위한 통합된 프레임워크가 부족합니다.

방법론

저자들은 36개의 대표 모델(5개의 상용 API, 7개의 제로샷 시각 LLM, 24개의 오픈 소스 탐지기)을 단일한 고정된 적대적 코퍼스를 사용하여 평가하도록 설계된 통합 교차 패러다임 벤치마크인 VendorBench-100을 소개합니다.

코퍼스 (The Corpus)

• 구성: 100개의 이미지로 구성된 큐레이션된 세트 (가짜 79개, 진짜 21개).
• 설계 철학: 통계적 힘을 제공하기보다는 난이도에 최적화되었습니다. 모든 이미지는 통계적 유의성을 확보하기 위함이 아니라, 명확히 구분되는 미충족 실패 모드(failure modes)를 조사하기 위해 수작업으로 선정되었습니다.
• 에지 케이스 분류 (Edge-Case Taxonomy): 79개의 가짜 이미지는 8가지 고유한 제품군을 포괄합니다:
  1. 라이브 페이스 스왑 스미어링 (웹캠 모션 블러와 얽힌 형태).
  2. 근접 중복 온라인 페이스 스왑 (전역 통계는 실제와 동일).
  3. 레터박스가 포함된 텍스트-투-비디오 스틸 (시네마틱 그레이딩이 후처리 과정을 모사).
  4. AI 아바타 합성 이음새 (주파수 탐지기가 놓치는 빛나는 윤곽선).
  5. 완전 합성 텍스트-투-이미지 출력 (고해상도, 사실적 묘사).
  6. 실제 장면의 온디바이스 AI 사진 편집 (실제 배경 내의 국소적 합성).
  7. 불투명한 출처 조작 (알 수 없는 도구 사용).
  8. 압축된 연구 데이터셋 프레임 (저해상도, 왁스 같은 피부 질감 혼합).
• 안티 리키지 (Anti-Leakage): 모델(특히 LLM)이 메타데이터로부터 라벨을 추론하는 것을 방지하기 위해 이미지는 중립적인 숫자 파일명으로 제공됩니다.

평가 프로토콜

• 통합 스키마: 모든 모델은 하드 라벨(FAKE/REAL), 신뢰도 점수 $P(fake) \in [0, 1]$, 그리고 성공 플래그를 포함하는 공유 출력 레코드로 정규화됩니다.
• 지표:
  • 주요 지표: 매튜스 상관 계수 (Matthews Correlation Coefficient, MCC). 79:21의 클래스 불균형 상황에서 단순 정확도는 쉽게 조작될 수 있기 때문에(예: "항상 가짜"라고 예측하는 모델은 약 79%의 정확도를 얻지만 MCC는 0.00임) 선택되었습니다. MCC는 클래스 균형을 고려하며 두 클래스 모두에서 높은 성능을 요구합니다.
  • 타이브레이커 (Tie-Breaker): ROC-AUC. 임계값에 독립적인 순위 결정 능력 측정치.
  • 보조 지표: 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall), 특이도(Specificity), 커버리지(Coverage).
• 실행: 상용 API는 실시간으로 쿼리되었으며, 시각 LLM은 공유된 포렌식 스키마를 통해 제로샷으로 프롬프트가 입력되었고, 오픈 소스 탐지기는 GPU 상에서 로컬로 실행되었습니다.

주요 기여

1. 교차 패러다임 벤치마크: 단일 적대적 코퍼스와 정규화된 스키마를 사용하여 상용, LLM, 오픈 소스 트랙을 걸쳐 36개 모델을 통합적으로 평가한 최초의 벤치마크입니다.
2. 적대적 코퍼스 구축: 8가지 특정 실패 모드 제품군을 중심으로 구성된 의도적으로 어려운 100개 이미지 데이터셋과 함께 출처 레지스트리 및 안티 리키지 프로토콜을 제공합니다.
3. 지표 괴리 분석 (Metric Divergence Analysis): 순위 결정력(ROC-AUC)과 운영 지점 품질(MCC) 사이의 일관되고 결정적인 괴리를 식별하여, 강력한 점수 변별력이 신뢰할 수 있는 기본 임계값 결정으로 반드시 이어지지는 않는다는 점을 입증했습니다.
4. 재현성: 전체 평가 프레임워크, 이미지별 증거, 그리고 집계된 결과를 공개합니다.

결과

평가 결과, 패러다임 멤버십이 전형적인 성능을 예측하기는 하지만 개별 모델의 역량을 예측하지는 못하는 복잡한 양상이 드러났습니다:

• 패러다임 순위: 상용 API가 일반적으로 가장 강력한 중앙값 성능을 달성했으며, 그 뒤를 시각 LLM이 이었고, 오픈 소스 트랙이 중앙값 성능에서 뒤처졌습니다.
• 예외 사항: 개별 오픈 소스 모델은 순수 순위 결정력에서 최고의 시각 LLM보다 뛰어난 성능을 보일 수 있습니다. 구체적으로, 오픈 소스 모델인 DRCT는 0.866의 ROC-AUC를 달성하여 모든 시각 LLM(최고치는 Claude Opus 4.8의 0.791)을 능가했습니다.
• "정확도의 함정": 여러 모델이 다수 클래스("가짜")를 기본값으로 설정함으로써 기만적으로 높은 정확도나 F1 점수를 얻었습니다. 예를 들어, 시각 LLM인 zai_glm52는 71%의 정확도와 0.83의 F1을 기록했으나, 특이도가 0%이고 MCC가 -0.152였는데, 이는 모든 실제 이미지를 가짜로 분류했음을 나타냅니다.
• 괴리 발견: 논문의 핵심적인 경험적 발견은 ROC-AUC와 MCC 사이의 단절입니다:
  • TruthScan (상용): 가장 높은 ROC-AUC(0.915)를 달림과 동시에 상용 API 중 최악의 MCC(-0.130)를 기록했는데, 이는 기본 임계값이 거의 모든 이미지를 가짜로 분류했기 때문입니다.
  • Neural Defend (상용): 가장 높은 MCC(0.876)를 달성했으나 ROC-AUC는 거의 우연 수준(0.516)이었으며, 이는 기초적인 점수 분리 능력은 약하지만 결정 보정(calibration)은 매우 뛰어나다는 것을 의미합니다.
  • 시사점: 모델은 우수한 순위 결정자(높은 AUC)가 될 수 있지만, 배포된 임계값에서의 결정자(낮은 MCC)로서는 부적합할 수 있으며, 그 반대의 경우도 마찬가지입니다.

의의 및 주장

본 논문은 VendorBench-100이 평가의 초점을 고립된 리더보드 순위에서 탐지기 행동에 대한 더 미묘한 이해로 근본적으로 전환시킨다고 주장합니다.

• 지표 불일치가 핵심임: 순위 결정 능력과 운영 지점 품질 사이의 괴리는 단일 모델의 순위보다 더 중요한 발견으로 제시됩니다. 이는 하나의 지표(예: AUC 또는 정확도)만을 보고하는 것이 모델의 실제 유용성을 체계적으로 잘못 설명할 수 있음을 보여줍니다.
• 실무적 가이드: 실무자들에게 이 벤치마크는 구매 결정 시 MCC와 ROC-AUC를 모두 고려해야 함을 시사합니다. 단일 지표에 의존하는 것은 신뢰할 수 없거나(높은 AUC, 낮은 MCC), 지나치게 보수적이어서 무용지물인(낮은 AUC, 높은 특이도이지만 낮은 재현율) 모델을 도입하게 만들 수 있습니다.
• 패러다임의 뉘앙스: 상용 API가 평균적으로 앞서지만, 본 연구는 오픈 소스 탐지기가 보편적으로 열등하다는 통념을 반박하며, 정교하게 설계된 학술적 방법(DRDRCT 등)이 범용 파운데이션 모델과 경쟁할 수 있음을 보여줍니다.
• 한계점: 저자들은 결과가 단일한 작은 규모(100개 이미지)의 적대적 코퍼스로부터 얻은 진단적 신호임을 명시합니다. 이 결과가 모집단 수준의 정확도 추정치를 나타내거나 630개의 가능한 모든 쌍별 비교에 대해 통계적 유의성 검정을 수행했다고 주장하지 않습니다. 코퍼스는 통계적 힘을 위한 벤치마크라기보다 실패 모드를 드러내기 위한 스트레스 테스트를 목적으로 합니다.

결론적으로, 논문은 분야가 고립된 리더보드 점수보다 패러다임 간의 공정한 비교를 우선시하는 통합되고 재현 가능한 다중 지표 평가로 나아가야 한다고 주장합니다.