기술 요약: Ivy-Fake 및 Ivy-xDetector

문제 제기

Sora, DALL-E, Stable Diffusion 과 같은 확산 모델에 주도된 인공지능 생성 콘텐츠 (AIGC) 의 급속한 발전은 진품과 조작된 콘텐츠 사이의 경계를 모호하게 만드는 고품질 합성 미디어를 생성했습니다. 이는 허위 정보 확산, 문서 변조, 데이터셋 오염을 포함한 중대한 보안 위험을 초래합니다.

현재의 탐지 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 다차원 설명 가능 데이터셋의 부재: 기존 오픈소스 데이터셋 (예: WildFake, GenVideo) 은 주로 단순화된 이진 주석 (실제/가짜) 에 의존합니다. 이는 탐지기가 예측에 대한 상세한 근거를 제공할 수 없으므로 훈련된 탐지기의 설명 가능성과 신뢰성을 제한합니다. 또한, 기존 자료는 파편화되어 있어 일부는 이미지 (예: FakeClue) 에만, 다른 일부는 비디오에만 초점을 맞추고 있으며, 멀티모달 탐지를 위한 통합 벤치마크가 부족합니다.
2. MLLM 기반 탐지기의 해석 가능성 부족: 이전의 멀티모달 대규모 언어 모델 (MLLM) 탐지기 (예: FakeVLM) 는 종종 거시적 수준의 해석 가능성을 보입니다. 그들의 단계별 추론은 아티팩트의 신뢰할 수 있는 국소화와 합성 지문에 대한 포괄적인 설명에 필요한 미시적 세부 사항이 부족합니다.

방법론

1. Ivy-Fake: 통합 벤치마크

저자들은 이미지와 비디오 모두에 걸친 설명 가능한 AIGC 탐지를 위해 설계된 첫 번째 대규모 멀티모달 벤치마크인 Ivy-Fake를 소개합니다.

• 데이터 규모 및 구성: 이 데이터셋은 61,107 개의 이미지와 45,272 개의 비디오로 구성된 106,000 개 이상의 학습 샘플과 5,000 개의 수동 검증 평가 예제로 구성됩니다.
• 데이터 출처: 데이터는 GenVideo, LOKI, FakeClue, WildFake, Kinetics-400, MMFakeBench, GenImage, DiffusionForensics 등 다양한 공개 데이터셋에서 선별되었으며, FLUX.1, Lora Flux, Qwen-Image 와 같은 최첨단 모델을 사용하여 생성되었습니다.
• 주석 전략: 이진 레이블과 달리 Ivy-Fake 는 다음 두 가지 주요 차원으로 분류된 풍부하고 미시적인 주석을 제공합니다:
  • 공간적 특징: 이미지와 비디오 모두에 적용 가능하며, 8 가지 하위 차원을 다룹니다: 비현실적 조도, 국소적 흐림, 판독 불가 문자, 누락된 구성 요소, 공간적 관계, 왜곡된 구성 요소, 색채 불규칙성, 비정상적 질감.
  • 시간적 특징: 비디오에만 고유하며, 4 가지 하위 차원을 다룹니다: 휘도 불일치, 어색한 표정, 중복된 구성 요소, 비공간적 관계.
• 품질 관리: 자동 필터링 (손상된 파일, 해상도 제약, 근사 중복 제거) 과 인간 검증 (10 명 사용자, 약 1,000 시간) 을 포함한 엄격한 파이프라인을 통해 데이터 무결성을 보장합니다. 최종 테스트 세트는 실제 및 가짜 인스턴스 간에 균형을 맞춘 2,500 개의 이미지와 2,500 개의 비디오로 구성됩니다.

2. Ivy-xDetector: 강화 학습 미세 조정 MLLM

Ivy-Fake 데이터셋을 활용하기 위해 저자들은 강력한 탐지와 설명 가능한 추론을 위해 설계된 멀티모달 대규모 언어 모델인 Ivy-xDetector를 제안합니다.

• 학습 파이프라인: 이 모델은 두 단계의 학습 과정을 거칩니다:
  1. 지시 기반 콜드 스타트 (SFT): Gemini 2.5 Pro 가 생성한 탐지 및 설명용 체인 오브 씽킹 (CoT) 데이터를 사용하여 모델을 초기화합니다. 이 단계는 기본 모델 (Qwen2.5-VL-3B) 에 미시적 아티팩트 인식 및 설명 능력을 주입합니다.
  2. 검증 가능한 보상을 통한 강화 학습 (RLVR): **그룹 상대 정책 최적화 (GRPO)**를 사용하여 모델을 추가로 최적화합니다. 이 단계는 다음과 같은 규칙 기반 보상 시스템을 활용합니다:
     • 정확도 보상: <conclusion> 태그가 실제/가짜의 정답과 일치하면 1 점.
     • 형식 보상: 출력이 구조적 요구 사항 (추론은 <thought>, 결정은 <conclusion> 내) 을 엄격히 준수하면 1 점.
• 효율성: Ivy-xDetector 는 기존 탐지기가 종종 수백만 개의 데이터 포인트에 의존하는 것과 비교하여 200,000 개 미만의 샘플로 최첨단 성능을 달성합니다.

주요 기여

1. Ivy-Fake 데이터셋: 이미지와 비디오를 모두 포괄하는 설명 가능한 AIGC 탐지를 위한 첫 번째 대규모 통합 데이터셋으로, 106K 개 이상의 학습 샘플과 미시적 시각적 주석 및 텍스트 추론을 특징으로 합니다.
2. Ivy-xDetector 모델: 생성 아티팩트 (이미지의 공간적, 비디오의 공간적 및 시간적) 를 포착하고 인간이 이해할 수 있는 추론 체인을 생성하는 데 탁월한 강화 학습 기반 MLLM 입니다.
3. 포괄적 평가: 데이터셋과 모델의 유효성을 검증하는 광범위한 실험을 통해 합성 콘텐츠 탐지에서 멀티모달 대규모 모델의 능력 향상에 미치는 영향을 입증했습니다.

실험 결과

저자들은 GenImage, GenVideo, Chameleon 및 내부 Ivy-Fake 테스트 세트를 포함한 여러 벤치마크에서 광범위한 평가를 수행했습니다.

• Ivy-Fake 성능: Ivy-xDetector 는 전체 정확도 86.4% 및 F1 점수 **86.4%**를 달성하여 InternVL3.5, Qwen2.5-VL 과 같은 다른 오픈소스 모델들을 능가했으며, 77.9% 정확도를 기록한 Gemini-2.5-Flash 와 같은 폐쇄형 모델의 성능에 근접했습니다. 특히 Ivy-xDetector 는 평균 설명 점수 3.85(1-5 점 척도) 를 기록하여 최상위 오픈소스 베이스라인의 3.54 보다 뛰어난 해석 가능성을 보였으며, 탐지 정확도에서도 이를 크게 능가했습니다.
• 일반화:
  • GenImage (이미지): Ivy-xDetector 는 Midjourney, Stable Diffusion 등 다양한 생성기를 대상으로 **96.32%**의 평균 정확도를 달성하여 AIDE(86.88%) 및 DRCT(89.50%) 와 같은 이전 최첨단 방법을 능가했습니다.
  • GenVideo (비디오): 이 모델은 평균 F1 점수 95.26% 및 재현율 **95.28%**를 달성하여 이전 최첨단 DeMamba(F1 = 90.20%) 를 능가했습니다.
  • Chameleon (미관 Domain): Chameleon 벤치마크에서 Ivy-xDetector 는 **73.17%**의 전체 정확도를 달성하여 실제 카테고리에 과적합되는 경향이 있던 AIDE 와 비교하여 실제 및 가짜 클래스 간에 더 균형 잡힌 성능을 보여주었습니다.
• 데이터 효율성: 이 모델은 DeMamba 가 229.5 만 개의 비디오를 사용한 것과 같이 경쟁사들이 종종 수백만 개의 샘플을 요구하는 것과 비교하여 훨씬 적은 학습 샘플 (약 13 만 개 이미지 및 64 천 개 비디오) 로 이러한 결과를 달성했습니다.

중요성 및 주장

이 논문은 Ivy-Fake 와 Ivy-xDetector 가 단일 설명 가능 프레임워크 하에 이미지 및 비디오 탐지를 통합함으로써 AIGC 탐지 환경의 중요한 격차를 해소했다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 해석 가능성의 중요성: 이진 분류를 넘어 상세한 다차원 추론으로 이동하면 신뢰를 높이고 합성 아티팩트의 더 나은 국소화를 가능하게 합니다.
• 효율성: 미세한 추론을 포함하는 데이터가 제공된다면, 거대하고 레이블이 없는 코퍼스가 아닌 작고 고품질이며 풍부하게 주석된 데이터셋으로도 높은 성능을 달성할 수 있습니다.
• 통합 접근법: 단일 모델이 공간적 (이미지) 및 시공간적 (비디오) 이상을 효과적으로 처리하여 이전의 이미지 전용 또는 비디오 전용 솔루션의 파편화를 극복할 수 있습니다.

저자들은 그들의 작업이 투명하고 신뢰할 수 있는 멀티모달 분석을 위한 견고한 기반을 제공하며, 이러한 미세한 설명 가능성 데이터가 AIGC 탐지 커뮤니티를 위한 새로운 연구 방향을 촉발할 수 있다고 결론지었습니다. 그들은 DeepFake 및 문서 조작과 같은 도메인별 시나리오로 이러한 벤치마크를 확장할 수 있으며, 이 접근법이 32B 또는 72B 파라미터와 같은 더 큰 모델로 확장될 잠재력을 보인다는 점을 인정하며 한계를 지적했습니다.