기술 요약: ClueAegis

문제 제기

생성형 인공지능의 급속한 발전으로 인해 점점 더 사실적인 합성 이미지가 생성되어 기존 탐지 방법의 신뢰성을 위협하고 있습니다. 현재 접근법은 주로 통합된 엔드 - 투 - 엔드 분류 또는 단일화된 추론 파이프라인에 의존합니다. 이러한 방법들은 구조화된 포렌식 추론을 모델링하는 데 실패하는 경우가 많으며, 이질적인 시각적 증거를 처리하는 데 어려움을 겪습니다. 조명 불일치, 주파수 아티팩트, OCR 오류, 해부학적 이상과 같은 포렌식 단서들은 근본적으로 다른 분포를 보입니다. 이러한 다양한 단서들을 단일하고 차별화되지 않은 추론 공간으로 강제로 통합하면 특징의 얽힘과 비최적의 증거 추출로 이어질 수 있습니다. 또한, 기존 데이터셋은 일반적으로 구조화된 포렌식 휴리스틱이 아닌 생성기 유형별로 데이터를 구성하여, 분해된 인지 기술의 학습을 방해합니다.

방법론

저자들은 ClueAegis를 제안합니다. 이는 인간의 인지 이론 (시스템 1: 휴리스틱 지각; 시스템 2: 분석적 추론) 에 영감을 받아 합성 이미지 탐지를 휴리스틱에서 추론으로 이어지는 인지 기술 학습 과정으로 재정의하는 프레임워크입니다.

1. ClueAegis-Bench

이 패러다임을 지원하기 위해 저자들은 12 개의 명시적으로 주석된 포렌식 인지 기술로 탐지를 분해하는 대규모 벤치마크인 ClueAegis-Bench(12 만 장의 이미지) 를 소개합니다. 이진 벤치마크와 달리 각 이미지는 위조를 드러내는 데 가장 효과적인 특정 기술로 레이블이 지정됩니다. 12 가지 기술은 다음과 같습니다:

• 조명/그림자/물리적 일관성: 조명, 그림자 일관성 및 물리 법칙을 평가합니다.
• 상식/기능적 불일치: 의미상 또는 기능적으로 불가능한 점을 탐지합니다.
• OCR/영역/변환 일관성: 텍스트, 로컬 영역 및 후처리 아티팩트를 분석합니다.
• 인간/동물 해부학: 구조적 타당성을 확인합니다.
• 주파수/픽셀 일관성: 스펙트럼 및 저수준 픽셀 분포를 검토합니다.

2. ClueAegis 프레임워크

ClueAegis 는 2 단계 에이전트 프레임워크로 작동합니다:

• 1 단계: 휴리스틱 기반 기술 선택 (시스템 1): 모델은 지각 주도 에이전트로 작동합니다. 입력 이미지에서 지각적 포렌식 단서를 추출하고 사전 정의된 라이브러리에서 가장 관련성 높은 포렌식 기술을 선택합니다. 이는 인지적 이해를 실행 가능한 계획으로 변환합니다.
• 2 단계: 기술 기반 포렌식 추론 (시스템 2): 선택된 기술을 기반으로 모델은 증거 기반 추론을 수행합니다. OCR 엔진, 조명 분석기, 주파수 스펙트럼 도구 및 특징 변환 연산자와 같은 해당 분석 도구를 동적으로 호출합니다. 추론 과정은 외부 도구 출력을 통합하여 최종 진위 예측을 내리는 경로를 생성합니다.

3. 학습 전략

모델은 2 단계 접근법으로 학습됩니다:

1. 지도 미세 조정 (SFT): 모델은 포렌식 증거를 올바른 기술에 매핑하고 기술 조건부 추론을 수행하는 방법을 학습합니다.
2. 그룹 상대 정책 최적화 (GRPO): 추론 일관성, 기술 선택 정확도 및 형식 준수를 개선하기 위해 선호도 최적화 단계가 적용됩니다. 보상 함수는 정답의 정확성, 기술 선택 일관성, 그리고 2 단계 추론 구조 준수를 균형 있게 고려합니다.

주요 기여

• 작업 재정의: 이 논문은 합성 이미지 탐지를 이진 분류에서 기술 주도, 구조화된 추론 문제로 전환합니다.
• ClueAegis-Bench: 이질적인 아티팩트를 통합된 기술 공간으로 조직화하여 단순한 실재/가짜 분류를 넘어선 구조화된 평가를 가능하게 하는 기술 지향 주석이 포함된 새로운 벤치마크입니다.
• 기술 주도 분류 공간: 서로 다른 추론 능력에 대응하는 12 가지 포렌식 기술의 정의로, 포렌식 분석을 위한 적응형 공간을 형성합니다.
• 2 단계 포렌식 추론: 전역적 지각적 이해 (기술 선택) 와 국소적, 증거 기반 추론을 분리하는 휴리스틱에서 추론으로 이어지는 프레임워크입니다.

실험 결과

광범위한 실험을 통해 ClueAegis 가 여러 벤치마크에서 최첨단 (SOTA) 성능을 달성함을 입증했습니다:

• ClueAegis-Bench: 기존 SOTA 방법보다 정확도에서 6.99% 더 높은 **99.01%**의 평균 성능을 기록하며 이전 방법을 능가했습니다.
• AIGI-Now(일반화): FLUX, gpt4o 와 같은 최신 생성 모델에 대한 강력한 일반화 능력을 보여주어 이전 SOTA 보다 7.88% 더 높은 성능을 기록했습니다.
• GenImage: 대규모 GenImage 벤치마크에서 전체적으로 가장 우수한 성능을 달성하여 기존 방법보다 정확도를 0.67% 향상시켰습니다.
• 강건성: 이 방법은 약한 픽셀 수준 패턴 대신 추상적 포렌식 단서에 작동하는 기술 조건부 프레임워크 덕분에 JPEG 압축, 가우시안 블러, 크기 조절과 같은 일반적인 이미지 교란 하에서 베이스라인보다 우수한 안정성을 입증했습니다.
• 절대 연구: 더 큰 백본 모델이 성능을 향상시키고, 최적의 결과를 위해서는 전체 파이프라인 (기술 선택 + SFT + GRPO) 이 필요함을 결과가 확인했습니다.

중요성과 주장

이 논문은 ClueAegis 가 투명한 추론 경로와 구조화된 포렌식 증거를 제공함으로써 기존의 엔드 - 투 - 엔드 탐지기보다 더 설명 가능한 대안을 제공한다고 주장합니다. 지각, 기술 선택, 포렌식 추론을 연결함으로써 이 프레임워크는 현재 방법들의 특징 얽힘 한계를 해결합니다. 저자들은 이 기술 인식 접근법이 다양한 위조에 걸쳐 적응형 라우팅과 증거 검증을 가능하게 함으로써 신뢰할 수 있는 합성 미디어 탐지를 촉진한다고 가정합니다.

저자들은 한계를 인정하며, 이 프레임워크는 모든 새로운 조작 패턴을 커버하지 못할 수 있는 사전 정의된 기술 세트에 의존하며, 성능은 부분적으로 기본 비전 - 언어 백본의 능력에 의존한다고 지적합니다. 또한, 구조화된 추론 파이프라인은 직접적인 이진 분류에 비해 계산 오버헤드를 증가시킵니다.