기술 요약: 멀티모달 언어 모델을 이용한 소셜 미디어 내 AI 생성 콘텐츠 탐지

문제 정의

생성형 AI의 급격한 발전으로 인해 실사에 가까운 이미지와 영상을 생성할 수 있게 되었으며, 이러한 AI 생성 콘텐츠(AIGC)는 소셜 미디어를 통해 점점 더 많이 유포되고 있습니다. AIGC는 스팸, 허위 정보, 조작, 괴롭힘 및 사기에 악용되는 경우가 많습니다. 기존의 탐지 방법들은 세 가지 결정적인 한계에 직면해 있습니다:

1. 낮은 일반화 성능: 정적 데이터셋에서 학습된 모델은 새롭게 등장하고 진화하는 모델이 생성한 콘텐츠를 탐지하는 데 실패하는 경우가 많습니다.
2. 단일 모달리티 의존성: 많은 접근 방식이 시각적 아티팩트(예: 주파수 분석 또는 GAN 특유의 단서)에만 의존하며, 소셜 미디어 게시물에서 얻을 수 있는 풍부한 멀티모달 신호(텍스트, 댓글, 맥락)를 무시합니다.
3. 해석 가능성 부족: 대부분의 탐지기는 이진 출력만을 제공하며 인간이 읽을 수 있는 설명을 제공하지 않으므로, 그 판단을 해석하거나 신뢰하기 어렵습니다.

방법론

저자들은 다양한 멀티모달 데이터를 지속적으로 큐레이션하고, 탐지와 설명을 모두 수행할 수 있는 컴팩트한 비전-언어 모델(VLM)을 학습시키는 통합 파이프라인을 제안합니다.

1. 모델 아키텍처

시스템은 다음 세 가지 구성 요소로 이루어진 LLaVA 기반 아키텍처를 활용합니다:

• 비전 인코더: 강력한 제로샷 분류 능력을 갖춘 Perception Encoder(300M 파라미터)를 사용합니다. 이미지는 448×448 크기로 크롭되며, 적응형 풀링(adaptive pooling)을 통해 256개의 시각적 토큰으로 처리됩니다.
• 언어 모델: 추론 효율성을 확보하면서도 충분한 추론 능력을 유지하기 위해 Llama3.2-3B-Instruct를 선택했습니다.
• 프로젝션 레이어(Projection Layer): 시각적 토큰을 언어 모델에 연결하는, 제로 가중치 초기화(zero-weight initialization)가 적용된 단일 선형 레이어입니다.

2. 데이터 큐레이션 파이프라인

학습 데이터는 세 가지 뚜렷한 단계를 거치는 지속적인 파이프라인을 통해 큐레이션됩니다:

• 1단계: 이미지 캡셔닝 (60M+ 샘플): 데이터는 Shutterstock(Llama-3.2-90B에 의해 정제 및 캡션 생성)과 소셜 미디어 플랫폼(Llama4-Scout에 의해 캡션 생성)에서 가져옵니다. 164K개의 고품질 이미지 서브셋은 이미지-텍스트 모달리티를 정렬하기 위해 인간의 주석 및 정제 과정을 거칩니다.
• 2단계: 멀티태스크 미세 조정 (130K+ 샘플): 모델은 개체명 인식(NER), 키워드 생성, 해시태그 생성, 장르 분류 등의 태스크를 통해 미세 조정됩니다. 이 단계는 생성된 키워드나 해시태그에 자주 나타나는 AIGC 신호에 대한 초기 지식을 모델에 심어줍니다.
• 3단계: AIGC 미세 조정 (200K+ 샘플): 소셜 미디어에서 데이터를 수집하고 휴리스틱(예: "AI-generated", "Midjourney" 등의 명시적 언급 또는 모델이 예측한 AIGC 키워드)을 사용하여 레이블을 지정합니다. 데이터셋은 30K개의 양성(AIGC) 샘플과 170K개의 음성 샘플로 구성되며, 설명은 Llama4-Maverik에 의해 주석이 달립니다. 결정적으로, 이 단계에서는 **텍스트 정보의 90%를 무작위로 드롭(drop)**하여 모델이 텍스트 단서에만 의존하지 않고 시각적 특징으로부터 학습하도록 강제합니다.

3. 학습 레시피 (Training Recipe)

IFM-AIGCSPOTTER-3B라는 이름의 모델은 3단계의 포스트 트레이닝 과정을 거칩니다:

1. 이미지 캡셔닝: 텍스트-이미지 모달리티를 정렬하며, 초기에는 LM과 비전 인코더를 동결한 상태로 프로젝션 레이어를 학습시킨 후 엔드 투 엔드(end-to-end) 학습을 진행합니다.
2. 멀티태스크 미세 조정: 멀티모달 콘텐츠 이해도를 높입니다.
3. AIGC 탐지 미세 조정: 큐레이션된 AIGC 데이터셋을 사용하여 탐지 및 설명 능력에 집중합니다.

주요 결과

벤치마크 성능

공개 데이터셋인 FakeClue(인-디스트리뷰션) 및 LOKI(아웃-오브-디스트리뷰션)에서 평가되었습니다:

• IFM-AIGCSPOTTER-3B는 미세 조정된 모델들 중 최첨단(SOTA) 성능을 달성하여, FakeClue에서 98.6%의 정확도를, LOKI에서 83.9%의 정확도를 기록했습니다.
• 모델은 특히 사람, 동물, 장면이 포함된 이미지에서 강력한 일반화 성능을 보였습니다.
• 트레이드오프 관찰: 저자들은 학습 과정에서 설명 생성(explanation generation)을 포함하는 것이 탐지만 수행하는 학습에 비해 탐지 정확도를 약간 감소시킨다는 점을 언급했으며, 이는 설명 가능성과 순수 성능 사이의 트레이드오프를 시사합니다.

내부 소셜 미디어 평가

Facebook, Instagram, Threads의 내부 데이터셋을 대상으로 수행되었습니다:

• 모델은 전체 정밀도(Precision) 88.6% 및 **재현율(Recall) 85.3%**를 달성했습니다.
• 어블레이션 연구(Ablation Studies) 결과:
  • 무작위 텍스트 드롭아웃은 재현율에 결정적이었습니다. 이것이 없으면 모델이 텍스트 단서에 과도하게 의존하게 되어 재현율이 50%로 떨어졌습니다.
  • Perception Encoder는 CLIP 기반 인코더보다 약간의 정밀도 우위를 제공했습니다.
  • 입력을 멀티 프레임 비디오(4개 또는 8개 프레임)로 확장하는 것이 단일 프레임 입력보다 성능을 크게 향상시켰습니다.

"In-the-Wild" 벤치마크에 대한 일반화

매우 사실적인 AIGC를 포함하는 Chameleon 데이터셋에서, 모델은 별도의 적응 과정 없이도 10개의 기존 베이스라인 모델을 20% 이상의 차이로 앞지르며 86.0%의 정확도를 달려했습니다.

프로덕션 배포

모델은 게시물이 500회 이상의 조회수를 기록하는 게시물을 스크리닝하기 위해 4개의 Nvidia H100 노드에 배포되었습니다.

• 영향: 6주간의 A/B 테스트 결과, 경계 사용자(marginal users)의 조회수가 통계적으로 유의미하게 증가(+0.21%)했으며, Young-Adult 세션 시간이 +0.22% 증가했습니다. 이는 효과적인 AIGC 탐지가 사용자 참여와 경험을 개선한다는 것을 나타냅니다.

의의 및 주장

본 논문은 지속적으로 큐레이션되고 다양한 멀티모달 데이터로 학습된 통합 비전-언어 모델을 활용함으로써, 역동적인 실제 소셜 미디어 환경에서 효과적인 AIGC 탐지를 수행하는 것이 가능하다고 주장합니다.

주요 기여는 다음과 같습니다:

1. 지속적 적응: 진화하는 생성 모델로부터 발생하는 분포 변화(distribution shift) 문제를 해결하기 위해 새로운 고품질 AIGC 데이터를 지속적으로 큐레이션할 수 있는 파이프라인을 제공합니다.
2. 멀티모달 추론: 단일 모달리티 탐지를 넘어 시각적, 텍스트적, 맥락적 신호를 동시에 활용합니다.
3. 설명 가능성: 탐지와 함께 인간이 읽을 수 있는 설명(의미론적, 스타일적, 국소적 시각적 아티팩트 분석)을 제공하여 해석력과 사용자 신뢰를 높입니다.
4. 실용적 생존 가능성: 컴팩트한 모델(3B 파라미터)이 최첨단 성능을 달면서도 대규모로 배포 가능하며, 결과적으로 사용자 참여와 같은 가시적인 다운스트림 혜택을 줄 수 있음을 입증했습니다.

한계점

저자들은 몇 가지 한계점을 인정합니다:

• 반응적 성격: 파이프라인이 분포 변화를 완화하긴 하지만, 여전히 새로운 생성기에 대해 사후 대응적인 성격을 띠며, 탐지를 피하기 위해 설계된 특정 모델들에 대해서는 뒤처질 수 있습니다.
• 컴퓨팅 비용: 대규모 배포 시 여전히 무시할 수 없는 컴퓨팅 비용이 발생합니다.
• 설명의 충실도(Faithfulness): 설명이 해석력을 높여주기는 하지만, 인과적 귀속을 보장하지는 않으며 때때로 모델의 편향이나 환각(예: 아티팩트가 없는 영역에서 "부자연스러운 질감"을 환각하는 현상)을 반영할 수 있습니다.