NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection

이 논문은 BERT 와 CLIP 을 활용한 멀티모달 멀티태스크 모델과 의사레이블 기반 데이터 증강 기법을 통해 AI 생성 이미지 탐지 및 생성 모델 식별 성능을 향상시키고, 'CT2' 대회에서 상위권을 차지한 결과를 제시합니다.

핵심

🎨 1. 문제 상황: 가짜와 진짜를 구별하는 미스터리

요즘 '미드저니 (Midjourney)'나 '스테이블 디퓨전 (Stable Diffusion)' 같은 AI 프로그램들은 사람이 그린 것보다 더 예쁘고 사실적인 그림을 아주 빠르게 그려냅니다. 하지만 문제는 어떤 그림이 진짜 사람 손길인지, AI 가 그린 가짜인지 구별하기가 점점 어려워진다는 것입니다.

이 논문은 이 문제를 해결하기 위해 CT2 라는 국제 대회에 참가했습니다. 대회는 두 가지 미션을 줬습니다:

1. 미션 A: 이 그림이 AI 가 그렸나요? (O/X 판별)
2. 미션 B: 만약 AI 가 그렸다면, 구체적으로 어떤 AI 프로그램이 그렸나요? (예: DALL-E 3 인지, SDXL 인지 등)

🧠 2. 해결책: "눈"과 "귀"를 동시에 쓰는 탐정 (멀티모달 모델)

저자들은 단순히 그림만 보는 게 아니라, 그림에 대한 **설명 (텍스트)**도 함께 분석하는 '멀티모달' 방식을 썼습니다. 마치 수사관이 사건 현장 (그림) 을 보면서도, 목격자의 진술서 (텍스트) 를 함께 읽어서 진실을 파악하는 것과 같습니다.

• 눈 (CLIP): 그림의 디테일과 스타일을 분석하는 전문가입니다.
• 귀 (BERT): 그림에 적힌 설명글 (예: "두 마리의 기린이 나란히 서 있다") 을 읽고 문맥을 이해하는 언어 전문가입니다.

이 두 전문가가 정보를 주고받으며 (교차 융합), "아, 이 그림은 AI 가 그렸구나!" 혹은 "이건 SD 3 가 그렸구나!"라고 결론을 내립니다.

🚀 3. 특별한 전략: "스스로 학습하는 학생" (의사 라벨링)

학습 데이터를 늘리기 위해 저자들은 아주 똑똑한 방법을 썼습니다. 바로 **'의사 라벨링 (Pseudo-labeling)'**입니다.

• 비유: 시험을 치르기 전, 선생님 (모델) 이 모르는 문제집 (테스트 데이터) 을 먼저 풀어봅니다. 그리고 **"내가 80% 이상 확신하는 문제"**만 골라내어, "이건 정답이 A 다!"라고 스스로 적어넣고 (가짜 정답), 그걸로 다시 공부합니다.
• 효과: 이렇게 스스로 만든 추가 학습 자료로 모델을 더 튼튼하게 키워서, 실제 시험 (대회) 에서 더 좋은 성적을 낼 수 있었습니다.

🏆 4. 결과: 대회의 5 등 달성!

이 모델은 대회에서 아주 훌륭한 성적을 거두었습니다.

• 미션 A (AI 그림 찾기): 5 위 (정확도 83.16%)
• 미션 B (어떤 AI 가 그렸는지 찾기): 5 위 (정확도 48.88%)

특히 미션 B 는 AI 종류를 구분하는 것이 매우 어려운데, 이 정도 성적을 낸 것은 큰 성과입니다.

⚠️ 5. 아쉬운 점과 미래 (주의할 점)

물론 완벽한 방법은 아닙니다. 저자들은 다음과 같은 위험 요소도 솔직하게 털어놓았습니다.

• 오탐의 위험: 스스로 정답을 만들 때, 틀린 답을 정답으로 믿고 학습하면 오히려 실수가 고착될 수 있습니다. (전염병처럼 퍼지는 오류)
• 편향: 확신이 높은 쉬운 문제만 골라 학습했기 때문에, 애매모호한 어려운 그림들은 잘 못 구별할 수도 있습니다.

미래의 방향:
앞으로는 단순히 눈과 귀를 합치는 것을 넘어, 눈과 귀가 서로 대화하며 (Attention Mechanism) 더 깊이 이해하는 기술을 개발하고, 데이터의 불균형 문제를 해결하는 연구를 이어갈 계획입니다.

💡 요약

이 논문은 **"그림과 설명을 함께 보고, 스스로 더 공부하는 똑똑한 AI 탐정"**을 만들어, 가짜 AI 그림을 찾아내고 그 제작자를 특정하는 데 성공했다는 이야기입니다. 비록 완벽하지는 않지만, 가짜 뉴스와 허위 이미지가 넘쳐나는 시대에 매우 중요한 첫걸음을 뗐다고 할 수 있습니다.

기술 요약

논문 요약: NAU-QMUL - BERT 와 CLIP 을 활용한 멀티모달 AI 생성 이미지 탐지

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Stable Diffusion, DALL-E, MidJourney 등 텍스트 - 이미지 생성 모델의 급격한 발전으로 고품질의 AI 생성 이미지가 대량으로 유통되고 있습니다.
• 문제: 이러한 기술 발전은 인간이 만든 이미지와 AI 가 생성한 이미지를 구분하는 데 심각한 도전을 제기합니다. 이는 미디어의 진위성 확보, 지식재산권 보호, 허위 정보 (Misinformation) 대응에 있어 핵심적인 문제입니다.
• 목표: 본 연구는 AI 가 생성한 이미지를 탐지하는 것뿐만 아니라 (Task A), 해당 이미지를 생성한 구체적인 AI 모델 (예: SD 3, SDXL, DALL-E 3 등) 을 식별하는 것 (Task B) 을 목표로 합니다.

2. 제안된 방법론 (Methodology)

저자들은 텍스트와 이미지를 통합적으로 분석하는 멀티모달 멀티태스크 (Multi-modal Multi-task) 모델을 제안했습니다.

• 아키텍처:
  • 텍스트 인코더: 사전 학습된 BERT(bert-base-uncased) 를 사용하여 이미지 설명 (Caption) 의 문맥적 특징을 추출합니다.
  • 이미지 인코더: 사전 학습된 CLIP(openai/clip-vit-base-patch32) 의 비전 모듈을 사용하여 이미지의 시각적 특징을 추출합니다.
  • 특징 융합 (Feature Fusion): 추출된 텍스트 및 이미지 특징을 연결 (Concatenate) 한 후, 완전 연결 층 (Fully Connected Layer) 을 통해 공유된 특징 공간으로 투영하여 융합합니다.
• 멀티태스크 학습 구조:
  • Task A (이진 분류): 이미지가 AI 생성인지 인간이 만든 것인지 판단하는 Label_A Classifier.
  • Task B (다중 클래스 분류): AI 생성 이미지인 경우, 어떤 모델 (SD 3, SDXL, DALL-E 3, MidJourney 6 등) 이 생성했는지 식별하는 Label_B Classifier.
• 손실 함수 (Loss Function):
  • Task A 에는 **이진 교차 엔트로피 손실 (Binary Cross-Entropy Loss)**을 적용합니다.
  • Task B 에는 **조건부 교차 엔트로피 손실 (Conditional Cross-Entropy Loss)**을 적용합니다. 이는 Task A 에서 'AI 생성'으로 분류된 샘플 (LABEL_A == 1) 에 대해서만 Task B 손실을 계산하여, 실제 이미지에 대한 불필요한 계산을 줄이고 노이즈를 감소시킵니다.
• 데이터 증강 (Data Augmentation):
  • 가상 라벨링 (Pseudo-labeling): 학습된 모델이 테스트 데이터에서 높은 신뢰도 (0.8 이상) 로 예측한 샘플을 추출하여 가상의 라벨을 부여하고, 이를 학습 데이터셋에 추가하여 모델의 일반화 성능을 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 멀티모달 융합: BERT 와 CLIP 의 강점을 결합하여 텍스트와 이미지의 상호작용을 포착하는 새로운 아키텍처를 제시했습니다.
2. 조건부 멀티태스크 학습: AI 생성 여부 판별과 생성 모델 식별을 동시에 수행하되, 불필요한 계산을 배제하는 조건부 손실 함수를 도입하여 효율성을 높였습니다.
3. 성능 향상 전략: 가상 라벨링 기반의 데이터 증강 전략을 통해 제한된 학습 데이터를 확장하고 모델 성능을 극대화했습니다.
4. 경쟁 성과: 'CT2: AI-Generated Image Detection' 대회에서 Task A 와 Task B 모두 5 위를 차지하며 제안된 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 검증 세트 (Validation Set):
  • Task A: F1 점수 99.58%, 정확도 99.24% (매우 높은 성능).
  • Task B: Weighted-F1 점수 85.95%, 정확도 90.04%.
• 공식 테스트 세트 (Official Test Set - 대회 결과):
  • Task A (AI 생성 탐지): F1 점수 83.16% (5 위).
  • Task B (생성 모델 식별): F1 점수 48.88% (5 위).
  • 참고: 검증 세트와 테스트 세트 간의 성능 차이는 데이터 분포의 차이 (Domain Shift) 및 과적합 가능성 등을 시사합니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 실제 시나리오에서 AI 생성 콘텐츠 탐지 및 생성원 추적에 있어 멀티모달 접근법의 잠재력을 입증했습니다.
  • 텍스트와 이미지를 동시에 분석함으로써 단일 모달리티 기반 방법보다 더 강력한 특징을 학습할 수 있음을 보였습니다.
• 한계 및 향후 과제:
  • 가상 라벨링의 편향: 높은 신뢰도 임계값 (0.8) 은 분류하기 쉬운 샘플만 선택하여 모호한 사례를 누락시킬 수 있으며, 잘못된 가상 라벨이 모델 오류를 강화할 수 있습니다 (오류 전파).
  • 데이터 분포 이동: 테스트 데이터에서 생성된 가상 라벨이 원본 학습 데이터와 분포가 다를 경우 일반화 성능에 영향을 줄 수 있습니다.
  • 향후 연구 방향: 단순 연결 (Concatenation) 을 넘어 어텐션 메커니즘이나 크로스-모달 트랜스포머를 활용한 고급 융합 전략 연구, 불확실성 인식 훈련 (Uncertainty-aware training) 을 통한 편향 완화, 클래스 불균형 문제 해결 등이 필요합니다.

결론

본 논문은 BERT 와 CLIP 을 기반으로 한 멀티모달 멀티태스크 모델을 통해 AI 생성 이미지 탐지 및 생성 모델 식별 문제를 효과적으로 해결했습니다. 특히 조건부 손실 함수와 가상 라벨링 전략을 통해 경쟁에서 우수한 성과를 거두었으며, 향후 더 정교한 융합 기법과 편향 완화 전략을 통해 실용적인 AI 생성 콘텐츠 탐지 시스템 발전에 기여할 것으로 기대됩니다.