Attribution as Retrieval: Model-Agnostic AI-Generated Image Attribution

이 논문은 기존 방법의 모델 의존성 한계를 극복하기 위해 AI 생성 이미지 출처 추적을 이미지 분류가 아닌 인스턴스 검색 문제로 재정의하고, 저비트 지문 생성과 비지도 사전 학습을 기반으로 한 모델 독립적 프레임워크 'LIDA'를 제안하여 제로샷 및 퓨샷 환경에서 최첨단 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"AI 가 만든 그림이 도대체 누가 그렸는지 알아내는 새로운 방법"**을 소개합니다.

기존의 방법들은 마치 "새로운 범죄자가 나타나면 경찰이 그 사람을 잡기 위해 다시 수백 번 훈련을 받아야 하는" 것처럼 비효율적이었습니다. 하지만 이 연구팀이 제안한 LIDA라는 방법은 **"지문 감식"**과 **"검색 엔진"**을 결합한 똑똑한 방식을 사용합니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "새로운 가짜 그림이 쏟아지는데, 어떻게 잡지?"

지금 AI 그림 (Midjourney, Stable Diffusion 등) 이 너무 잘 그려져서 진짜인지 가짜인지 구별하기 어렵습니다. 게다가 새로운 AI 프로그램이 매일 새로 나오는데, 기존 기술들은 "이 프로그램은 알고 있지만, 저건 모르겠다"라고 하거나, 새로운 프로그램을 잡으려면 다시 처음부터 공부를 시켜야 (훈련을 받아야) 했습니다.

2. 해결책 1: "보이지 않는 지문"을 찾아라 (Low-Bit Fingerprint)

우리가 사람 얼굴을 보면 눈, 코, 입이 보입니다. 하지만 LIDA는 그림의 '표면'을 보지 않습니다. 대신 그림을 구성하는 아주 미세한 **색깔의 잔해 (비트)**만 남깁니다.

• 비유: 그림을 한 장의 종이라고 생각해보세요. 보통 우리는 종이에 그려진 '그림'만 봅니다. 하지만 LIDA 는 종이를 매우 약한 빛으로 비춰서, 종이에 묻어 있는 '잉크의 미세한 흔적'만 남깁니다.
• 이 흔적은 그림의 내용 (예: 하늘, 새) 과는 상관없이, **그림을 만든 AI 프로그램마다 고유하게 남기는 '지문'**과 같습니다.
• 이 지문은 AI 가 그림을 그릴 때 실수로 남기는 '노이즈'인데, LIDA 는 이 노이즈만 잘라내어 **'지문 이미지'**로 만듭니다.

3. 해결책 2: "검색 엔진"처럼 작동하라 (Retrieval, not Classification)

기존 방식은 "이 그림은 A 프로그램이 그렸나요? B 프로그램이 그렸나요?"라고 **시험을 치는 방식 (분류)**이었습니다. 새로운 프로그램이 나오면 시험 문제지를 다시 만들어야 했습니다.

하지만 LIDA 는 검색 엔진처럼 작동합니다.

• 비유: 경찰이 범인을 잡을 때, "범인은 A, B, C 중 누구일 거야?"라고 추측하는 게 아니라, **"수사국에 있는 모든 범인 지문 데이터베이스"**를 가지고 있습니다.
• 새로운 그림이 들어오면, LIDA 는 그 그림의 '지문'을 추출해서 데이터베이스에 있는 수천 개의 지문과 **비교 (검색)**합니다.
• "아! 이 지문은 'Midjourney'라는 데이터에 있는 지문과 95% 비슷하네!"라고 찾아냅니다.
• 장점: 새로운 AI 프로그램이 나오면? 그 프로그램으로 그린 그림을 하나만 데이터베이스에 추가하면 됩니다. 다시 공부를 시킬 필요 없이, 바로 검색해서 찾아낼 수 있습니다.

4. 해결책 3: "스무고개"가 아니라 "한 번에 적응" (Few-Shot)

이 방법은 아주 적은 양의 데이터로도 작동합니다.

• 비유: 새로운 범죄자가 생겼다고 해서 경찰이 수천 시간 동안 훈련할 필요가 없습니다. 그 범죄자의 사진 (지문) 을 딱 1 장만 찍어서 파일에 넣으면, 그 다음부터는 그 사람을 바로 알아볼 수 있습니다.
• 이 논문에서는 새로운 AI 프로그램으로 만든 그림을 단 1 장~10 장만 보여주면, AI 가 그 프로그램의 특징을 금방 익혀서 다른 그림들도 찾아낼 수 있다고 합니다.

---

요약: 왜 이것이 혁신적인가?

1. 누구나 쓸 수 있음 (Model-Agnostic): 어떤 AI 프로그램이든 상관없이 작동합니다.
2. 빠른 적응: 새로운 AI 가 나오면 다시 훈련할 필요 없이, 그림 몇 장만 등록하면 바로 찾아냅니다.
3. 정확한 증거: 단순히 "가짜다"라고 말하는 게 아니라, **"어떤 프로그램이 그렸는지"**를 찾아내어 그 이유 (유사한 지문) 를 보여줍니다.

결론적으로, 이 기술은 AI 가 만든 가짜 그림이 넘쳐나는 시대에, "누가 그렸는지"를 지문 감식하듯 빠르고 정확하게 찾아내는 초강력 수사관과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: AIGC(인공지능 생성 콘텐츠) 기술의 급속한 발전으로 인해 Midjourney, Stable Diffusion 등 고품질의 생성형 AI 이미지가 보편화되었습니다. 이로 인해 디지털 미디어의 진위 여부 판별과 생성 모델의 출처 추적 (Attribution) 이 중요한 과제로 대두되었습니다.
• 기존 방법의 한계:
  • 생성형 워터마킹 (Generative Watermarking): 이미지 생성 시 모델 내부에 워터마킹을 삽입하는 방식입니다. 높은 정확도를 보이지만, 생성 모델의 전체 접근 권한이 필요하고 모델을 수정해야 하므로 유연성이 떨어집니다.
  • 기존 출처 추적 (Attribution) 방법: 대부분 '분류 (Classification)' 문제로 접근하여, 학습 시 모든 대상 생성 모델의 데이터가 필요하거나 (Closed-set), 새로운 모델이 등장하면 모델을 재학습해야 합니다 (Open-set). 이는 빠르게 진화하는 생성 모델 환경에서 확장성과 실용성이 부족합니다.
• 핵심 문제: 새로운 (Unseen) 생성 모델에 대해 접근 권한 없이, 소량의 데이터만으로도 AI 생성 이미지의 출처를 정확하게 추적하고, 동시에 진위 여부 (Deepfake Detection) 를 판별할 수 있는 **모델 독립적 (Model-Agnostic)**인 프레임워크가 필요합니다.

2. 제안 방법론: LIDA (Methodology)

저자들은 AI 생성 이미지 출처 추적을 '분류'가 아닌 '인스턴스 검색 (Instance Retrieval)' 문제로 재정의하고, 이를 해결하기 위해 **LIDA (Low-bIt-plane-based Deepfake Attribution)**라는 프레임워크를 제안했습니다.

2.1. 핵심 아이디어: 비트 플레인 기반 지문 (Low-Bit Fingerprint)

• 생성 지문 (Generative Fingerprint): AI 생성 모델은 이미지 합성 과정에서 고유한 노이즈 패턴 (아티팩트) 을 남깁니다.
• 저비트 플레인 추출: RGB 이미지의 각 채널에서 **가장 낮은 3 비트 (Least Significant Bits, LSB)**를 추출하여 지문 이미지를 생성합니다.
  • 원본 이미지의 의미 있는 콘텐츠는 대부분 고비트에 존재하지만, 저비트 플레인에는 모델 고유의 생성 노이즈가 집중되어 있습니다.
  • 실험 결과, 저비트 지문은 원본 RGB 이미지보다 생성 모델 간의 분포 차이를 훨씬 명확하게 보여주며, 실제 이미지와 가짜 이미지를 명확히 분리합니다.

2.2. LIDA 파이프라인 (3 단계)

1. 저비트 지문 생성 (Low-Bit Fingerprint Generation): 입력 이미지의 저비트 플레인을 추출하여 지문 이미지로 변환합니다.
2. 비지도 사전 학습 (Unsupervised Pre-Training):
   • 대규모 실제 이미지 (ImageNet 등) 의 지문을 사용하여 ResNet-50 기반의 **출처 인코더 (Attribution Encoder)**를 사전 학습합니다.
   • 이미지 분류와 같은 부수적 작업 (Pretext task) 을 통해 네트워크가 노이즈 구조를 포착하도록 유도하여 일반화 능력을 향상시킵니다.
3. 소수 샷 출처 적응 (Few-Shot Attribution Adaptation):
   • 등록 데이터베이스: 각 생성 모델당 소수 (1~10 장) 의 AI 생성 이미지와 실제 이미지를 등록합니다.
   • 적응 전략: 사전 학습된 모델을 이 소수 샷 데이터에 맞춰 미세 조정 (Fine-tuning) 합니다.
   • 손실 함수 (Loss Functions):
     • 출처 손실 ($L_A$): 교차 엔트로피 대신 **센터 손실 (Center Loss)**을 사용하여 같은 모델의 이미지들이 특징 공간에서 군집화되도록 합니다.
     • Deepfake 탐지 손실 ($L_D$): **실제 이미지 프로토타입 기반 대비 손실 (Real-prototype-based Contrastive Loss)**을 사용하여 실제 이미지와 가짜 이미지의 특징 거리를 극대화합니다.
   • 검색 기반 추론: 새로운 이미지가 들어오면, 등록된 데이터베이스 내의 이미지들과 특징 유사도 (Cosine Similarity) 를 계산하여 가장 유사한 이미지를 검색하고, 해당 이미지의 생성 모델 라벨을 할당합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 (Retrieval Perspective): AI 생성 이미지 출처 추적을 분류 문제가 아닌 인스턴스 검색 문제로 공식화하여, 새로운 생성 모델이 등장할 때 모델 재학습 없이 데이터베이스에 샘플만 추가하면 되는 유연한 구조를 제시했습니다.
2. 모델 독립적 프레임워크 (Model-Agnostic Framework): 생성 모델의 내부 구조나 접근 권한 없이, 오직 생성된 이미지와 소수 샷 예시만으로 작동하는 LIDA를 제안했습니다.
3. 효율적인 파이프라인 설계: 저비트 지문 추출, 비지도 사전 학습, 소수 샷 적응으로 구성된 간결하고 효율적인 파이프라인을 설계했습니다.
4. SOTA 성능 달성: 제로 샷 (Zero-shot) 및 소수 샷 (Few-shot) 설정에서 Deepfake 탐지 및 출처 추적 모두에서 기존 방법 (ResNet, DIRE, ESSP 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: GenImage (130 만 장 이상), WildFake (250 만 장 이상) 등 대규모 벤치마크에서 평가.
• 출처 추적 (Attribution) 성능:
  • GenImage (Cross-Architecture): 10-shot 설정에서 Rank-1 정확도가 **54.0%**로, 기존 최선 방법 (ResNet, DIRE, ESSP) 보다 30% 이상 높은 성능을 보였습니다.
  • WildFake (Cross-Generator): 10-shot 설정에서 Rank-1 정확도 **62.3%**를 기록하며, 특히 BigGAN 등 특정 모델에서는 1-shot 설정에서도 **100%**의 정확도를 달성했습니다.
  • Generator-Level: 생성 모델의 세부 버전이 아닌 '생성 패러다임 (GAN vs Diffusion)' 단위로 추적할 경우 성능이 더욱 향상되었습니다.
• Deepfake 탐지 (Detection) 성능:
  • Zero-shot: 사전 학습된 모델만 사용하여 가짜 이미지 데이터 없이도 **86.3%**의 정확도를 달성했습니다 (기존 제로 샷 방법들보다 9~37% 우위).
  • Few-shot: 10-shot 설정에서 GenImage 데이터셋 기준 **88.3%**의 평균 정확도를 기록하여 SOTA 방법 (FSD) 을 능가했습니다.
• 강건성 (Robustness): 이미지 블러 (Gaussian Blur) 및 JPEG 압축과 같은 왜곡이 발생해도 저비트 지문 기반 특징이 잘 유지되어 높은 성능을 보였습니다.
• 효율성: 학습 및 추론 속도가 매우 빠르며 (밀리초 단위), 소수 샷 적응에 필요한 추가 학습 시간은 무시할 수준입니다.

5. 의의 및 결론 (Significance)

이 논문은 AIGC 포렌식 분야에서 확장성과 실용성을 크게 향상시켰습니다.

• 실용성: 새로운 생성 모델이 등장할 때마다 모델을 다시 학습할 필요가 없으며, 소수의 예시 이미지만 등록하면 즉시 대응 가능합니다.
• 접근성: 생성 모델의 내부 정보 (코드, 가중치 등) 가 없는 블랙박스 환경에서도 작동합니다.
• 기술적 혁신: 이미지 콘텐츠가 아닌 저비트 노이즈 패턴을 활용하여 모델 고유의 지문을 추출함으로써, 기존 콘텐츠 기반 분석의 한계를 극복했습니다.

결론적으로, LIDA 는 AIGC 시대의 디지털 미디어 신뢰성 보장을 위한 강력하고 효율적인 솔루션으로, 향후 생성형 AI 규제 및 포렌식 표준 기술로 자리 잡을 잠재력을 가지고 있습니다.