HFI: A unified framework for training-free detection and implicit watermarking of latent diffusion model generated images

이 논문은 잠재 확산 모델 (LDM) 로 생성된 이미지의 배경 정보 과적합 문제를 해결하고, 학습 데이터 없이 고주파수 정보의 왜곡인 앨리어싱을 측정하여 탐지 및 암시적 워터마킹을 수행하는 새로운 프레임워크인 HFI 를 제안합니다.

핵심

🎨 AI 그림 감별사 'HFI'의 등장: 진품과 가품을 구별하는 새로운 눈

이 논문은 최근 급격히 발전한 **AI 그림 생성 기술 (Latent Diffusion Models)**이 만들어낸 가짜 그림을, 별도의 학습 없이도 빠르고 정확하게 찾아내는 새로운 방법론인 HFI를 소개합니다.

기존의 방법들은 마치 "수천 장의 진품과 가짜 사진을 비교하며 공부한 뒤 시험을 보는" 방식이었다면, HFI 는 **"그림의 미세한 결함을 한눈에 보는 전문가의 눈"**을 가진 것과 같습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

1. 왜 이런 기술이 필요할까요? (문제 상황)

AI 가 그리는 그림이 너무 예뻐서, 가짜 뉴스나 저작권 침해 같은 나쁜 목적으로 쓰일 수 있습니다. 그래서 "이 그림은 사람이 그렸을까, AI 가 그렸을까?"를 구별하는 기술이 필요합니다.

• 기존 방식의 한계 (과도한 공부):
  기존 방법들은 AI 가 그린 가짜 그림과 진짜 사진을 많이 보여주고 "이건 가짜야, 이건 진짜야"라고 가르쳐서 학습시켰습니다. 하지만 AI 는 매일 새로운 스타일을 만들어내는데, 모든 스타일을 미리 다 배울 수 없으니 실수가 많았습니다.
• 기존 방식의 치명적 약점 (배경에 속다):
  가장 유명한 기존 방법 (AEROBLADE) 은 "AI 가 그린 그림은 AI 가 다시 그릴 때 (복원할 때) 더 잘 어울린다"는 원리를 썼습니다. 하지만 이 방법은 배경이 단순한 그림에 약했습니다.
  • 비유: 배경이 하얀 벽만 있는 그림은 AI 가 그려도, 사람이 그려도 비슷하게 보일 수 있습니다. 기존 방법은 "배경이 깔끔하니까 진짜겠지?"라고 잘못 판단하는 경우가 많았습니다.

---

2. HFI 의 핵심 아이디어: "고주파수 (세밀한 결) 를 잡아라!"

저자들은 AI 가 그리는 그림에 숨겨진 치명적인 단서를 발견했습니다. 바로 **'고주파수 정보 (High-frequency information)'**입니다.

• 고주파수란?
  그림에서 아주 세밀한 부분들입니다. 예를 들어, 옷의 주름, 머리카락 한 올, 눈동자의 반짝임, 피부의 질감 같은 거칠고 날카로운 디테일입니다.
• AI 의 치명적 실수 (에일리어싱):
  AI 는 그림을 그릴 때, 이 '세밀한 디테일'을 처리하는 과정에서 미세한 왜곡 (에일리어싱) 이 생깁니다. 마치 고해상도 사진을 저해상도로 줄였다가 다시 키울 때 생기는 **계단 현상 (날카로운 선이 울퉁불퉁해지는 현상)**과 비슷합니다.
  • 비유: AI 는 거친 모래알 (세밀한 디테일) 을 다듬을 때, 모래알을 잘게 부수는 대신 약간 찌그러뜨려서 넣는다는 것입니다.

HFI 는 이 '찌그러진 모래알'을 찾아내는 도구입니다.

---

3. HFI 가 어떻게 작동할까요? (작동 원리)

HFI 는 그림을 다시 그려보면서 (복원하면서) **"원래 그림과 다시 그린 그림의 차이"**를 분석합니다. 하지만 여기서 중요한 건 배경은 무시하고, 오직 '세밀한 디테일'만 비교한다는 점입니다.

1. 저주파수 필터 (흐리게 하기): 먼저 그림의 배경이나 큰 형태 (저주파수) 를 흐리게 만들어 버립니다. 배경이 단순해서 속지 않도록 하기 위함입니다.
2. 세밀한 부분만 비교: 남은 '세밀한 디테일' 부분에서 원본과 AI 가 다시 그린 그림의 차이를 측정합니다.
3. 판단:
   • 진짜 사진: AI 가 다시 그려도 원래의 날카로운 디테일이 잘 살아있거나, AI 의 특유의 '찌그러짐'이 없으므로 점수가 높습니다.
   • AI 그림: AI 가 다시 그릴 때, 원래의 디테일이 AI 고유의 '찌그러짐' 패턴으로 변형되므로 점수가 낮아집니다.

• 창의적 비유:
  진짜 그림은 정교하게 만든 수공예 도자기입니다. AI 가 다시 그릴 때 (복원할 때) 그 정교함이 그대로 유지됩니다.
  AI 그림은 대량 생산된 플라스틱 장난감입니다. AI 가 다시 그릴 때, 그 플라스틱 특유의 '주름'이나 '불완전한 결'이 더 뚜렷하게 드러납니다.
  HFI는 이 '플라스틱 주름'을 찾는 현미경 같은 역할을 합니다.

---

4. HFI 의 놀라운 장점

1. 학습 불필요 (Training-free):
   AI 가 그린 그림을 수천 장 모아서 공부할 필요가 없습니다. AI 가 그리는 방식 자체의 물리적 결함을 이용하므로, 새로운 AI 가 등장해도 즉시 감별할 수 있습니다.
2. 배경에 속지 않음:
   배경이 단순한 그림 (예: 흰 벽 앞의 사람) 이라도, AI 가 그린 것의 미세한 결함을 찾아내므로 기존 방법보다 훨씬 정확합니다.
3. 엄청나게 빠름:
   기존에 AI 가 그린 그림의 출처를 추적하는 방법들은 한 장당 14 초 이상 걸렸다면, HFI 는 0.25 초면 충분합니다. (약 57 배 빠름!)
4. 디지털 지문 (워터마킹) 역할:
   특정 AI 모델 (예: Stable Diffusion) 이 그린 그림은 그 모델만의 고유한 '찌그러짐 패턴'을 가지고 있습니다. HFI 는 이를 통해 **"이 그림은 특정 AI 모델이 그렸다"**는 것을 증명할 수 있어, AI 가 그린 그림의 저작권 추적에도 쓰일 수 있습니다.

---

5. 결론: AI 시대의 새로운 감별사

이 논문은 **"AI 가 그리는 그림은 인간의 그림과 달리, 아주 미세한 '세밀한 결함'을 남긴다"**는 사실을 발견하고, 이를 이용해 학습 없이도 빠르고 정확하게 가짜를 찾아내는 HFI를 제안했습니다.

앞으로 AI 가 만들어내는 가짜 이미지가 넘쳐나는 세상에서, HFI 는 **진짜와 가짜를 가르는 가장 빠르고 정확한 '감별사'**가 될 것입니다. 마치 고가의 명품 가방을 볼 때, 로고만 보는 게 아니라 바느질 실밥의 미세한 결함을 보고 진위를 가르는 전문가와 같은 역할을 하는 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 잠재 확산 모델 (Latent Diffusion Models, LDMs) 의 발전으로 고품질의 AI 생성 이미지가 가능해졌으나, 이로 인한 악용 (가짜 뉴스, 저작권 침해 등) 에 대한 우려가 커지고 있습니다. 기존 AI 생성 이미지 탐지 방법들은 대부분 학습 기반 (Training-based) 접근법을 따르며, 특정 생성 모델과 대응되는 실제 이미지 데이터셋을 사전에 학습해야 합니다.

그러나 현실 세계에서는 다음과 같은 한계가 존재합니다:

• 데이터 접근의 한계: LDM 은 수십억 개의 이미지로 학습되어 표현력이 매우 광범위하여, 모든 가능한 생성 이미지를 포괄하는 실제 데이터셋을 확보하기 어렵습니다.
• 실용성 부족: 새로운 생성 모델이 등장할 때마다 모델을 재학습시키는 것은 비효율적입니다.

따라서, 사전 학습 데이터 없이도 작동하는 '학습 불필요 (Training-free)' 탐지 설정이 필수적입니다. 기존 학습 불필요 방법 중 하나인 AEROBLADE[34] 은 LDM 의 오토인코더 (Autoencoder) 를 이용해 원본과 재구성된 이미지 간의 거리 (Reconstruction Distance) 를 측정하지만, 이는 **배경 정보에 과적합 (Overfitting)**되는 경향이 있어 배경이 단순한 실제 이미지는 쉽게 재구성되어 탐지 성능이 떨어지는 문제가 있었습니다.

2. 제안 방법: HFI (High-frequency Influence)

저자들은 오토인코더를 다운샘플링 - 업샘플링 커널로 간주하고, 재구성 과정에서 발생하는 **고주파수 정보의 왜곡 (Aliasing)**을 측정하는 새로운 프레임워크 HFI를 제안합니다.

핵심 아이디어

• 고주파수 성분의 중요성: LDM 의 오토인코더는 실제 이미지의 고주파수 성분 (세부纹理, 에지 등) 을 재구성할 때 왜곡을 일으킵니다. 반면, AI 생성 이미지는 모델이 학습된 데이터 분포와 유사하므로 재구성 시 왜곡이 상대적으로 적거나 다른 패턴을 보입니다.
• 배경 정보 제거: 기존 방법은 전체 이미지의 재구성 거리를 측정하여 배경이 단순한 경우 오검출을 일으켰으나, HFI 는 **저주파수 필터 (Low-pass filter)**를 적용하여 배경 정보를 제거하고 고주파수 성분의 영향력에 집중합니다.

수식 및 알고리즘

HFI 점수 함수는 입력 이미지 $x$와 저주파 필터 $F(x)$의 차이 방향에서 재구성 거리 $d$의 변화율 (방향 미분) 을 측정합니다.

$$HF I(x) \approx d(x, AE(x)) - d(F(x), AE(F(x)))$$

• $AE(x)$: LDM 의 오토인코더를 통한 재구성 이미지.
• $F(x)$: 가우시안 블러 등 저주파 필터링을 적용한 이미지.
• 의미: $x - F(x)$는 고주파수 성분을 의미합니다. 이 방향에서의 거리 변화를 측정함으로써, 배경 (저주파) 의 영향을 배제하고 고주파수 정보의 재구성 난이도 (왜곡 정도) 를 정량화합니다.
• 앙상블: 특정 오토인코더가 불확실한 경우, 여러 오토인코더에 대한 HFI 점수의 최솟값을 사용하여 최종 판단합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 불필요 탐지 프레임워크 (HFI) 제안: 사전 학습 데이터 없이 오토인코더의 고주파수 영향력을 측정하여 AI 생성 이미지를 탐지하는 새로운 점수 함수를 개발했습니다.
2. 기존 방법의 한계 극복: 배경 정보에 과적합된 기존 방법 (AEROBLADE) 의 단점을 보완하여, 배경이 단순한 이미지나 다양한 생성 모델 (SD, Kandinsky 등) 에서도 우수한 성능을 입증했습니다.
3. 암시적 워터마킹 (Implicit Watermarking) 및 모델 추적: 특정 LDM 모델에서 생성된 이미지를 식별하는 '모델 속성 (Model Attribution)' 작업에서도 기존 최적화 기반 방법 (LatentTracer) 보다 57 배 빠른 속도로 동급 이상의 정확도를 달성했습니다.
4. 광범위한 실험 검증: GenImage, DiffusionFace, SynthBuster 등 다양한 벤치마크에서 SOTA(최고 수준) 성능을 기록했습니다.

4. 실험 결과 (Results)

• GenImage 및 DiffusionFace 벤치마크:
  • HFI 는 다양한 오토인코더 설정 (Cross-autoencoder) 에서 AEROBLADE 를 압도적으로 능가했습니다. (GenImage 에서 64 개 실험 중 61 개, DiffusionFace 에서 32 개 중 26 개에서 우세).
  • 평균 AUROC/AUPR 점수에서 기존 학습 불필요 방법들 (RIGID, AEROBLADE) 보다 높은 성능을 보였습니다.
  • 학습 기반 방법 (DRCT, NPR) 과도 경쟁 가능한 성능을 보였습니다.
• 모델 추적 (Model Attribution):
  • 특정 LDM 모델 (예: SDv1.5) 로부터 생성된 이미지를 다른 모델과 구별하는 작업에서 LatentTracer 와 유사한 정확도 (AUPR 0.99 이상) 를 달성하면서도, 처리 속도가 57 배 빨랐습니다 (샘플당 0.255 초 vs 14.65 초).
• 강건성 (Robustness):
  • JPEG 압축이나 크롭과 같은 왜곡이 발생했을 때, HFI 는 AEROBLADE 보다 상대적으로 강건했습니다. 추가적인 저주파 필터링 (B-HFI) 을 적용하면 강건성이 더욱 향상되었습니다.
• Ablation Study:
  • 다양한 저주파 필터 (가우시안, 박스, 양방향 등) 와 거리 함수 (LPIPS, DISTS 등) 에 대한 실험을 통해, $3 \times 3$ 가우시안 필터와 LPIPS2 거리가 가장 효과적인 조합임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 생성 이미지 탐지 분야에서 학습 데이터에 의존하지 않는 효율적이고 강력한 프레임워크를 제시했습니다.

• 실용성: 새로운 생성 모델이 등장할 때마다 모델을 재학습시킬 필요 없이, 오토인코더 구조만 알면 즉시 적용 가능합니다.
• 정확도: 배경의 단순함이나 다양한 생성 모델의 차이에서 발생하는 기존 방법의 오류를 고주파수 분석을 통해 해결했습니다.
• 확장성: 단순한 탐지를 넘어, 특정 모델의 생성물을 식별하는 '암시적 워터마킹' 도구로도 활용 가능하며, 이는 저작권 보호 및 생성 소스 추적에 중요한 도구가 될 것입니다.

결론적으로 HFI 는 LDM 기반 생성 이미지의 악용을 방지하고, 생성 소스를 효율적으로 추적할 수 있는 차세대 표준 기술로 평가받습니다.