기술 요약: MIRAGE – 허위 검열을 통한 악의적 이미지 편집 방어

1. 문제 정의

AI 기반 이미지 편집 시스템(예: OpenAI의 GPT-Image, Google의 Gemini, xAI의 Grok)의 급격한 발전은 대규모의 사실적인 사진 조작에 대한 장벽을 낮추었습니다. 이러한 능력은 악의적인 행위자가 동의 없이 개인 이미지를 변형하여 사기, 괴롭힘, 명예훼손 및 신원 조작을 용이하게 할 수 있게 합니다.

**이미지 면역화(image immunization)**로 알려진 기존의 대응책은 일반적으로 이미지에 인지할 수 없는 적대적 섭동(adversarial perturbations)을 추가하여 생성 모델의 출력을 방해하는 방식을 취합니다. 그러나 이러한 기존 방식(예: PhotoGuard, EditShield)은 다음과 같은 치명적인 한계를 가집니다:

• 화이트박스 의존성(White-box Dependency): 대상 모델의 가중치와 특정 편집 프롬프트에 대한 접근 권한이 필요하여 그래디언트(gradient)를 계산해야 합니다.
• 전이성 부족(Lack of Transferability): 특정 오픈 소스 모델이나 프롬프트에 최적화된 섭동은 다른 모델이나 프롬프트로 효과적으로 전이되지 않습니다.
• 블랙박스 API에 대한 무효성(Ineffectiveness Against Black-Box APIs): 상용 폐쇄형 API를 대상으로 테스트했을 때, 기존의 면역화 방법들은 효과가 없어 이미지 소유자를 최첨단 AI 도구로부터 보호하지 못합니다.

생성 모델 자체에 대한 직접적인 블랙박스 공격은 과도한 쿼리 비용(이미지당 수천 번의 API 호출)과 높은 지연 시간으로 인해 실현 불가능한 것으로 간주됩니다.

2. 방법론: MIRAGE

저자들은 MIRAGE(Moderation Induced Resistance Against Generative Editing)를 제안합니다. 이는 공격 표면을 생성 모델에서 모든 주요 상용 API에 공통적으로 존재하는 생성 전 안전 검열(pre-generation safety moderation) 파이프라인으로 전환하는 시스템 수준의 접근 방식입니다.

핵심 개념: 허위 검열(False Moderation)

MIRAGE는 생성 모델 $f$를 방해하는 대신, 그 이전에 작동하는 안전 분류기 $C$를 이용합니다. 입력 이미지가 정책 위반으로 분류되면, 시스템은 편집 프롬트와 관계없이 출력을 생성을 거부합니다. MIRAGE는 이미지 $x$에 인지할 수 없는 섭동 $\delta$를 추가하여, 변형된 이미지 $\hat{x} = x + \delta$가 안전 분류기에서 **허위 양성(false positive)**을 유발하여 자동 거부를 일으키도록 하는 것을 목표로 합니다.

기술적 구현

이 방법은 대상 API에 접근할 수 없는 블랙박스 환경에서 작동하지만, 이미지 소유자는 오픈 소스 임베딩 모델과 대상 시스템의 공개 이용 약관(To Us, ToU)에 접근할 수 있습니다.

1. 대상 개념 식별:
   저자들은 대상 API(Grok, Gemini, GPT-Image)의 이용 약관을 분석하여 보편적으로 금지된 개념(예: 성적으로 노골적인 콘텐츠, 그래픽 폭력, 저작권 침해)을 식별합니다. 이러한 개념을 나타내는 일련의 대상 이미지와 텍ks 캡션 $T$를 큐레이션합니다.

2. 대리 앙상블(Surrogate Ensemble):
   대상 안전 분류기 $C$는 블랙박스이므로, MIRAGE는 $n$개의 다양한 오픈 소스 임베딩 모델 $\{F_i\}$(CLIP 스타일의 시각-언어 인코더 및 DINOv2와 같은 자기 지도 학습 이미지 인코더 포함)를 대리 모델로 사용합니다.

3. 최적화 목적 함수:
   목표는 대리 앙상블 전체에서 변형된 이미지의 임베딩과 유해한 대상 $T$의 임베딩 사이의 코사인 유사도를 최대화하는 것입니다. 최적화 문제는 다음과 같습니다:
   $$\max_{\|\delta\|_\infty \leq B} \sum_{i=1}^n \phi_i(x + \delta, T)$$
   여기서 $\phi_i$는 모델 $F_i$에 대한 평균 코사인 유사도이며, $B$는 섭동 예산($\ell_\infty$ 노름)입니다.

4. 고해상도 이미지 처리 (Global-Local Views):
   고해상도 사용자 이미지와 고정 해상도의 대리 모델 간의 해상도 불일치를 해결하기 위해, MIRAGE는 최적화를 다음과 같이 분해합니다:

   • Global View: 인코더의 네이티브 해상도로 리사이즈된 전체 이미지.
   • Local View: 원본 해상도에서 무작위로 크롭된 패치들.
     목적 함수는 글로벌 뷰와 가장 잘 정렬된 상위 $k$개의 로컬 패치의 유사도를 결합하여, 미세한 섭동이 보존되도록 합니다.

5. 강건성 기술:

   • 확률적 증강(Stochastic Augmentations): 최적화 과정 중 무작위 크롭, 리사이징, 블러, JPEG 압축, 플립(flip)을 적용하여 강건성을 확보합니다.
   • 모델 드롭아웃 및 세칸트 그래디언트 캐싱(Secant Gradient Caching): 대규모 앙상블의 메모리 비용을 관리하기 위해, 모델 드롭아웃을 사용하고 과거 그래디언트 단계에 기반한 랭크-1 세칸트 보정을 사용하여 드롭된 모델의 그래디언트를 근사합니다.

3. 주요 기여

• 새로운 공격 표면 식 발견: 폐쇄형 시스템에 대한 이미지 면역화를 위해 생성 모델이 아닌 사전 생성 안전 분류기를 효과적인 공격 표면으로 식별했습니다.
• 프롬프트 불가지론적 보호(Prompt-Agnostic Protection): 특정 생성 경로를 타겟팅하는 기존 방식과 달리, MIRAGE는 편집 프롬프트와 독립적인 거부를 유발합니다.
• 블랙박스 효능: 대상 모델의 아키텍처나 가중치에 대한 지식 없이, 공개된 사용 정책과 오픈 소스 대리 모델만을 활용합니다.
• 포괄적 평가: 세 가지 최첨단 상용 API(GPT-Image, Gemini, Grok)에 대한 광범위한 테스트와 약한 적대적 공격 및 강한 적대적 공격에 대한 강건성 분석을 수행했습니다.

4. 실험 결과

저자들은 ImgEditBench의 이미지 100개와 SHHQ의 고해상도 인물 이미지 48개를 대상으로 MIRAGE를 평가했습니다.

• 면역화율: MIRAGE는 테스트된 세 가지 API 모두에서 88% 이상의 성공률을 달방했습니다.
  • GPT-Image: 거의 완벽한 보호를 보여주었습니다.
  • Gemini & Grok: 약 90%의 거부율을 기록했습니다.
  • 베이스라인: 기존의 모든 면역화 방법(PhotoGuard, TDAE, BlurGuard, SquareAttack)은 이러한 상용 API에 대해 거의 0%에 가까운 성공률을 보였습니다.
• 섭동 예산: 면역화율은 섭동 예산($\|\delta\|_\infty$)에 따라 단조 증가했으나, 예산이 높아질수록 시각적 아티팩트가 더 많이 발생했습니다.
• 강건성:
  • 약한 적대자(Weak Adversaries): MIRAGE는 고전적인 이미지 변환(가우시안 블러, JPEG 압축, 리사이징, 크롭, 그레이스케일 변환)에 대해 효과를 유지했습니다 (72~100% 성공).
  • 강한 적대자(Strong Adversaries): 화이트박스 오픈 소스 모델을 사용하는 적응형 공격(예: 로컬 확산 모델을 통한 디노이징 또는 CLIP을 이용한 면역화 목적 함수 최소화)에 대해서는 성능이 저하되었습니다. 그러나 MIRAGE는 여전히 적대자의 비용을 높였으며, 많은 시나리오에서 56%에서 80% 사이의 거부율을 유지하여 베이스라인이 완전히 실패하는 것과 대조를 보였습니다.
• 절제 연구(Ablation Studies):
  • 앙상블 크기: 최대 8개의 모델까지 구성된 더 큰 앙상블이 일반화 성능을 향상시켰습니다.
  • Global-Local Views: 고해상도 이미지 처리에 필수적입니다. 로컬 뷰를 제거하면 Grok에 대한 면역화율이 75%에서 17%로 급감했습니다.
  • 대상 개념: 대부분의 API에서 성적으로 노골적인 콘텐츠 타겟이 폭력 타겟보다 높은 거부율을 보였으나, 폭력이 엄격히 규제되는 Grok의 경우는 예외였습니다.

5. 의의 및 주장

본 논문은 MIRAGE가 이미지 면역화의 패러다임 전환을 의미한다고 주장합니다:

• 시스템 수준의 방어: 다양한 생성 아키텍처를 타겟팅하는 대신 공유된 안전 검열 계층을 타겟팅함으로써, MIRAGE는 기존 연구를 괴롭혔던 전이성 문제를 우회합니다.
• 비대칭적 이점: 저자들은 상용 제공업체들이 낮은 허위 음성률(유해 콘텐츠를 놓치지 않는 것)을 유지하도록 인센티브를 받기 때문에, 검열 경계가 지나치게 보수적이라는 점에 주목합니다. 이를 통해 방어자는 허위 양성이 허용되는 임베딩 공간 영역을 공략할 수 있습니다.
• 실용성: 이 방법은 단순하며 화이트박스 접근 권한을 요구하지 않고, 강력한 독점 AI 도구로부터 자신의 이미지를 보호하려는 개인들에게 실행 가능한 경로를 제공합니다.

저자들은 강력한 적응형 적대자가 보호 기능을 우회할 가능성과 API 검열 동작의 시간적 가변성 등 한계점을 인정합니다. 이들은 향-후 연구로서 잠재적 레이턴트 방해(예: PhotoGuard)와 허위 검열을 결합하여 블랙박스 API와 오픈 소스 편집기 모두에 효과적인 복합 방어를 구축할 수 있음을 시사합니다.