기술 요약: 이미지 투 이미지(img2img) 생성 모델의 비전 인코더 행동 지문

문제 정의

상업용 이미지 투 이미지(img2img) 생성 AI 시스템이 급증함에 따라, 이러한 블랙박스 시스템이 픽셀 도메인의 적대적 섭동(예: Glaze, Mist, PhotoGuard)과 어떻게 상호작용하는지 이해하는 것이 매우 중요해졌다. 기존의 속성(attribution) 문헌은 참조 이미지가 존재하지 않는 블라인드 설정에서의 텍스트 투 이미지(T2I) 출력에 주로 집중되어 있다. 그러나 img2img 속성은 깨끗한 참조 이미지가 구조적으로 존재한다는 점에서 독특한 방법론적 과제를 제시한다. 본 논문은 다음 세 가지 핵심 질문을 다룬다:

1. 상업용 img2img 시스템은 인간이 인지할 수 없는 수준(sub-JND)의 적대적 섭동과 어떻게 상호작용하는가?
2. 깨끗한 참조 이미지가 있을 때, 특정 AI 시스템을 그 출력 동작으로부터 속성할 수 있는가?
3. 이러한 시스템들이 남기는 행동적 시그니처는 무엇이며, 이것은 아키텍처에 의한 것인가 아니면 학습 패러다임에 의한 것인가?

방법론

본 연구는 6개의 프로덕션 img2img API(gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img, Qwen Image Edit)를 분석하기 위해 참조 기반(reference-anchored) 프레임워크를 채택한다.

데이터 코퍼스

• 규모: 200개의 이미지 코퍼스에서 유도된 3,588개의 유효 API 호출 (성공률 99.7% 적용 후).
• 도메인: COCO val2017 사진, CelebA-HQ-256 초상화, 그리고 Flux로 생성된 이미지.
• 반복: (이미지, AI) 셀당 3회 반복 수행.
• 섭동: 커스텀 콘텐츠 적응형 파이프라인을 사용하여, 동결된 비전 인코더 앙상블에 대한 120단계의 PGD를 통해 sub-JND 적대적 섭동($L_\infty \le 0.10$, JND 예산 2.0)을 적용한다.

특징 공간(Feature Space)

각 출력 이미지 $O$와 깨끗한 참조 이미지 $R$(518×518로 리사이징됨)에 대해, 저자들은 동결된 DINOv2 ViT-B/14 인코더를 사용하여 2D 행동 특징 벡터를 계산한다:

1. patch_mean: 37×37 그리드 전체에 걸쳐 $O$와 $R$의 마지막 레이어 토큰 임베딩 간의 평균 패치별 코사인 거리를 계산한다. 이는 의미론적 수준의 변형을 포착한다.
2. ssim_clean: $O$와 $R$ 사이의 휘도 구조적 유사성(luminance structural similarity)을 계산하여 픽셀 수준의 시각적 충실도 보존을 포착한다.

분류 및 분석

• 밴드 분류: 출력물은 경험적 분포에 따라 "타이트(tight)" 밴드(낮은 patch_mean, $\le 0.25$) 또는 "드리프트(drift)" 밴드(높은 patch_mean, $> 0.25$)로 분류된다.
• 속성(Attribution): 학습 가능한 파라미터 없이 유클리드 거리를 기반으로 각 AI의 평균 중심점(mean centroid)으로부터 홀드아웃 포인트를 분류하는 LOO(leave-one-out) 최근접 중심점 분류기를 사용한다.
• 통계적 엄밀성: 이미지 레벨에서의 내부 이미지 상관관관계를 고려하기 위해 2,000회 반복되는 비모수 클러스터 부트스트래핑을 통해 신뢰 구간을 도출한다.

주요 결과

1. 이중 밴드 학습 패러다임 분류 체계

6개의 시스템은 2D 평면상에서 이미지 불변적인 두 개의 뚜렷한 행동 밴드로 나뉜다:

• 타이트 밴드(Tight Band): Flux Kontext, Qwen Image Edit, Gemini. 이 모델들은 입력 구조를 밀접하게 보존한다.
• 드리프트 밴드(Drift Band): SDXL, SD3, gpt-image-1. 이 모델들은 입력으로부터 상당한 의미론적 드리프트를 보인다.

결정적 발견: 판별 변수는 아키텍처 패밀리가 아니라 학습 패러다임이다.

• 편집 데이터(깨끗한 이미지와 편집된 이미지의 쌍을 통한 지도 학습)로 학습된 모델들은 디퓨전 기반(Flux)이든 멀티모달 자기회귀(Qwen, Gemini) 방식이든 관계없이 타이트 밴드에 클러스터링된다.
• T2I 기본 아키텍처를 샘플링 시점에 적응시킨 모델들(부분적으로 노이즈가 섞인 입력에서 디노이징 시작)은 디퓨전(SDXL/SD3)이든 자기회귀(gpt-image-1) 방식이든 관계없이 드리프트 밴드에 클러스터링된다.

분산 분해: AI 정체성이 행동 분산의 **69.5%**를 설명하는 반면, 이미지 도메인은 단 **0.2%**만을 설명한다.

2. 속성 정확도

• 6개 AI 대상 LOO 정확도: 참조 기반 프레임워크는 6개 AI에 대해 16.7%의 무작위 확률 베이스라인을 크게 상회하는 51.4% [49.3, 53.4]의 정확도를 달s한다.
• 파일럿 정확도: 집중된 3-AI 파일럿 테스트에서, 이미지당 속성(3회 반복 평균)은 82.2% [73.3, 90.0]에 도달한다.
• 블라인드 베이스라인 비교: 동일한 코퍼스에 대해 테스트했을 때, 블라인드 속성 방법(AEROBLADE 및 PRISM 스타일의 DINOv2 임베더)은 각각 0.222와 0.373의 정확도만을 기록했다. 블라인드 방법은 "타이트" 밴드(출력이 원본에 가까운 복사본인 경우) 내에서 무작위 확률 수준의 성능을 보였으나, 참조 기반 방법은 성공하였다.

3. 차별적 섭동 생존율

본 연구는 적대적 신호가 img2img 파이프라인을 통해 얼마나 살아남는지 정량화한다:

• Gemini: 섭동 신호의 약 98%가 생존한다 (거의 온전함).
• Flux Kontext: SSIM 0.99의 시각적 충실도를 달성함에도 불구하고, 약 80%만이 생존한다. 디퓨전 과정이 고주파 섭동 콘텐츠를 감쇄시키면서도 인간이 인지할 수 있는 세부 사항은 보존하는 선택적 필터 역할을 한다.
• gpt-image-1: 섭동이 모델 자체의 생성적 분산에 의해 효과적으로 덮어씌워진다.

의의 및 주장

본 논문은 픽셀 도메인 섭동 파이프라인을 단순한 방어 도구에서 참조 기반 AI 프로세싱 속성을 위한 **포렌식 프리미티브(forensic primitives)**로 재정의한다.

• 아키텍처보다 학습 패러다임: 주요 기여는 행동 지문이 아키텍처 패밀리(Diffusion vs. AR)가 아니라, 모델이 편집을 위해 학습되었는지(타이트 밴드) 아니면 샘플링 시점에 T2I로부터 적응되었는지(드리프트 밴드)에 의해 결정된다는 것을 입증한 것이다.
• 참조의 필요성: 본 연구는 깨끗한 참조 이미지가 속성을 위한 "핵심적인(load-bearing)" 신호임을 경험적으로 검증한다. 블라인드 방법은 입력을 보존하는 모델(타이트 밴드)을 구별하지 못해 실패하는 반면, 참조 기반 접근법은 알려진 원본으로부터의 편차를 측정함으로써 성공한다.
• 체계적 측정: 이 작업은 배치된 상업용 img2img 시스템 전반에 걸친 "디퓨전 정화 효과(diffusion-purification effect)"에 대한 첫 번째 체계적인 측정치를 제공하며, 생존율이 학습 패러다임에 따라 체계적으로 달라짐을 보여준다.

저자들은 이 방식이 원본 이미지를 보유해야 한다는 제약(블라인드 적용 가능성을 제한함)이 있지만, 현재 블라인드 탐지 방식이 실패하는 영역인 상업적 AI에 의해 생성된 근사적 충실도 재생산물을 속성할 수 있는 배포 가능한 임계값과 검증된 행동 특징 공간을 제공한다고 결론짓는다.