💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

이 논문은 확산 모델의 고유한 스펙트럼 기하학을 디노이징 동작 내에서 지문화함으로써 확산 생성 이미지의 출처를 식별하는 비침습적 귀속 방법인 스펙트럼 디노이징 시그니처(Spectral Denoising Signatures, SDS)를 소개하며, 이는 역전(inversion)이나 최적화 과정을 필요로 하지 않고도 다양한 아키텍처와 학습 조건 전반에 걸쳐 높은 정확도를 달성한다.

원저자: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

게시일 2026-06-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거대한 예술 작품 도서관이 있다고 상상해 보십시오. 하지만 모든 그림은 육안으로는 똑같아 보입니다. 당신은 단지 완성된 그림만 보고 이 그림이 "작가 A"의 것인지 아니면 "작가 B"의 것인지 구별할 수 없습니다. AI의 세계에서 이것은 **디퓨전 모델(Diffusion Models)**이 가진 문제입니다. 이들은 텍st로부터 이미지를 생성하는 Stable Diffusion과 같은 도구들의 엔진 역할을 합니다. 서로 다른 사진 데이터셋으로 훈련된 두 개의 서로 다른 AI 모델이라 할지라도, 그들이 그려내는 최종 이미지는 종종 구별할 수 없을 정도로 매우 유사하게 학습되곤 합니다.

이 논문은 이 미스터리를 해결하기 위해 **스펙트럼 디노이징 시그니처(Spectral Denoising Signatures, SDS)**라는 새로운 탐정 도구를 소개합니다. 이 도구가 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

문제점: "완성된 그림"은 막다른 길이다

현재 대부분의 방법은 완성된 그림(생성된 이미지)을 보고 작가를 식별하려고 시도합니다.

결함: 만약 두 작가가 동일한 종류의 캔버스와 물감(동일한 기반 "오토인코더" 기술)을 사용한다면, 그들의 완성된 그림은 통계적으로 동일해 보입니다. 이는 마치 두 명의 제빵사가 정확히 같은 레시피와 오븐을 사용하여 케이크를 구웠을 때, 케이크 자체만으로는 누가 구웠는지 알 수 없는 것과 같습니다.
기존 방식: 어떤 방법들은 그림을 다시 원재료 상태로 역추적(이 과정을 "인버전(inversion)"이라고 합니다)하려고 합니다. 하지만 이 방식은 느리고 계산 비용이 많이 들며, 만약 제빵사들이 같은 오븐을 사용했다면 완전히 실패합니다.

해결책: "디노이징(노이즈 제거)" 과정에 귀를 기울이기

저자들은 비밀이 최종 이미지에 있는 것이 아니라, 이미지를 만들기 위해 노이즈를 어떻게 제거해 나가는가에 있다는 것을 깨달았습니다.

디퓨전 모델을 노이즈와 정전기가 가득한 점토 덩어리에서 시작하는 조각가라고 생각해 보십시오. 최종 조각상을 얻기 위해 조각가는 단계적으로 노이즈를 깎아내야 합니다.

통찰: 설령 두 조각가가 결국 같은 조각상을 완성하더라도, 그들은 점토를 깎아내는 방식이 약간 다를 수 있습니다. 한 명은 미세한 디테일(고주파)에 매우 신중할 수 있고, 다른 한 명은 큰 형태(저주파)에 먼저 집중할 수도 있습니다.
"스펙트럼(Spectral)" 부분: 저자들은 이러한 "깎아내는 패턴"을 음파처럼 취급했습니다. 그들은 노이즈를 다양한 "주파수"(음악의 베이스, 중음역대, 고음역대와 같은)로 분해했습니다.

SDS의 작동 방식: "주파수 프로브(Frequency Probe)"

SDS 방식은 조각상이 완성될 때까지 기다리는 대신, 조각가가 작업하는 동안 옆에서 툭툭 건드려 보는 소리굽쇠나 소나처럼 작동합니다.

설정: 시스템은 표준 이미지를 가져와 "잠재(latent)" 코드(이미지를 압축한 버전)로 변환합니다.
자극: 특정 주파수 대역에 아주 작고 통제된 양의 "노이즈"를 주입합니다(마치 조각가의 귀에 특정 음을 속삭이는 것과 같습니다).
반응: AI 모델에게 단 한 단계의 클리닝 과정(디노이징)만을 수행하도록 요청합니다.
지문: 시스템은 그 특정 속삭임의 노이즈가 어떻게 흩어졌는지 측정합니다. 노이즈가 베이스 영역에 머물렀나요? 아니면 고음역대로 옮겨갔나요? 혹은 사라졌나요?
- 모든 AI 모델은 에너지를 이동시키는 방식에 있어 고유한 "성격"을 가지고 있습니다. 이 에너지 이동 패턴이 바로 스펙트럼 디노이징 시그니처입니다.

왜 이것이 게임 체인저인가

재학습 불필요: AI를 수정하거나 숨겨진 워터마크를 추가할 필요가 없습니다. 그저 질문을 던지고 그 답을 듣기만 하면 됩니다.
"쌍둥이" 모델에도 작동: 이 논문은 거의 동일한 모델(예: 코드의 99%를 공유하는 Stable Diffusion v1.4와 v1.5)을 대상으로 테스트했습니다. 이 모델들은 생성하는 이미지는 동일하게 보이지만, 그들의 "깎아내는 패턴"(스펙트럼 기하학)은 SDS가 99.9%의 정확도로 구별할 수 있을 만큼 충분히 달랐습니다.
강력한 내구성: 최종 이미지를 흐리게 처리하거나, 자르거나, 밝기를 변경하더라도 "지문"은 온전히 유지됩니다. 왜냐하면 이 지문은 그림이 어떻게 생겼느냐가 아니라 모델이 어떻게 생각하느냐에 관한 것이기 때문입니다.

핵심 요약

이 논문은 AI 모델을 식별하려면 출력물(그림)을 보는 것이 아니라, 과정(노이즈를 어떻게 제거하는가)을 보아야 한다는 것을 증명합니다.

AI의 내부적인 "클리닝" 행동을 고유한 악기처럼 다룸으로써, 저자들은 Model X와 Model Y가 우리 눈에는 똑같아 보일지라도 "이 이미지는 Model X에 의해 만들어졌다"라고 확실하게 말할 수 있는 방법을 만들어냈습니다. 이는 마치 가수가 노래를 다 마친 후가 아니라, 노래를 부르기 전 목을 가다듬는 독특한 방식만 보고도 그 가수를 식별해 내는 것과 같습니다.

기술 요약: 디노이저 응답의 스펙트럼 결합을 통한 확산 모델 귀속(Diffusion Model Attribution)

1. 문제 정의

본 논문은 특정 이미지를 생성한 구체적인 확산 모델이 무엇인지 결정하는 확산 모델 귀속(diffusion model attribution) 문제를 다룹니다. 이는 출처 검증, 지식 재산 보호 및 오용 탐지에 있어 매우 중요합니다.

핵심적인 어려움은 서로 다른 데이터셋으로 학습된 확산 모델들이 종종 유사한 스코어 함수(score function)로 수렴하여 시각적으로 구별 불가능한 출력을 생성한다는 점에 있습니다. 결과적으로, 생성된 이미지(출력 공간 신호)에만 의존하는 귀속 방법론들은 본질적인 모호성에 직면합니다. 기존의 비침습적 접근 방식들은 다음과 같은 근본적인 한계를 가집니다:

분류기 기반 방법(Classifier-based methods): 시각적으로 유사한 출력을 생성하는 구조적으로 유사한 변형 모델들을 구분하는 데 어려움을 겪습니다.
역전 기반 방법(Inversion-based methods, 예: RONAN, LATENTTRACER): 재구성 손실(reconstruction loss)에 의존합니다. 후보 모델들이 동일한 오토인코더(VAE)를 공유할 경우, 이러한 손실 값은 정보를 제공하지 못하게 되어 해당 방법론들이 무작위 추측 수준으로 붕괴되는 원인이 됩니다.
침습적 방법(Invasive methods, 예: 워터마킹): 모델의 수정이나 재학습을 요구하며, 이는 생성 품질을 저하시키고 기존의 오픈 소스 모델에는 적용할 수 없습니다.

본 논문은 판별 신호가 생성된 출력물이 아니라, 디노이징 함수(denoising function) 자체, 구체적으로는 그 스펙트럼 기하학(spectral geometry)에 존재한다고 주장합니다.

2. 방법론: 스펙트럼 디노이징 시그니처 (SDS)

저자들은 모델의 출력을 분석하는 대신 디노이징 동작을 조사하여 모델의 지문을 채취하는 비침습적 귀속 방법인 **스펙트럼 디노이징 시그니처(Spectral Denoising Signatures, SDS)**를 제안합니다.

핵심 통찰

모델의 디노이징 스코어 함수는 고유한 **스펙트럼 기하학(spectral geometry)**을 나타내며, 이는 디노이징 과정 동안 공간 주파수 대역 전반에 걸쳐 에너지를 어떻게 재분배하는지에 반영됩니다. 이러한 동작은 모델의 학습된 스코어 함수에 내재된 특성이며, 생성에 사용된 특정 프롬프트나 노이즈 시드와는 독립적입니다.

SDS 파이프라인

표준화(Standardization): 시그니처가 모델의 정체성을 반영하도록 하기 위해, 모든 후보 모델은 입력 이미지를 일관된 잠재 공간( $z_0$ )으로 인코딩하기 위한 공유 VAE와 공유 스케줄러를 사용합니다. 프롬프트 의존적 신호를 제거하기 위해 빈 텍스트 임베딩을 사용하여 프로빙(probing)을 수행합니다.
스펙트럼 분할(Spectral Partitioning): 잠재 공간의 주파수 평면을 $K$ 개의 동심원 형태의 방사형 링(radial rings)으로 분할합니다. 링 0은 저주파(전역 구조)를 다루며, 링 $K-1$ 은 고주파(미세 질감)를 다룹니다.
주파수 제어 프로빙(Frequency-Controlled Probing):
- 주입(Injection): 선택된 타임스텝 $t$ 에서 특정 주파수 링 $k$ 에 대역 제한 노이즈( $\eta^{(k)}$ )를 주입합니다.
- 디노이저 쿼리(Denoiser Query): 디노이저 $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ 를 호출하여 노이즈를 예측합니다.
- 잔차 분석(Residual Analysis): 잔차 $r = \hat{\eta} - \eta^{(k)}$ 를 계산합니다. 이 잔차의 에너지는 모든 출력 주파수 링 $j$ 에 대해 측정됩니다.
- 결합 행렬(Coupling Matrix): 이를 통해 링 $k$ 에 주입된 에너지가 디노이저에 의해 링 $j$ 로 어떻게 라우팅되는지를 정량화하는 결합 행렬 $C \in \mathbb{R}^{K \times K}$ 를 얻습니다. 이 행렬은 디노이저 자코비안(Jacobian)의 투영입니다.
시그니처 집계(Signature Aggregation):
- 여러 변조 진폭( $S$ )과 디노이징 궤적을 아우르는 여러 타임스텝( $T_n$ )에 걸쳐 측정을 수행합니다.
- 결과로 나온 결합 행렬들을 연결하고 평탄화(flattening)하여 고차원 시그니처 벡터 $\Phi(M, z_0)$ 를 형성합니다.
- 프로토타입 구축(Prototype Construction): 각 모델에 대해, $N$ 개의 참조 이미지로부터 얻은 시그니처를 평균하여 프로토타입 시그니처 $\Psi(M)$ 를 생성합니다. 콘텐츠 의존적인 스케일 변화를 제거하기 위해 행 정규화(row normalization)를 적용합니다.
식별(Identification): 쿼리 이미지를 인코딩하고 프로빙하여 시그니처를 생성한 후, 최근접 프로토타입 매칭(argmin) 또는 훈련된 선형 분류기(LinearSVC)를 사용하여 저장된 프로토타입과 비교합니다.

3. 주요 기여

SDS 프레임워크: 역전, 최적화 또는 모델 수정 없이 표준 순방향 패스(forward pass)만을 사용하여 디노이저의 스펙트럼 기하학을 조사하는 비침습적 귀속 방법론을 제시했습니다.
고유 모델 시그니처: 스펙트럼 결합 시그니처가 모델 고유의 특성이며, 학습 데이터, 아키텍처 및 학습 절차의 변화에 대해 왜곡에 강하고 판별력이 있음을 입증했습니다.
기존 베이스라인 실패 모드 해결: 프로빙을 통해 디노이저를 직접 조사하는 것이 모델이 동일한 오토인코더를 공유할 때 발생하는 기존 역전 기반 베이스라인의 근본적인 실패 문제를 해결함을 증명했습니다.

4. 실험 결과

본 방법론은 다양한 학습 데이터, 아키텍처 및 학습 절차를 가진 8개의 다양한 확산 모델(Stable Diffusion v1.4/v1.5, SDXL, PixArt- $\alpha$ 및 미세 조정된 변형 모델 포함)을 대상으로 폐쇄 집합(closed-set) 태스크에서 평가되었습니다.

귀속 정확도: SDS는 LinearSVC 분류기를 사용하여 8개 모델에 대해 ≈99.9%의 정확도를 달ach했습니다. 특히 거의 모든 가중치와 동일한 VAE를 공유하는 SD v1.4와 SD v1.5를 성공적으로 구분해냈는데, 이는 출력 기반 특징들이 완전히 실패했던 사례입니다.
교차 도메인 일반화: SD-프롬프트로 구축된 프로토타입을 MS-COCO 프롬프트로 생성된 이미지에 테스트했을 때, LinearSVC는 96.2%의 정확도를 유지했으며, 이는 단 3.8%포인트의 하락에 불과합니다. 이는 시그니처가 프롬프트 의존적이기보다 모델 고유의 특성임을 나타냅전다.
강건성(Robustness): SDS는 강력한 후처리 왜곡(회전, JPEG 압축, 크롭, 밝기 조절, 노이즈 및 블러)에 대해 높은 강건성을 보였습니다. 픽셀 공간의 왜곡이 이미지 품질을 크게 저하시켰음에도 불구하고, 스펙트럼 라우팅 시그니처는 유지되었으며, 심한 노이즈와 블러 환경에서도 LinearSVC는 >90%의 정확도를 달성했습니다.
베이스라인 비교:
- RONAN 및 LATENTTRACER(역전 기반)는 동일한 VAE를 공유하는 5개 모델에 대해 약 20~27%의 정확도(무작위 추측 수준)로 붕괴되었습니다.
- SDS는 동일한 모델들에 대해 100%의 정확도를 달성하여, 가장 까다로운 모델 쌍에서 최고의 베이스라인인 LATENTTRACER보다 55%포인트, RONAN보다 70%포인트 더 높은 성능을 보였습니다.

5. 의의 및 주장

본 논문은 모델의 정체성이 생성된 출력이 아니라 디노이저의 자코비안의 스펙트럼 기하학에 인코딩되어 있다고 주장합니다. 이러한 발견은 사용된 오토인코더와 독립적인 원칙적인 귀속의 근거를 마련합니다.

실용성: SDS는 표준 순방향 패스만을 필요로 하므로, 재학습이나 워터마킹 없이도 광범위한 기존 오픈 소스 확산 모델 생태계에 적용 가능합니다.
근본적 통찰: 본 연구는 모델들이 시각적으로 유사한 스코어 함수로 수렴하더라도, 에너지를 주파수 대역 간에 라우팅하는 방식에서는 뚜렷한 "스펙트럼 지문"을 유지한다는 것을 보여줍니다.
한계점: 저자들은 SDS가 현재 폐쇄 집합(closed-set) 환경에서 작동하며(소스 모델이 레지스트리에 있어야 함), 후보 모델의 가중치에 대한 **화이트박스 접근(white-box access)**이 필요하다는 점을 인정합니다(단, 이는 오픈 소스 모델의 경우 충족됩니다). 또한 생성 후의 변조(tampering)는 탐지하지 못합니다.

요약하자면, 본 논문은 모델이 무엇을 생성하는가가 아니라 어떻게 디노이징하는가에 초점을 맞춤으로써, 모델들이 아키텍처와 오토인코더를 공유하는 가장 도전적인 시나리오에서도 신뢰할 수 있고 비침습적인 귀속을 달 수 있다고 주장합니다.