Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

기술 요약: 순환적 디노이징을 통한 확산 모델의 초안정성 메모리 노출

문제 정의
대규모 생성 모델, 특히 확산 모델(diffusion models)은 방대한 웹 규모 데이터셋으로 학습되므로, 모델이 저작권이 있는 예술 작품, 독점 미디어, 민감한 개인 정보와 같은 특정 학습 예시를 유지하고 재현할 위험이 있습니다. 기존의 추출 공격(예: "생성 및 필터링")은 알려진 학습 캡션, 학습 데이터에 대한 접근 권한, 또는 보조 분류기(auxiliary classifier)와 같은 외부 신호에 크게 의존합니다. 이러한 방법들은 종종 대규모 생성 이후 사후 필터링이나 멤버십 추론을 필요로 합니다. 이에 따라, 모델의 내부 샘플링 역학에만 의존하며, 학습 데이터에 대한 사전 지식이나 프롬프트가 필요하지 않고, 가중치 검사나 그래디언트 접근 없이 작동할 수 있는 추출 방법이 필요합니다.

방법론: 순환적 디노이징 (Cyclic Denoising)
저자들은 물리적 구동 이산계(driven disordered systems, 특히 무작위 조직화 및 기계적 어닐링)의 원리에서 영감을 얻은 순환적 디노이징 프로토콜을 소개합니다. 이 방법은 확산 모델을 단순한 샘플러가 아닌 하나의 동역학계(dynamical system)로 취급합니다.

1. 프로토콜: 초기 상태(이미지 또는 잠재 공간)로부터 시작하여, 모델은 다음의 반복 주기를 거칩니다:

   • 순방향 노이징 (Forward Noising): 제어된 중간 진폭 $\gamma$까지 상태에 노이즈를 추가합니다 (여기서 $\gamma \in [0, 1]$는 추론 궤적의 진행 비율을 나타냄).
   • 역방향 디노이징 (Reverse Denoising): 깨끗한 이미지($\gamma=0$)로 상태를 완전히 디노이징합니다.
   • 반복 (Iteration): 한 주기의 출력이 다음 주기의 초기값이 되어, 각 주기의 끝에서 관찰되는 스트로보스코픽 궤적(stroboscopic trajectory)을 생성합니다.

2. 제어 파라미터: 순환 진폭 $\gamma$는 구동 진폭(drive amplitude) 역할을 합니다. 낮은 $\gamma$는 약한 섭동을 가하고, 높은 $\gamma$는 강한 섭동을 가합니다. 이 과정은 매 단계마다 새로운 가우시안 노이즈를 사용하는 표준 샘플러(DDPM)를 사용하여 확률적 순환 구동 프로세스를 형성합니다.

3. 탐지 메커니즘: 저자들은 연속적인 스트로보스코픽 상태($z_n$ 및 $z_{n-1}$) 사이의 코사인 유사도를 모니터링합니다.

   • 흡수 에피소드 (Absorbing Episodes): 근접 1(near-unity)의 유사도가 지속되는 긴 정체 구간은 궤적이 안정적인 어트랙터 베이슨(attractor basin)에 고착되었음을 나타냅니다.
   • 베이슨 호핑 (Basin Hopping): 유사도의 급격한 하락은 베이슨 간의 전이를 나타냅니다.
   • 초안정성 (Ultrastability): 심각한 손상(높은 $\gamma$) 후에도 수백에서 수천 번의 주기 동안 지속되는 어트랙터를 "초안정적(ultrastable)"이라고 정의합니다.

주요 기여

1. 생성 랜드스케이프의 동역학적 탐침: 본 논문은 순환적 디노이징을 학습된 생성 랜드스케이프를 가로지르는 물리 기반 도구로 확립합니다. 독립적인 점을 추출하는 일반적인 샘플링과 달리, 이 방법은 샘플링을 $\gamma$에 의해 제어되는 동역학계로 변모시켜 모델의 안정성 구조를 드러냅니다.
2. 장기 동역학의 특성화: 저자들은 다음과 같은 풍부한 동역학적 행동 스펙트럼을 식별했습니다:
   • 사소한 흡수 상태 (Trivial Absorbing States): 낮은 진폭에서 궤적은 특징 없는 고정점(fixed points)이나 리미트 사이클(limit cycles, 진동 패턴)로 붕괴됩니다.
   • 베이슨 호핑 (Basin Hopping): 중간 진폭에서 시스템은 랜드스케이프를 탐색하며 베이슨 사이를 이동합니다.
   • 초안정적 어트랙터 (Ultrastable Attractors): 높은 진폭에서 시스템은 변화에 저항하는 깊고 오래 지속되는 어트랙터에 안착합니다.
3. 항복 유사 전이 (Yielding-Like Transition): 본 연구는 이산 고체에서의 항복(yielding)과 유사한 전이를 보여줍니다. $\gamma$가 증가함에 따라 시스템은 "갇힌(stuck)" 단계(흡수 상태)에서 탐색 단계(베이슨 호핑)로 이동하며, 최종적으로 가장 깊은 어트랙터를 분리해 냅니다.
4. 프롬프트가 필요 없는 추출 공격: 저자들은 이러한 깊은 초안정적 어트랙터 중 다수가 메모리된 학습 이미지(예: 스톡 사진, 브랜드 워터마크, 웹 크롤링 아티팩트)와 일치함을 입증했습니다. 이는 샘플러 수준의 제어만 필요하며, 학습 데이터 접근, 캡션, 혹은 그래디언트가 필요 없는 추출 공격을 구성합니다.
5. 메모리 진단으로서의 안정성: 프롬프트 조건부 설정에서, 저자들은 프롬프트를 제거하고 순환을 계속할 때 회복된 이미지의 고유한 안정성을 보여줍니다. 진정으로 메모리된 이미지는 조건부 없이도 초안정적으로 유지되는 반면, 개념 기반의 베이슨은 빠르게 탈상관(decorrelate)됩니다.

결과

• Stable Diffusion v1.4 (잠재 공간): 이 방법은 특정 스톡 사진 템플릿(예: 노란 의자와 흰 소파가 있는 방) 및 브랜드 로고를 포함한 메모리된 이미지를 성공적으로 회복했습니다. 역 이미지 검색 결과, 이들이 학습 세트에 존재하는 중복된 웹 크롤링 아티팩트임을 확인했습니다. 회복된 어트랙터들은 서로 다른 랜덤 시드와 초기 조건에 걸쳐 재발하는 "동역학적 지문(dynamical fingerprint)"을 형성했습니다.
• CIFAR-10 DDPM (픽셀 공간): 이 현상은 더 작은 픽셀 공간 모델에서도 재현되었습니다. 순환적 디노이징은 시스템을 메모리된 CIFAR-10 학습 이미지(예: 특정 자동차)로 유도했으며, 이는 알려진 메모리 벤치마크를 통해 검증되었습니다. 동역학은 메모리된 이미지와 그 수평 뒤집힌 변형 사이를 호핑하는 "이단계 시스템(two-level systems)" 동작을 보였습니다.
• 진폭 의존성:
  • 낮은 $\gamma$: 사소한 고정점 또는 리미트 사이클.
  • 중간 $\gamma$: 단순하고 반복적인 아티팩트(로고, 웹 템플릿).
  • 높은 $\gamma$: 풍부하고 복잡한 메모리된 이미지(제품 사진, 상세한 장면).
• 프롬프트 제거 실험: 알려진 메모리 프롬프트로 순환할 때 시스템은 메모리된 이미지로 수렴했습니다. 프롬프트를 제거했을 때, 이 이미지들은 초안정적으로 유지(수천 주기 동안 지속)되었으나, 비메모리 개념(예: "Abbey Road")에 대한 프롬프트는 프롬프트 제거 직후 즉시 탈상관되는 변동하는 개념 어트랙터를 생성했습니다.

의의 및 주장
본 논문은 순환적 디노이징이 메모리를 조사하기 위한 새로운 동역학적 경로를 제공한다고 주장합니다. 저자들은 메모리된 예시가 단순히 표준 샘플링에서 발생하는 드문 출력이 아니라, 순환적 섭동에 의해 구동될 때만 방문되는 깊고 초안정적인 어트랙터라고 상정합니다.

• 개인정보 보호 및 감사: 이 방법은 학습 데이터에 대한 지식이나 특정 프롬프트 없이도 저작권이 있거나 민감한 학습 콘텐츠를 식별할 수 있는 실질적인 감사 도구 역할을 합니다.
• 위협 모델: 저자들은 표준 샘플링이 메모리 위험을 상당히 과소평가할 수 있다고 주장합니다. 샘플러 수준의 접근 권한을 가진 공격자는 순환적 강제력을 사용하여 일반적인 작동 중에는 숨겨져 있는 민감한 콘텐츠를 추출할 수 있습니다.
• 물리학적 연결: 이 연구는 생성형 AI와 통계 물리학을 연결하며, 확산 모델 내 학습된 표현의 안정성이 구동된 이산 고체에서 관찰되는 항복 전이와 유사함을 보여줍니다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, 이 공격이 샘플러 수준의 제어를 요구한다는 점(최종 샘플만을 반환하는 표준 API 엔드포인트에는 적용되지 않음)과 어트랙터 분포의 체계적 특성화(예: 전체 메모리 데이터 중 회복 가능한 비율)를 위해 추가적인 정량적 조사가 필요함을 언급했습니다.