💻 computer science

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

본 논문은 패딩 토큰에서의 텍스트 끝 임베딩의 구조적 중복이 그 영향을 증폭시켜 스테이블 디퓨전에서의 암기 현상을 예상치 못하게 주도한다는 사실을 밝히고, 이미지 품질을 저하시키지 않으면서 이 문제를 완화하기 위한 간단한 추론 시 전략을 제안한다.

원저자: Bumjun Kim, Albert No

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bumjun Kim, Albert No

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings"라는 논문에 대한 설명을 간단한 개념과 비유로 나누어 제시합니다.

핵심 문제: 모델이 '기억'에 갇혀 있음

수백만 장의 사진으로 훈련된 재능 있는 화가 (Stable Diffusion) 를 상상해 보세요. 때로는 이 화가에게 새로운 것을 그려달라고 요청할 때, 훈련 세트에 있는 특정 사진을 픽셀 단위로 정확히 복사해 버리는 실수를 저지릅니다. 이를 **기억 (memorization)**이라고 합니다. 모델이 새로운 것을 창조하는 것이 아니라 기존 데이터를 그대로 토해내는 것이기 때문에, 이는 개인정보 보호 및 저작권 리스크가 됩니다.

과학자들은 왜 이런 일이 발생하는지 규명해 오고 있습니다. 대부분의 이론은 사용자가 입력한 단어 (프롬프트) 나 모델 내부의 수학에 초점을 맞췄습니다. 그러나 이 논문은 지시문의 '패딩 (padding)' 부분에 숨어 있는 놀라운 범인을 발견했습니다.

배경: 화가가 지시문을 읽는 방식

이 발견을 이해하려면 화가가 어떻게 지시문을 읽는지 살펴봐야 합니다.

프롬프트: "A cat on a mat"과 같은 문장을 입력합니다.
제한: 화가는 특정 길이 (77 개의 '토큰' 또는 단어 부분) 까지의 지시문만 읽을 수 있습니다.
채우기: 문장이 짧다면 (예: 10 단어), 컴퓨터는 77 개의 한계에 도달하기 위해 나머지 67 개의 빈 공간을 채워야 합니다.

구식 방식 (Stable Diffusion v1.4):
컴퓨터는 그 빈 공간을 특별한 '문장 끝' 토큰 (이를 <eot>이라고 부르겠습니다) 으로 채웁니다.

비유: 이야기를 읽는데 마지막 페이지가 하얀 종이라면, 빈칸으로 두는 대신 프린터가 페이지가 꽉 찰 때까지 "THE END"라는 단어를 반복해서 찍어 넣는다고 상상해 보세요.
따라서 짧은 프롬프트의 경우, 화가는 [당신의 단어] + [THE END] + [THE END] + [THE END]... (60 회 이상 반복) 를 보게 됩니다.

발견: '에코 챔버 (Echo Chamber)' 효과

논문의 저자들은 화가가 특히 이미지를 기억할 때, 이러한 반복된 "THE END" 도장에 크게 의존한다는 사실을 발견했습니다.

그들이 발견한 사건 연쇄는 다음과 같습니다:

훈련 불일치: 단어를 수학으로 변환하는 시스템 (CLIP) 은 문장 전체의 가장 중요한 요약으로 첫 번째 "THE END" 토큰을 처리하도록 훈련되었습니다. 이는 실제 단어와 채우기 토큰을 무시하도록 학습되었습니다.
오작동: 컴퓨터가 빈 공간을 더 많은 "THE END" 토큰으로 채우기 때문에, 화가는 갑자기 "THE END" 토큰이 수십 번 반복되는 것을 보게 됩니다.
증폭: 화가는 "와, 'THE END' 토큰이 너무 많이 있네! 이것이 지시문의 가장 중요한 부분임에 틀림없다!"라고 생각합니다.
결과: 모델은 이 반복된 토큰에 과도하게 집중합니다. 만약 그 특정 "THE END" 패턴이 훈련 중에 특정 저작권이 있는 이미지와 연관되어 있었다면, 모델은 그 루프에 갇혀 실제 요청을 무시하고 그 정확한 이미지를 재현하게 됩니다.

비유:
지휘자 (모델) 가 솔로 가수 (프롬프트) 를 들어야 하는 합창단을 상상해 보세요. 하지만 합창단원들이 모두 "STOP!" (패딩 토큰) 이라고 반복해서 외치고 있습니다. 지휘자는 그 외침에 압도되어 솔로 가수를 듣는 것을 멈추고, "STOP!" 명령에 따라 원을 그리며 행진하기 시작합니다. 만약 그 "STOP!" 명령이 이전에 특정 춤 동작과 연결되어 있었다면, 합창단은 음악을 무시하고 그 춤만 반복하게 됩니다.

놀라운 반전: 단어가 그렇게 중요하지 않음

저자들은 프롬프트의 실제 단어를 제거하고 대신 "End" 토큰으로 대체하여 이를 테스트했습니다.

결과: 모델은 여전히 인식 가능한 이미지를 생성할 수 있었습니다.
결론: 사용자가 입력한 실제 단어 (프롬프트) 는 기억 과정에 거의 기여하지 않습니다. 복사 행동을 주도하는 것은 '채우기' 토큰입니다.

해결책: 두 가지 간단한 수정

이 논문은 모델을 재훈련하거나 속도를 늦추지 않고 이 문제를 멈추게 하는 두 가지 쉬운 방법을 제안합니다. 둘 다 '추론 시간 (inference-time)' 수정으로, 이미지가 생성되기 직전에 적용할 수 있습니다.

수정 1: 채우기 토큰 변경

행동: 빈 공간을 "THE END" (<eot>) 로 채우는 대신, 느낌표 (!) 와 같은 중립적인 기호로 대체합니다.
작동 원리: 에코 챔버가 깨집니다. 모델이 60 개의 "End" 토큰 사본을不再 보게 됩니다. 대신 동일한 무거운 무게를 지니지 않는 중립적인 기호를 보게 됩니다.
추가: 안전을 위해 원래의 단일 "End" 토큰도 숨깁니다 (마스킹).

수정 2: 채우기 토큰 음소거

행동: 토큰을 그대로 두되, 반복된 "End" 토큰의 볼륨 (마스크) 을 줄여 모델이 이에 덜 주의를 기울이게 합니다.
작동 원리: 토크나이저를 변경하지 않고도 '메아리'의 영향을 줄입니다.

증명: 왜 버전 2.1 이 더 나은가

저자들은 Stable Diffusion v2.1(더 새로운 버전)이 이 기억 문제를 덜 심각하게 겪는다는 사실을 알아차렸습니다.

이유: v2.1 제작자들이 실수로 이 문제를 해결한 것으로 나타났습니다. 그들은 "THE END"를 반복하는 대신 중립적인 기호를 사용하는 다른 텍스트 시스템 (OpenCLIP) 으로 전환했습니다.
교훈: v2.1 이 자연스럽게 기억을 덜 하게 되었다는 사실은, v1.4 에서의 문제의 주요 원인이 실제로 '반복된 End 토큰'이었음을 증명합니다.

요약

문제: Stable Diffusion 은 때때로 훈련 이미지를 정확히 복사합니다.
원인: 짧은 프롬프트는 반복된 "문장 끝" 토큰으로 채워집니다. 모델은 이러한 반복된 토큰을 지시문의 가장 중요한 부분으로 오인하여 '과적합 (overfit)'이 발생하고 특정 이미지를 기억하게 됩니다.
해결: 채우기 토큰을 !와 같은 중립적인 것으로 변경하거나 반복된 토큰을 음소거합니다. 이는 이미지 품질을 유지하면서 기억을 멈추게 합니다.
이점: AI 를 재훈련하거나 사전에 위험한 이미지를 감지할 필요 없이 이 수정을 즉시 적용할 수 있습니다.

기술 요약: 스테이블 디퓨전에서의 암기는 의외로 CLIP 임베딩에 의해 주도됨

문제 정의

텍스트-이미지 확산 모델, 특히 스테이블 디퓨전은 특정 프롬프트에 반응하여 학습 세트의 구체적인 이미지를 재생산하는 암기 (memorization) 라는 중요한 프라이버시 위험을 보입니다. 이는 저작권 위반 및 개인 데이터 유출에 대한 심각한 우려를 제기합니다. 이전 연구는 데이터셋 중복, 트리거 토큰, 크로스 어텐션 패턴을 통해 암기를 조사해 왔으나, 텍스트 임베딩 공간—특히 임베딩 시퀀스의 서로 다른 구성 요소가 암기에 어떻게 기여하는지—의 역할은 아직 충분히 탐구되지 않았습니다. 본 논문은 스테이블 디퓨전 v1.4 에서 암기의 근본 원인이 단순히 토큰 자체에 있는 것이 아니라, CLIP 텍스트 인코더의 학습 역학과 확산 모델의 추론 메커니즘 사이의 구조적 불일치에 있다고 주장합니다.

방법론

저자들은 스테이블 디퓨전의 임베딩 벡터를 상세히 조사하여 입력 토큰을 네 가지 유형으로 분류합니다: <startoftext> ( $v_{sot}$ ), <prompt> 토큰 ( $v_{pr}$ ), <endoftext> ( $v_{eot}$ ), 그리고 <pad> 토큰 ( $v_{pad}$ ).

1. 임베딩 기여도의 경험적 분석

이 연구는 각 임베딩 구성 요소가 암기된 프롬프트에 미치는 영향을 정량화하기 위해 통제된 추론 시 개입을 사용합니다. 실험에는 다음이 포함됩니다:

마스킹 및 교체: 특정 임베딩 벡터를 체계적으로 마스킹하거나 교체합니다 (예: $v_{pr}$ 또는 $v_{pad}$ 를 영벡터로 설정하거나 $v_{eot}$ 로 교체).
지표 평가: 암기를 측정하기 위해 SSCD(자기지도 대비 거리) 를, 텍스트 - 이미지 정렬을 위해 CLIPScore를, 시각적 품질을 위해 Aesthetic Score를 사용합니다.
데이터셋 큐레이션: 저자들은 Webster [35] 와 Membench [13] 에서 458 개의 "정확한 일치 (Matching Verbatim, MV)" 프롬프트로 구성된 견고한 세트를 큐레이션하여, 신뢰할 수 있는 분석을 보장하기 위해 불안정하거나 저하된 사례를 필터링했습니다.

2. 비교 분석 (v1.4 vs v2.1)

본 논문은 원본 CLIP 텍스트 인코더를 사용하는 스테이블 디퓨전 v1.4 와 OpenCLIP 를 사용하는 v2.1 을 비교합니다. 저자들은 이러한 모델들이 패딩 토큰을 처리하는 방식의 차이가 버전 간 암기율 변이를 설명한다고 가설을 세웁니다.

3. 완화 전략

연구 결과에 기반하여 두 가지 추론 시 완화 전략이 제안됩니다:

토크나이저 레벨 수정: 임베딩 전에 기본 <pad> 토큰 (v1.4 에서는 <eot>) 을 의미적으로 중립적인 토큰 (예: !) 으로 교체하고 단일 $v_{eot}$ 를 마스킹합니다.
부분 마스킹: 생성 품질을 붕괴시키지 않으면서 중복성을 줄이기 위해 $v_{pad}$ 임베딩의 일부분 (구체적으로 70%) 을 부분적으로 마스킹합니다.

주요 발견 및 기여

1. 패딩 임베딩의 우세

프롬프트 토큰 ( $v_{pr}$ ) 이 생성의 주요 동력이라는 가정과 달리, 저자들은 $v_{pr}$ 가 암기에 거의 기여하지 않는다고 발견했습니다. 실제로 $v_{pr}$ 를 마스킹하거나 $v_{eot}$ 로 교체해도 생성된 이미지 구조는 유지됩니다. 반면, 패딩 임베딩 ( $v_{pad}$ ) 이 지배적인 역할을 합니다. $v_{pad}$ 를 마스킹하면 생성이 붕괴되는데, 이는 암기된 콘텐츠를 재생산하는 데 필수적임을 나타냅니다.

2. $v_{eot}$ 의 구조적 중복

식별된 핵심 메커니즘은 <endoftext> 임베딩의 구조적 중복입니다.

스테이블 디퓨전 v1.4 에서 고정 길이 (77 토큰) 보다 짧은 프롬프트는 <eot> 토큰을 반복하여 패딩됩니다.
CLIP 은 문장 수준의 의미를 대표하도록 $v_{eot}$ 를 최적화하기 위해 대비 학습으로 훈련되므로, 반복된 <eot> 토큰은 여러 개의 거의 동일한 $v_{eot}$ 벡터 (즉, $v_{pad}$ ) 를 생성합니다.
이 의도하지 않은 중복은 확산 과정에서 $v_{eot}$ 의 영향을 증폭시켜, 모델이 이 특정 임베딩에 과도하게 의존하게 만들고 암기를 초래합니다.

3. 스테이블 디퓨전 v2.1 동작에 대한 설명

본 논문은 스테이블 디퓨전 v2.1 이 현저히 낮은 암기율을 보인다고 지적합니다. 저자들은 이를 데이터셋 중복 제거 때문이 아니라, <eot>를 중복하는 대신 패딩에 중립적인 ! 토큰을 사용하는 OpenCLIP 를 사용하기 때문이라고 귀착시킵니다. 이 구조적 변화는 $v_{eot}$ 의 증폭을 제거하여 암기를 감소시킵니다.

4. 제안된 완화 전략

저자들은 모델 재훈련이 필요 없는 두 가지 효과적이고 플러그 - 앤 - 플레이 방식의 전략을 제안합니다:

전략 1: 토크나이저의 기본 <pad> 를 중립 토큰 (!) 으로 교체하고 원래 $v_{eot}$ 를 마스킹합니다. 이는 $v_{pad}$ 와 $v_{eot}$ 를 분리합니다.
전략 2: $v_{pad}$ 임베딩의 70% 를 부분적으로 마스킹합니다.
두 방법 모두 SSCD 점수를 크게 낮추어 (감소된 암기 표시) 무작위 시드 전반에 걸쳐 다양성을 효과적으로 복원하면서 높은 CLIPScore 와 Aesthetic Score 를 유지합니다.

결과

암기 억제: 제안된 방법은 암기를 나타내는 ~0.5 의 SSCD 점수를 ~0.08–0.10 으로 낮추어 학습 이미지 재생산을 효과적으로 방지합니다.
품질 보존: 시각적 품질을 저하시키거나 암기를 일관되게 억제하지 못하는 이전 방법들 (예: Ren et al. [24], Wen et al. [36]) 과 달리, 제안된 전략은 프롬프트 정렬과 이미지 품질을 유지합니다.
효율성: 완화 조치는 계산 오버헤드를 거의 추가하지 않으며, 추론 시간은 표준 생성과 거의 동일합니다.
강건성: 이 방법들은 암기된 프롬프트와 암기되지 않은 프롬프트 모두에서 일관되게 작동하며, 일반 생성 품질에 유의한 저하를 보이지 않습니다.

중요성 및 주장

본 논문은 암기에 대한 관점을 모델 내부 (예: 크로스 어텐션 패턴) 에서 텍스트 임베딩의 구조적 특성으로 전환한다고 주장합니다. CLIP 의 학습 목표 (오직 $v_{eot}$ 만 최적화) 와 확산 모델의 추론 (중복된 $v_{eot}$ 를 포함한 전체 시퀀스에 조건부) 사이의 불일치가 암기를 주도하는 구조적 편향을 생성한다고 논증합니다.

중요성은 토크나이저 설계로 인한 <endoftext> 임베딩의 의도하지 않은 증폭이라는 이전에 간과된 메커니즘을 식별한 데 있습니다. 이 구조적 결함을 해결함으로써 저자들은 데이터셋 필터링, 프롬프트 튜닝, 또는 모델 재훈련 없이도 암기를 완화할 수 있는 간단하고 효과적이며 배포 가능한 솔루션을 제공합니다. 이 발견은 향후 확산 모델이 유사한 구조적 편향을 피하기 위해 패딩 토큰 전략을 신중하게 고려해야 함을 시사합니다.