기술 요약: 확산 모델은 전형적인 예시를 우선적으로 암기한다

문제 정의

생성 모델, 특히 확산 모델(diffusion models)은 새로운 샘플을 학습하고 구성하기보다 훈련 데이터를 암기하는 경향이 있다는 지속적인 한계에 직면해 있다. 이러한 현상은 저작권 및 개인정보 보호와 관련된 중대한 법적 책임을 야기하는 동시에 창의적 다양성을 저해한다. 어떤 샘플이, 언제, 어떤 조건 하에서 암기되는지를 이해하는 것은 여전히 중요한 미해결 과제로 남아 있다.

기존 문헌은 암기 순서에 대해 서로 상충하는 가설들을 제시한다:

1. 가설 1 (희귀 샘플 우선): 이상치(outliers)나 희귀한 샘플은 일반화가 달성된 후 손실(loss)과 그래디언트(gradient) 신호를 지배하기 때문에 먼저 암기된다.
2. 가설 2 (흔한 샘플 우선): 흔한 특징이나 높은 빈도를 가진 샘플은 일관된 그래디언트 강화 덕분에 먼저 암기된다.
3. 가설 3 (동시 발생): 암기는 데이터셋 전체 수준의 글로벌한 현상이며, 특정 임계치의 훈련 단계(training steps)를 넘어서면 샘플들이 거의 동시에 암기된다.

나아가, 일반화와 암기 사이의 경계는 종종 모호하며, 기존의 지표들은 전체 시퀀스 재현과 "부분적 암기"(예: 특정 질감이나 구문 구조와 같은 하위 구성 요소의 암기)를 구분하는 데 자주 실패한다. 이러한 세밀함의 결여는 훈련 데이터에서 관찰되는 흔한 모티프와 클리셰를 과도하게 사용하는 출력물인 "슬롭(slop)"의 출현을 식별하기 어렵게 만든다.

방법론

저자들은 이러한 가설들을 분리하고 암기 역학을 미세한 수준에서 분석하기 위해, 통제된 합성 프레임워크와 실제 데이터 실험을 결합하여 사용한다.

합성 프레임워크: 무작위 계층 모델 (Random Hierarchy Model, RHM)

저자들은 자연 데이터(예: 객체로 구성된 장면, 객체로 구성된 부분들)의 계층적 구성성을 모사하는 합성 데이터 생성기인 **무작위 계층 모델(RHM)**을 활용한다.

• 구조: 데이터는 깊이 $\ell$의 심볼이 깊이 $\ell+1$의 하위 심볼 튜플로 분해되는 확률적 문맥 자유 문법(probabilistic context-free grammar)을 통해 생성된다.
• 희귀도 제어: 샘플의 희귀도를 도입하기 위해, 저자들은 특정 계층 수준 $\ell_z$에서 생성 규칙에 지프의 법칙(Zipfian) 샘ming 빈도를 적용하여 RHM을 확장한다(Cagnetta et al., 2025를 따름). 이는 특정 규칙(및 그 규칙을 포함하는 샘플)이 다른 규칙보다 훨씬 더 높은 확률을 갖는 멱함수 분포(power-law distribution)를 생성한다.
• 훈련: 확산 모델(U-Net 아키텍처를 가진 다항 이산 확산 모델)이 이러한 합성 문자열을 바탕으로 훈련된다. 데이터셋 크기는 일반화를 달성하기에는 충분히 크지만, 암기 탐지가 가능하도록 전체 법적 공간(legal space)에 비해서는 충분히 작게 설정되었다.

지표 및 정의

본 논문은 서로 다른 학습 모드를 구분하기 위해 엄격한 정의를 도입한다:

• 완전 암기 (Complete Memorization): 생성된 샘플 중 훈련 데이터의 정확한 복사본인 비율.
• 부분 암기 (Partial Memorization): 모델이 정확한 복사본을 생성하지는 않으면서 훈련 데이터의 구성 요소(서브스트링 또는 서브튜플)를 재현하는 단계. 저자들은 모델의 행동이 공정한 샘플링에서 특정 규칙의 암기로 얼마나 벗어나는지를 정량화하기 위해 추정치 $\lambda$를 정의한다.
• 암기 시간 ($t_{mem}$): 특정 샘플(또는 하위 구성 요소)이 생성된 출력물에 처음 나타나는 가장 이른 훈련 단계.

실제 데이터 검증

자연 데이터에서의 발견을 검증하기 위해, 저자들은 CelebA 데이터셋의 하위 집합을 사용하여 확산 모델을 훈련한다. 이들은 40가지 얼굴 속성을 기반으로 이미지의 로그 가능도(log-likelihood, 희귀도)를 추정하기 위해 멀티 레이블 분류기와 이징 모델(Ising model)을 활용하여, 합성 환경이 아닌 실제 환경에서 암기 타이밍과 샘플 희귀도 간의 상관관계를 분석한다.

주요 기여 및 결과

1. 흔한 샘플이 먼저 암기된다

본 연구는 가설 1을 명확히 기각한다. 다양한 모델 크기와 계층 수준에 걸쳐, 흔한 서브스트링(높은 로그 가능도)으로 구성된 샘플이 희귀한 샘플보다 우선적으로 더 일찍 암기된다.

• 완전히 고유한 샘플들(중복된 데이터가 없는 경우)로 구성된 데이터셋에서도, 모델은 흔한 특징들의 조합을 먼저 학습하고 재현한다.
• 이는 데이터 포인트 수준의 중복 제거(deduplication)가 흔한 특징 조합의 암기에 대한 유의미한 프라이버시 보장을 제공하지 못함을 의미한다.

2. 꼬리가 두꺼운 분포(Fat-Tailed Distributions)는 암기를 지연시킨다

저자들은 데이터 분포의 "두꺼운 꼬리"가 암기 속도에 직접적인 영향을 미친다는 것을 입증한다.

• 꼬리가 두꺼운 분포(더 희귀하거나 이례적인 샘플이 많은 경우)를 가진 데이터셋은 암기가 지연되는 현상을 보인다.
• 이 효과는 꼬리가 두꺼운 부분이 높은 추상화 단계(예: 클래스 수준의 변이)에서 도입될 때 증폭된다. 반대로, 더 낮고 미세한 추상화 단계(예: 리프 레벨의 특징)에서의 변이는 암기를 가속화하는 데 더 강력한 영향을 미친다.

3. "슬롭(Slop)" 단계: 부분 암기

본 논문은 전체 시퀀스 암기 이전에 발생하는 부분 암기라는 뚜렷한 중간 단계를 식별한다.

• 메커니즘: 이 단계 동안 모델은 흔한 저수준 특징들을 먼저 학습한다. 훈련이 진행됨에 따라, 모델은 희귀한 특징을 적게 생성하는 대신 흔한 특징들을 **과잉 생산(overproduce)**하기 시작한다.
• 결과: 이는 생성된 출력물이 흔한 모티프들의 "단조로운" 또는 클리셰적인 조합으로 구성되는 분포적 변화를 초래한다. 저자들은 이 현상을 **"슬롭(slop)"**이라 명명한다.
• 역학: 이러한 과잉 생산은 모델 용량이 훈련 예시를 인코딩하는 데 재할당됨에 따라, 모델의 유효한 샘플 생성 능력(이미지의 경우 FID의 하락, RHM의 경우 유효한 문자열 생성 능력의 하락)이 일시적으로 저하되는 시점과 일치한다.

4. 조기 종료(Early Stopping)의 한계

본 연구는 훈련 전략의 결정적인 위험을 강조한다. 조기 종료는 흔히 (훈련 및 테스트 손실이 발산할 때) 완전한 암기를 방지하기 위해 사용되지만, "슬op" 단계는 훈련 및 테스트 손실의 발산 전 혹은 그와 동시에 발생할 수 있다.

• 훈련을 너무 늦게 종료하면(완전한 암기 전이라 할지라도), 모델이 흔한 특징을 생성하도록 편향된 결과를 초래할 수 있다.
• 작은 모델일수록 "슬롭" 단계가 더 길고 이러한 편향에 더 취약하며, 이는 모델 용량을 줄이는 것만으로는 저다양성 출력물의 생성을 완화할 수 없음을 시사한다.

의의

본 논문은 흔한 데이터와 이상치 데이터 중 무엇이 먼저 암기되는지에 대한 모호함을 해결하며, 전형적인 예시가 먼저 학습되고 재현된다는 관점을 지지한다.

이 연구의 의의는 다음과 같다:

1. 프라이버시 및 저작권 이해의 정교화: 암기가 단순히 데이터 중복의 함수가 아니라, 하위 특징들의 구성적 구조와 빈도에 의해 구동됨을 보여준다. 이는 흔한 특징 조합이 존재한다면 중복 제거된 데이터셋에서도 프라이버시 위험이 지속될 수 있음을 시사한다.
2. "슬롭(Slop)" 현상의 설명: 생성형 AI에서 흔히 비판받는 "슬롭" 현상에 대해, 흔한 특징이 과잉 대표되는 특정 부분 암기 단계와 연결하여 기계론적인 설명을 제공한다.
3. 데이터셋 큐레이션: 높은 추상화 수준에서의 데이터 다양성이 암기를 억제하는 데 중요한 역할을 한다는 점을 시사한다.
4. 평가 지표: 전체 샘플 재현 지표에만 의존하기보다, 부분 암기와 특징 수준의 편향을 탐지할 수 있는 더 세밀한 평가 지표의 필요성을 주장한다.

저자들은 결론적으로, 확산 모델은 암기에 취약하지만, 그 과정은 단계적이고 계층적이며, 전체 샘플 재현으로 나아가기 전에 흔한 하위 특징들의 과잉 생산으로부터 시작된다고 밝힌다.