Filtering Memorization from Parameter-Space in Diffusion Models

기술 요약: 확산 모델의 파라미터 공간에서의 암기(Memorization) 필터링

문제 정의

저차원 적응(Low-Rank Adaptation, LoRA)은 확산 모델을 커스텀하기 위한 표준 메커니즘이 되었으며, 사용자가 경량화된 파라미터 업데이트를 통해 새로운 스타일이나 개념을 주입할 수 있도록 합니다. 그러나 LoRA가 학습 이미지를 암기하여 저작권이 있거나 민감한 콘텐츠를 재현하게 되는 심각한 위험이 존재합니다. 이 문제는 사용자가 학습 데이터의 공개 없이 LoRA 가중치만을 배포하는 개방형 생태계(예: Hugging Face, CivitAI)에서 특히 두드러집니다.

기존의 완화 전략들은 다음과 같은 이유로 이러한 "블랙박스" 시나리오에 적용하기 어렵습니다:

• 학습 단계의 개입 (예: 데이터 중복 제거, 차분 프라이버시)은 다운스트림 사용자나 호스팅 플랫폼이 사용할 수 없는 학습 파이프라인 및 데이터에 대한 접근 권한을 요구합니다.
• 추론 단계의 방어 (예: 프롬프트 최적화, 안티-암기 가이던스)는 암기된 콘텐츠에 대한 지식이나 샘플링 프로세스에 대한 제어를 필요로 하는 경우가 많으며, 이는 플랫폼 수준에서 강제될 수 없습니다.
• 파라미터 공간 접근법 (예: 개념 삭제)은 일반적으로 삭제하고자 하는 특정 개념이나 프롬프트에 대한 사전 지식을 필요로 합니다.

본 논문이 다루는 핵심 과제는 다음과 같습니다: 학습 데이터, 학습 절차, 또는 구체적으로 암기된 내용에 대한 접근 권한 없이, 오직 공개된 LoRA 가중치와 사전 학습된 백본(Backbone) 모델만을 사용할 때 어떻게 암기를 식별하고 필터링할 수 있는가?

방법론: 베이스 앵커링 필터링 (Base-Anchored Filtering, BAF)

저자들은 파라미터 공간에서 직접 작동하는, 학습과 데이터가 필요 없는(training-free, data-free) 프레임워크인 **BAF(Base-Anchored Filtering)**를 제안합니다. 이 방법은 모델 가중치의 스펙트럼 구조에 관한 기하학적 통찰에 기반합니다.

1. 기하학적 통찰
저자들은 일반화 가능한 적응(예: 새로운 예술 스타일)은 사전 학습된 백본의 지배적인 스펙트럼 방향(주요 부분 공간, Principal Subspace)과 정렬되는 반면, 암기는 약하게 정렬된 인스턴스 특유의 방향을 도입한다고 가설을 세웠습니다.

• 일반화 가능한 적응: 사전 학습된 모델의 주요 방향과 일치하는 저차원 부분 공간에 존재합니다.
• 암기: 사전 학습된 백본과 약하게 정렬된 스펙트럼 채널로 나타납니다.

2. 앵커링 점수 (Anchoring Score)
이 정렬을 정량화하기 위해, 이 방법은 SVD(Singular Value Decomposition)를 통해 LoRA 업데이트 행렬 $\Delta W$를 스펙트럼 채널로 분해합니다. 각 채널 $i$에 대해 싱귤러 벡터(singular vectors) $u_i$와 $v_i$가 있을 때, 앵커링 점수 $a_i$는 다음과 같이 계산됩니다:
$$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$$
여기서 $P_L$과 $P_R$은 사전 학습된 가중치 행렬 $W^*$의 상위-$K$ 좌우 주요 부분 공간으로의 직교 투영입니다.

• 높은 점수 ($a_i \approx 1$)는 해당 채널이 사전 학습된 부분 공간 내에 있음(일반화 가능)을 나타냅니다.
• 낮은 점수 ($a_i \approx 0$)는 해당 채널이 사전 학습된 구조와 직교함(잠재적 암기)을 나타냅니다.
• 랜덤 투영 베이스라인 ($a_{null} = K^2/mn$)은 구조적 정렬과 노이즈를 구분하기 위한 임계값 역할을 합니다.

3. 필터링 알고리즘
BAF는 LoRA 업데이트의 스펙트럼 채널에 게이팅 함수를 적용합니다:

• BAF-Hard: $a_i < a_{null}$인 채널을 제거하는 이진(binary) 게이트입니다.
• BAF-Soft: 채널을 완전히 제거하는 대신 $g(a_i) = a_i^\alpha$라는 연속적인 게이트를 사용하여 정렬도가 낮은 채널을 억제하며, 이를 통해 억제 강도와 생성 품질 사이의 트레이드오프를 조절합니다.

4. 적응형 부분 공간 선택 (Adaptive Subspace Selection)
다양한 레이어와 아키텍처에 걸친 이질적인 스펙트럼 감쇠를 처리하기 위해, 주요 부분 공간의 차원 $K$는 **에너지 적응 규칙(energy-adaptive rule)**에 따라 적응적으로 선택됩니다. $K$는 사전 학습된 가중치의 상위-$K$ 싱귤러 값의 누적 에너지가 임계값 $\tau_{energy}$를 초과하도록 설정됩니다.

주요 기여

1. 문제 정식화: 저자들은 엄격한 데이터 접근 불가 제약 조건 하에서 Diffusion LoRA의 사후(post-hoc) 암기 완화 문제를 정식화하였으며, 이는 현재의 모델 공유 생태계에 매우 유효한 설정입니다.
2. 기하학적 통찰: 암기가 사전 학습된 주요 부분 공간과 약하게 정렬된 스펙트럼 방향에 집중되어 있는 반면, 일반화 가능한 적응은 강하게 정렬되어 있다는 가설을 검증했습니다.
3. BAF 프레임워크: 파라미터 공간의 구조만을 사용하여 암기 관련 스펙트럼 방향을 선택적으로 억제하는 학습 및 데이터가 필요 없는 방법을 소개했습니다.
4. 실증적 검증: 광범 \한 실험을 통해 BAF가 생성 품질을 유지하거나 개선하면서도 암기를 줄인다는 것을 입증했으며, 가용 정보가 없는 기존 전략들보다 우수한 성능을 보였습니다.

실험 결과

저자들은 Pokémon, CelebA-HQ, LAION-Art 데이터셋으로 학습된 LoRA를 사용하여 Stable Diffusion v1.5 및 SDXL에서 BAF를 평가했습니다. 암기는 학습 과정 중 "카나리(canary)" 이미지를 복제함으로써 시뮬레이션되었습니다.

• 암기 감소: BAF 변형 모델들(Hard 및 Soft)은 유사한 방법들 사이에서 지속적으로 가장 낮은 SSCD(Self-Consistent Detection과의 유사도) 점수를 기록하며, 학습 이미지의 재현을 현저히 줄였습니다.
• 생성 품질: 많은 완화 전략들이 출력 품질을 저하시키는 것과 달리, BAF는 종종 미적 점수(AES)와 CLIP 점수를 향상시켰습니다. 저자들은 앵커링이 약한 채널을 제거함으로써 노이즈가 섞인 파라미터 방향을 제거한다고 설명합니다.
• 비교: BAF는 데이터 접근 불가 설정에서 추론 시간 베이스라인(RTA, 프롬프트 최적화, CFG-Reverse) 및 학습 시간 베이스라인(Deduplication, DP-LoRA)보다 뛰어난 성능을 보였습니다. 또한 학습 이미지에 접근해야 하는 AMG(Anti-Memorization Guidance)의 성능에 근접하면서도 데이터 의존성은 없었습니다.
• 실제 환경 시뮬레이션: 애니메이션 캐릭터, 유명인, 스타일을 포함하여 CivitAI에서 다운로드한 20개의 실제 저작권 LoRA에 대해, 인간 평가자들은 BAF가 시각적 품질을 유지하면서 캐릭터 재현을 억제하는 데 가장 효과적인 방법이라고 평가했습니다. 이는 모든 추론 시간 베이스라인보다 우수한 결과였습니다.

의의 및 주장

본 논문은 파라미터 공간의 구조 그 자체만으로도 암기와 유용한 적응을 구분할 수 있는 강력한 신호를 제공한다고 주장합니다. LoRA 업데이트와 사전 학습된 백본 사이의 기하학적 관계를 활용함으로써, BAF는 학습 데이터를 사용할 수 없는 개방형 모델 생태계에서 저작권 및 프라이버시 위험을 완화하기 위한 실질적인 솔루션을 제공합니다.

저자들은 이 연구를 개방형 생태계를 위한 데이터 프리(data-free) 안전 메커니즘을 향한 단계로 규정합니다. 이들은 BAF가 재학습, 원본 데이터 접근, 또는 특정 암기 내용에 대한 지식을 요구하지 않으므로, 호스팅 플랫폼과 LoRA를 안전하게 배포하고자 하는 다운스트림 사용자 모두에게 직접적으로 적용 가능하다는 점을 강조합니다.