SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders

기술 요약: SAEmnesia: 지도 학습 기반 희소 오토인코더를 이용한 확산 모델의 개념 삭제

문제 정의
텍스트-이미지 확산 모델에서 개념 언러닝(concept unlearning)은 하나의 개념이 단일 단위에 국한되지 않고 여러 잠재 특징(뉴런)에 분산되어 나타나는 "특징 분할(feature splitting)" 현상으로 인해 어려움을 겪고 있습니다. 이러한 분산 표현, 즉 다의성(polysemanticity)은 특정 개념을 식별하고 제거하는 것을 어렵게 만듭니다. 기존 방식들은 수정할 올바른 잠재 조합을 찾기 위해 수많은 잠재 변수들을 전수 조사해야 하는 경우가 많으며, 이는 계산 비용을 매우 높게 만듭니다. 또한, 중첩된 잠재 변수들은 개념 간의 경계를 모호하게 만들어, 개입 과정에서 관련 개념에 의도치 않은 부작용을 일으킬 위험을 높입니다.

방법론
저자들은 지도 학습 기반 희소 오토인코더(supervised sparse autoencoder, SAE)를 활용하여 개념과 잠재 뉴런 사이의 일대일 매핑을 강제하는 SAEmnesia 프레임워크를 소개합니다. 사후적으로 특징을 발견하는 비지도 방식의 SAE와 달리, SAEmnesia는 이미지를 생성하는 데 사용된 텍스트 프롬프트를 사용하여 지도 학습 레이블을 훈련 과정에 직접 통합합니다.

핵심 기술 구성 요소는 다음과 같습니다:

1. 특징 중앙화(Feature Centralization): 훈련 중에 개념을 체계적으로 레이블링함으로써, 이 방법은 각 개념을 하나의 해석 가능한 뉴런에 결합하는 "특징 중앙화"를 달려합니다. 이는 개념이 여러 뉴런으로 쪼개지는 것을 방지합니다.
2. 지도 학습 손실 함수(Supervised Loss Function): 훈련 목적 함수는 표준 비지도 재구성 손실과 지도 학습 구성 요소($L_{supSAE}$)를 결합합니다. 이 지도 학습 손실은 다음으로 구성됩니다:
   • 개념 할당(Concept Assignment, CA) 손실: 입력에 해당하는 개념이 존재할 때 할당된 특정 잠재 변수가 강하게 활성화되도록 유도합니다.
   • 탈상관화(Decorrelation, DC) 손실: 서로 다른 매크로 그룹(예: 사물 vs 스타일)에 할订된 잠재 변수들의 활성화 패턴 간 상관관계를 처벌하여 얽힘을 해소(disentanglement)합니다.
   • 희소성 규제(Sparsity Regularization): 임의의 입력에 대해 대부분의 잠재 변수가 비활성 상태를 유지하도록 하는 $L_1$ 항입니다.
3. 추론 및 삭제: 특정 개념을 삭제하려면 단 하나의 잠재 변수만을 조절(steering)하면 됩니다. 이 특정 잠재 변수의 활성화 값에 음수 값을 곱하여(평균 활성화 값으로 정규화됨) 개념의 영향력을 억제합니다. 이 과정은 가역적입니다. SAE를 분리하면 원래의 모델이 정확히 복구됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

1. 지도 학습 SAE 프레임 된다: 개념과 잠재 변수 간의 일대일 매핑을 명시적으로 강제하는 지도 학습 SAE를 도입하여, 특징 분할을 제거하고 투명한 개념 제어를 가능하게 합니다.
2. 삭제의 효율성: 이러한 구조를 통해 단일 잠재 변수를 조절함으로써 개념 삭제가 가능함을 입증하였으며, 이는 추론 시 하이퍼파라미터 탐색 필요성을 대폭 줄여줍니다.
3. 성능 향상: UnlearnCanvas 벤치마크에서 기존의 최첨단 기계론적 접근 방식보다 우수한 결과를 달ことを 보여주었으며, 순차적 언러닝에서의 확장성, 적대적 공격에 대한 강력한 내성, 그리고 NSFW 콘텐츠의 효과적인 억제력을 입증했습니다.

실험 결과
Stable Diffusion v1.5를 사용하여 UnlearnCanvas 벤치마크에서 평가한 결과, SAEmnesia는 현재 최첨단 SAE 기반 방식인 SAeUron 및 기타 언러닝 방식보다 유의미한 개선을 보였습니다:

• 벤치마크 성능: SAEmnesia는 사물 언러닝에서 91.51%의 평균 점수를 기록하여, SAeUron(82.29%) 대비 9.22%의 절대적 향상을 달성했습니다. 이는 언러닝 정확도(UA), 도메인 내 유지 정확도(IRA), 교차 도메인 유지 정확도(CRA) 전반에서 일관된 이득을 보여줍니다.
• 계산 효율성: 여러 잠재 조합을 탐색하는 것에서 개념당 단 하나의 승수(multiplier)를 튜닝하는 것으로 탐색 공간을 줄임으로써, 하이퍼파라미터 탐색 요구량을 96.67%(210회 평가에서 7회로) 감소시켰습니다.
• 순차적 언러닝: 9개의 사물을 순차적으로 제거하는 작업에서 SAEmnesia는 베이스라인 대비 언러닝 정확도를 28.4% 개선하여 우수한 확장성을 입증했습니다.
• 강건성: 화이트박스 적대적 공격(UnlearnDiffAtk) 하에서 SAEmnesia는 57.50%의 언러닝 정확도를 유지한 반면, SAeUron은 34.20%를 기록했습니다. 또한 블랙박스 공격(Ring-A-Bell)에서도 회복력을 보여주었습니다.
• NSFW 억제: 누드 제거를 위한 I2P 벤치마크에서, 이 방법은 생성 품질을 유지하면서 최첨단 결과(SAeUron의 18건 대비 9건 탐지)를 달성했습니다.

의의 및 주장
본 논문은 SAEmnesia를 생성 모델을 위한 "정밀하고 제어 가능한 개념 삭제"를 향한 진전으로 규정합니다. 분포된 표현을 집중된 단일 의미 특징으로 변환함으로써, 이 방법은 이전의 언러닝 기술들을 저해했던 근본적인 해석 가능성 문제를 해결합니다. 저자들은 이 접근 방식이 기본 모델의 가중치를 수정하지 않고도 생성 동작에 대한 미세한 제어를 가능하게 하며, 해롭거나 부적절하거나 저작권이 있는 콘텐츠를 제거하기 위한 완전 가역적이고 투명한 메커니즘을 제공한다고 주장합니다. 본 연구는 이것이 안전한 배포를 위한 연구 도구로서 기능하지만, 신뢰성을 보장하기 위해 엄격한 평가 및 거버넌스 메커니즘과 함께 적용되어야 함을 강조합니다.