기술 요약: 빈 공간 (SPACE)

문제 정의

방대하고 필터링되지 않은 데이터셋으로 훈련된 텍스트-이미지 (T2I) 확산 모델 (DM) 은 저작권이 있는 자료와 작업 환경에 부적절 (NSFW) 한 이미지 등 원치 않는 콘텐츠를 생성하는 경우가 많습니다. 모델을 재훈련하는 것은 계산 비용이 너무 많이 들고, 생성 후 필터링은 우회될 수 있으므로, **가중치 수정을 통한 개념 소거 (concept erasure)**가 강력한 개입 수단이 됩니다.

기존의 폐쇄형 (closed-form) 개념 소거 방법 (예: UCE, RECE, SPEED) 은 역전파 없이 교차 주의 (cross-attention) 가중치를 업데이트하여 발산 기반 미세 조정보다 속도가 빠릅니다. 그러나 이러한 방법들은 작은 아키텍처 (예: Stable Diffusion 1.5) 에서 더 큰 아키텍처 (예: Stable Diffusion XL) 로 확장될 때 성능이 크게 저하되는 경향을 보입니다. 저자들은 이 실패를 교차 주의 파라미터의 급격한 증가 (Keys/Values 의 경우 19M 에서 340M 로 증가) 에 기인한다고 보며, 고차원 파라미터 공간의 고유한 중복성으로 인해 개념별 정보가 대규모 가중치 행렬에 분산되어 밀집된 최소 노름 (minimum-norm) 업데이트가 무효화되기 때문이라고 설명합니다.

방법론: 교차 주의 기반 희소 개념 소거 (SParse cross-Attention-based Concept Erasure, SPACE)

SPACE 는 대규모 모델에서 효과적인 개념 소거를 달성하기 위해 교차 주의 레이어 내에서 **파라미터 희소성 (parameter sparsity)**을 유도하는 새로운 접근법을 제안합니다. 이전의 희소성 기반 학습 제거 (unlearning) 기술들이 역전파에 의존하는 것과 달리, SPACE 는 **폐쇄형 반복 업데이트 (closed-form iterative update)**를 통해 작동합니다.

핵심 공식화

이 방법은 통합 개념 편집 (Unified Concept Editing, UCE) 프레임워크를 기반으로 하되, 최적화 목적 함수에 $L_1$ 정규화 항을 포함하도록 수정합니다. 목표는 소거 및 보존 손실을 최소화하면서 희소성 제약을 만족하는 가중치 행렬 $W$를 찾는 것입니다:

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

여기서:

• $\mathcal{L}(W)$는 대상 개념 소거 ($E$), 비대상 개념 보존 ($P$), 원래 가중치 ($W^o$) 와의 근접성 유지를 위한 항으로 구성된 표준 UCE 손실입니다.
• $\|W\|_{1,1}$은 희소성을 촉진하는 요소별 $L_1$ 노름입니다.
• $\lambda$는 희소성 강도를 조절합니다.

FISTA 를 통한 최적화

$L_1$ 노름의 비부드러움 (non-smoothness) 으로 인해 일회성 폐쇄형 해는 불가능합니다. SPACE 는 이 볼록 최적화 문제를 해결하기 위해 **고속 반복 축소-임계값 알고리즘 (Fast Iterative Shrinkage-Thresholding Algorithm, FISTA)**을 사용합니다.

1. 그래디언트 단계: 손실의 부드러운 부분 ($\nabla \mathcal{L}$) 의 그래디언트를 계산합니다. 리프시츠 상수 $L$은 개념 임베딩 행렬의 특이값을 기반으로 분석적으로 유도되어 적응형 단계 크기를 보장합니다.
2. 축소 (Shrinkage) 단계: 희소성을 강제하기 위해 그래디언트 단계에 축소 연산자 $T_{\alpha}$를 적용합니다:
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. 모멘텀: 모멘텀을 사용하여 보조 변수 $\theta$를 업데이트하여 수렴 속도를 가속화합니다 ($O(1/k^2)$).

이 과정은 반복적으로 교차 주의 파라미터를 수정하여, 개념 매핑을 고영향 파라미터의 저차원 부분 공간으로 집중시키고 중복된 가중치를 0 으로 만듭니다.

주요 기여

1. 소거를 위한 희소성 유도: 이 논문은 대규모 모델 (SDXL) 에서 밀집된 폐쇄형 방법이 실패하는 상황에서 효과적인 개념 소거를 위해 교차 주의 파라미터에 희소성을 유도하는 것이 결정적임을 입증합니다.
2. 폐쇄형 희소성: SPACE 는 파라미터 희소성을 폐쇄형 업데이트 절차에 통합한 최초의 프레임워크로, 다른 희소성 기반 학습 제거 방법에서 요구되는 역전파의 계산 비용을 회피합니다.
3. 저장 효율성: 교차 주의 가중치에서 80%~90% 의 희소성을 달성함으로써, SPACE 는 수정된 파라미터의 저장 공간을 약 70% 줄입니다 (압축 희소 행 형식 사용). 이는 확장 가능한 모델 개인화와 엣지 배포를 용이하게 합니다.
4. 강건성: 이 방법은 소거된 개념을 다시 불러오도록 설계된 적대적 프롬프트에 대한 강건성을 크게 향상시킵니다.

실험 결과

저자들은 Stable Diffusion XL (SDXL), Stable Diffusion 1.5 (SD1.5), Juggernaut-XL에 대해 SPACE 를 평가했으며, 주요 두 가지 작업인 예술적 스타일 소거와 나체 소거를 수행했습니다.

• 예술적 스타일 소거 (SDXL): SPACE 는 단일 및 여러 작가 (예: 반 고흐, 모네, 피카소) 의 스타일 소거에서 최첨단 베이스라인 (CAbl, SAFREE, UCE, RECE, SPEED) 보다 우수한 성과를 거두었습니다. 대상에 대한 소거 효과성 (낮은 CLIP 점수/정확도) 과 비대상 스타일 보존 사이의 최적 균형을 달성했습니다. 특히 UCE 는 다중 작가 시나리오에서 스타일을 효과적으로 소거하지 못했지만, SPACE 는 높은 효과를 유지했습니다.
• 나체 소거:
  • SD1.5: SPACE(강한 희소성 적용) 는 I2P 벤치마크에서 나체 생성률을 0.028 로 낮추어 UCE(0.394) 및 기타 학습 없는 방법들을 능가했습니다.
  • SDXL 및 Juggernaut-XL: SPACE 는 UCE 및 SPEED 에 비해 나체 생성을 크게 줄였습니다. 예를 들어, SDXL 에서 SPACE 는 나체 부위의 총 개수를 16 개로 줄인 반면 (UCE 는 37 개), UCE 보다 현저히 낮았습니다.
• 강건성: SPACE 는 밀집형 베이스라인에 비해 적대적 프롬프트 (Ring-A-Bell, MMA-Diffusion) 에 대해 더 우수한 저항력을 보여주었습니다.
• 효율성:
  • 메모리: SPACE 는 다른 가중치 수정 방법 (예: 19GB 의 CAbl) 보다 적은 VRAM(8GB) 을 요구합니다.
  • 저장: SDXL 의 수정된 가중치는 밀집형 (630MB) 에서 희소형 (188MB) 으로 약 70% 감소했습니다.
  • 시간: 소거는 1000 회 반복 시 약 2 분이 소요되며, 역전파 기반 방법 (예: 17 분의 CAbl) 보다 약 10 배 빠릅니다.

의의 및 주장

이 논문은 SPACE 가 학습 없는 효율성과 대규모 모델의 효과성 사이의 간극을 메운다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 교차 주의 희소성을 유도하는 것은 단순한 최적화 기술이 아니라, 전통적인 밀집 업데이트가 실패하는 고차원 영역에서 성공적인 학습 제거를 위한 결정적 메커니즘입니다.
• 이 방법은 저장 요구 사항을 크게 줄여 구조적 이점을 제공하므로, 경량 모듈의 빠른 교체가 필요한 환경 (예: 다중 사용자 엣지 배포) 에 적합합니다.
• 이 접근법은 이전 소거 기술의 주요 한계점인 적대적 공격에 대한 강건성을 향상시킵니다.

저자들은 범위에 대해 겸손한 어조를 유지하며, 희소성은 예술적 스타일과 나체와 같은 복잡한 개념에 중요하지만, 사물이나 특정 유명인사와 같은 단순한 개념의 경우 효과적인 소거를 위해 반드시 희소성이 필요하지는 않다고 언급합니다. 다만, 이러한 경우에도 SPACE 는 저장 이점을 제공합니다. 이 연구는 더 안전하고 효율적이며 확장 가능한 확산 모델 배포를 위한 한 걸음으로 제시됩니다.