The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models

기술 요약: 언러닝된 확산 모델 내 해석 가능한 토큰의 선형 기하학

문제 정의
확산 모델(Diffusion Models, DMs), 특히 텍text-to-image(T2I) 모델은 고품질의 콘텐츠를 생성하는 데 탁월하지만, 유해한 개념(예: 누드, 저작권이 있는 스타일 또는 특정 객체)을 기억하고 재현함으로써 안전 문제를 야기할 수 있습니다. 머신 언러닝(Machine Unlearning, MU) 방법들은 처음부터 다시 학습시키는 대신, 사전 학습된 모델을 미세 조정(fine-tuning)하여 이러한 개념을 "지우는" 데 개발되었습니다. 그러나 기존의 언러닝 방법들은 안전한 콘텐츠에 대한 생성 품질을 유지하면서 유해한 개념을 완전히 제거하는 데 어려움을 겪습니다. 결과적으로, 언러닝된 모델은 공격자가 프롬프트를 조작하여 지워진 개념을 재생성하도록 유도하는 탈옥(jailbreaking) 공격에 여전히 취약한 상태로 남게 됩니다.

현재의 탈옥 접근 방식(예: 적대적 프롬프트 최적화 또는 임베딩 기반 공격)은 종종 비해석적이고 최적화 기반인 섭동(perturbation)에 의존합니다. 이러한 방식은 효과적이긴 하지만, 유해한 개념이 모델의 내부 상태 내에서 어떻게 지속되는지에 대한 통찰력을 제공하는 데 한계가 있습니다. 이러한 해석 가능성의 결여는 견고하고 표적화된 방어 전략의 개발을 저해합니다. 또한, 이미 언러닝된 모델에 적용할 수 있는 경량화된 사후(post-hoc) 방어 메커니즘은 적대적 재학습 접근 방식에 비해 아직 충분히 탐구되지 않았습니다.

본 논문은 지워진 개념이 완전히 사라지는 것이 아니라, 래턴트 확산 모델(Latent Diffusion Models, LDMs)에서 사용되는 CLIP 텍스트 인코더의 토큰 임베딩 공간 내에서 일관되고 해석 가능한 선형 부공간(linear subspace)으로 지속된다는 가설을 제안합니다. 이 가설을 바탕으로, 저자들은 두 가지 상호 보완적인 방법인 SubAttack과 SubDefense를 도입합니다.

1. SubAttack (부공간 공격):

   • 목표: 잔류하는 유해한 개념의 부공간을 식별하고 활용하는 것입니다.
   • 메커니즘: 이 방법은 잔류 부공간을 생성하는 일련의 직교하는 공격 토큰 임베딩 $\{v_{att, k}\}$를 학습합니다. 각 임베딩은 기존 어휘 토큰 임베딩의 비음수 선형 결합($v_{att} = \sum \alpha_i v_i, \alpha_i \geq 0$)이 되도록 제약됩니다.
   • 최적화: 생성된 이미지가 대상 유해 개념을 포함할 때 디노이징 손실(denoising loss)을 최소화하도록 계수 $\alpha_i$를 최적화하기 위해 MLP 네트워크를 학습시킵니다.
   • 감퇴(Deflation): 여러 개의 직교하는 임베딩을 학습하기 위해 저자들은 감퇴 전략을 사용합니다. $v_{att, k}$를 학습한 후, 다음 임베딩을 학습하기 전에 전체 어휘를 $v_{att, k}$에 대해 직교 투영합니다. 이를 통해 다양성을 확보하고 잔류 개념의 전체 부공간을 포착합니다.
   • 해석 가능성: 임베딩이 기존 토큰들의 선형 결합이기 때문에, 가중치가 높은 상위 토큰들을 추출하여 분석할 수 있습니다(예: WordCloud 활용). 이를 통해 언러닝된 모델이 지워진 개념과 여전히 연관 짓고 있는 의미론적 구성 요소(예: "slave", "hips", "nip")를 밝혀낼 수 있습니다.

2. SubDefense (부공간 방어):

   • 목표: SubAttack을 통해 식별된 잔류 부공간을 무력화하는 것입니다.
   • 메커니즘: 공격 부공간 $V_{att}$(학습된 직교 임베딩들에 의해 생성된 공간)가 식별되면, SubDefense는 언러닝된 모델의 어휘에 있는 토큰 임베딩을 $V_{att}$의 영공간(nullspace)으로 투영합니다.
   • 업데이트 규칙: 어휘 내의 모든 토큰 임베딩 $v_i$에 대해, 방어 업데이트는 $v_{def, i} = v_i - \text{Proj}_{V_{att}}(v_i)$로 수행됩니다.
   • 플러그 앤 플레이(Plug-and-Play): 이 연산은 경량화되어 있으며 확산 모델의 가중치를 재학습할 필요가 없습니다. 이는 ESD, FMN과 같이 적대적 미세 조정을 거친 모델을 포함하여 모든 언러닝된 모델에 적용될 수 있습니다.

주요 기여

• 해석 가능한 잔류 부공간 식별: 본 논문은 언러닝된 DM에서의 유해한 개념이 토큰 임베딩 공간 내에서 인간이 해석 가능한 텍스트 요소들로 구성된 선형 부공간으로서 지속된다는 것을 입증합니다.
• SubAttack: 잔류 부공간을 포괄하는 직교 토큰 임베딩을 학습하는 새롭고 해석 가능한 탈옥 공격입니다. 이는 공격 성공률(ASR) 측면에서 기존 베이스라인보다 우수한 성능을 보이며, 다양한 프롬프트, 초기 노이즈 및 언러닝된 모델에 대해 높은 전이성을 입증했습니다.
• SubDefense: 식별된 잔류 부공간을 투영하여 제거하는 견고하고 경량화된 방어 메커니즘입니다. 이는 다양한 탈옥 공격(적대적 프롬프트 및 임베딩 공격 포함)에 대한 견고성을 높이는 동시에, RECE와 같은 기존 방어책에 비해 안전한 생성 품질을 더 잘 보존합니다.
• 언러닝의 한계에 대한 통찰: 본 연구는 언러닝이 표면적인 키워드는 억제하지만, 선형 부공간에 의해 포착되는 더 깊고 암시적인 연관 관계(예: "garbage truck"에 대한 "dumpster" 또는 "nudity"에 대한 "slave")는 제거하지 못한다는 점을 밝혀냈습니다.

실험 결과

• 공격 성능: SubAttack은 여러 개념(누드, 반 고흐 스타일, 교회)과 여러 언러닝된 모델(ESD, FMN, UCE, SPM)에 대해 기존 베이스라인(UnlearnDiff 및 CCE)보다 현저히 높은 ASR을 달umps했습니다. 예를 들어, ESD, FMN, UCE, SPM에 걸친 "누드" 개념에 대해 SubAttack은 각각 97.56%, 100%, 81.67%, 74.89%의 ASR을 기록하며 CCE와 UnlearnDiff를 능가했습니다.
• 전이성: 한 언러닝 모델(예: ESD)에서 학습된 공격 임베딩은 다른 모델(FMN, SPM, UCE)은 물론 원래의 Stable Diffusion 모델로도 효과적으로 전이되었으며, ASR은 일관되게 80% 이상을 유지했습니다.
• 방어 성능: SubDefense는 다양한 공격에 대해 ASR을 크게 감소시켰습니다. 예를 들어, "Van Gogh" 개념에 대해 UCE를 대상으로 한 SubAttack 방어 시, ASR은 98.33%에서 29.44%로 떨어졌습니다. 또한 UnlearnDiff 및 CCE 공격에 대해서도 ASR을 감소시켰습니다.
• 품질 보존: 이미지 품질를 저하시키는 일부 방어책과 달리, SubDefense는 안전한 프롬프트(MSCOCO-10k 데이터셋)에 대해 베이스라인인 RECE 방어보다 FID 및 CLIP 점수를 유지하거나 개선했습니다.
• 상보성: SubDefense는 STEREO와 같은 적대적 미세 조정된 모델 위에도 적용될 수 있음이 확인되었으며, ASR을 21.67%에서 6.67%로 추가 감소시켰습니다. 이는 SubDefense가 적대적 훈련과는 다른 유형의 취약점(선형 잔류물)을 다루고 있음을 나타냅니다.

의의 및 주장
본 논문은 언러닝된 모델에서의 유해한 개념의 지속성이 무작위적인 노이즈가 아니라, 이용 가능하면서도 완화 가능한 구조적이고 선형적인 현상이라고 주장합니다. 문제를 토큰 임베딩의 선형 기하학 관점에서 프레이밍함으로써, 저자들은 취약성(SubAttack)과 방어(SubDefense)를 이해하기 위한 통합된 프레임워크를 제공합니다.

이 연구의 의의는 모호한 최적화 기반 공격에서 해석 가능한 부공간 기반 분석으로 패러다임을 전환했다는 데 있습니다. 이 접근 방식은 현재의 언러닝 기술에 대한 더 깊은 취약성을 드러낼 뿐만 아니라, 재학습을 요구하지 않는 실용적이고 모델 불가지론적인(model-agnostic) 방어 전략을 제공합니다. 저자들은 선형 투영이 비선형적인 잔재를 포착할 수는 없다는 점(자신들이 인정한 한계점)을 강조하면서도, 선형 잔류 부공간을 해결하는 것이 생성형 AI를 위한 더욱 견고하고 해석 가능한 안전 메커니즘을 구축하는 데 있어 결정적인 첫걸음임을 역설합니다.