기술 요약: 확산 모델에 대한 직교 개념 소거

문제 정의

텍스트-이미지 (T2I) 확산 모델은 뛰어난 생성 능력을 갖추고 있지만, 원치 않거나 안전하지 않으며 저작권이 있는 콘텐츠를 생성하기 쉽습니다. 개념 소거는 이러한 위험을 완화하기 위한 핵심적인 해결책으로 부상했으나, 기존 접근 방식들은 효과성, 효율성, 그리고 일반 생성 능력의 보존 사이에서 상당한 트레이드오프에 직면해 있습니다.

현재 방법들은 일반적으로 세 가지 범주로 나뉩니다:

1. 추론 시간 개입: 매개변수를 수정하지 않고 샘플링 궤적을 조정합니다. 이러한 방식은 우회 공격에 취약합니다.
2. 학습 기반 방법: 개념을 제거하기 위해 모델 매개변수를 미세 조정합니다. 효과적이기는 하지만 높은 계산 비용이 들고 여러 최적화 라운드가 필요하여 확장성이 제한됩니다.
3. 편집 기반 방법: 폐형 (closed-form) 해를 사용하여 모델 매개변수를 직접 수정합니다. 효율적이기는 하지만, 기존 편집 방법들은 일반적으로 가산적 매개변수 업데이트($W + \Delta$)에 의존합니다. 저자들은 이 패러다임의 핵심 한계를 지적합니다: 가산적 업데이트는 본질적으로 뉴런의 방향, 크기, 각도 기하학적 구조의 변화를 얽히게 만듭니다. 개념의 의미는 뉴런 방향에 크게 의존하는 반면, 전체 생성 능력은 각도 기하학적 구조의 보존에 달려 있기 때문에, 가산적 업데이트는 종종 불안정한 소거와 비대상 개념의 저하를 초래합니다.

방법론: 직교 개념 소거 (OCE)

본 논문은 **직교 개념 소거 (OCE)**를 제안합니다. 이는 기하학적 기반의 편집 기반 방법으로, 개념 소거를 가산적 교란이 아닌 승법적 직교 변환으로 재정의합니다.

1. 기하학적 분석

저자들은 통제된 실험을 통해 두 가지 주요 경험적 주장을 수립합니다:

• 주장 1 (C1): 확산 모델에서 개념 의미는 주로 뉴런 방향에 인코딩되며, 뉴런 크기는 의미 표현에 미미한 영향을 미칩니다.
• 주장 2 (C2): 각도 기하학적 구조(뉴런 간 각도 및 상관관계)를 보존하는 것은 모델의 전체 생성 품질을 유지하는 데 결정적입니다.

이를 바탕으로 OCE는 방향과 크기를 모두 교란시키는 가산적 업데이트를 피합니다. 대신, 투영 행렬 $W$(특히 교차 주의 계층의 키 및 값 행렬) 에 대해 층별 직교 변환 $P$를 적용하여 $W^* = PW$를 유도합니다. 이 연산은 목표 개념을 소거하기 위해 뉴런 방향을 회전시키면서도 뉴런 크기와 뉴런 간 각도 기하학적 구조는 엄격하게 보존합니다.

2. 문제 공식화

이 방법은 변환된 목표 개념과 그 앵커 사이의 거리를 최소화하면서, 변환된 비대상 개념과 원래 표현 사이의 거리도 최소화하는 직교 행렬 $P$($P^\top P = I$) 를 찾는 최적화 문제로 소거를 공식화합니다.

• 벡터 단위 목적 함수: 단일 개념 소거의 경우, 목적 함수는 목표 임베딩 $C_1$을 앵커 임베딩 $C^*$와 정렬시키고 유지 집합 $C_0$을 보존합니다. 이는 특이값 분해 (SVD) 를 사용하여 직교 프로크라스테스 (Orthogonal Procrustes) 문제를 해결함으로써 폐형 해 $P = UV^\top$를 얻습니다.

• 부분공간 단위 목적 함수: 다중 개념 소거의 경우, 여러 목표에 대해 엄격한 벡터 단위 정렬을 강제하면 상충되는 제약 조건이 발생합니다. OCE는 목적 함수를 부분공간 단위 투영으로 확장합니다. 이는 목표 부분공간과 앵커 부분공간을 정의하고, 앵커 부분공간의 직교 여집합에 있는 목표 부분공간의 성분을 억제합니다. 이는 앵커의 직교 여집합 외부에서 목표 부분공간의 에너지를 최소화하고, 유지 집합에 대해서는 벡터 단위 보존을 결합하여 달성됩니다.

3. 구현 세부 사항

• 전역 보존 우선순위 ($K_0$): 전역 안정성을 보장하기 위해, 이 방법은 대규모 데이터셋 (COCO-30k) 에서 일반적인 보존 우선순위 $K_0$를 사전 계산하여 다양한 소거 작업에서 재사용합니다.
• 비대칭 설계: 이 방법은 부분공간 단위 소거(다중 개념 시나리오의 상충을 처리하기 위해) 와 벡터 단위 보존(비대상 개념의 세밀한 보존을 보장하기 위해) 을 결합한 비대칭 공식을 사용합니다.
• 적대적 강건성: 이 프레임워크는 공격에 대한 강건성을 향상시키기 위해 적대적 편집 전략과 원활하게 통합될 수 있습니다.

주요 기여

1. 기하학적 재정의: OCE는 개념 의미가 방향에 의존하는 반면 생성 능력은 각도 기하학적 구조에 의존한다는 관찰에 이론적 기반을 둔, 가산적 편집에서 승법적 직교 편집으로의 패러다임 전환을 도입합니다.
2. 폐형 해: 이 방법은 SVD 를 통해 단일 및 다중 개념 소거에 대한 원칙적이고 효율적인 폐형 해를 제공하여 반복적 최적화의 필요성을 제거합니다.
3. 확장 가능한 부분공간 소거: 벡터 단위 소거를 구조화된 부분공간 단위 목적 함수로 확장함으로써, OCE 는 대규모 다중 개념 소거 (예: 100 개의 개념을 동시에 소거) 에서 발생하는 상충되는 제약 조건을 효과적으로 해결합니다.
4. 광범위한 적용성: 이 방법은 U-Net 기반 모델 (Stable Diffusion v1.4) 과 DiT 기반 모델 (FLUX.1 dev) 모두에 대한 전이성을 입증했습니다.

실험 결과

객체 소거, 예술적 스타일 소거, 유명인 소거, 그리고 암시적 개념 소거 (적대적 공격 포함) 에 대해 광범위한 실험이 수행되었습니다.

• 단일 개념 소거: CIFAR-10 객체 소거에서 OCE 는 가장 높은 조화 평균 점수 ($H_o$) 를 달성하여 평균 소거 실패율 ($A_{cce}$) 을 4.61% 로 낮추면서도 비대상 개념의 거의 완벽한 보존 ($A_{ccs} \approx 98.68\%$) 을 유지했습니다. UCE, MACE, SPEED 와 같은 최신 방법들보다 우수한 성능을 보였습니다.
• 다중 개념 소거: OCE 는 단일 단계에서 최대 100 개의 유명인 개념을 성공적으로 소거했으며, 단일 A100 GPU 에서 4.3 초 만에 프로세스를 완료했습니다. 소거된 개념의 수가 증가함에 따라 안정적인 성능을 유지한 반면, 다른 방법들은 생성 붕괴나 비대상 보존의 심각한 저하를 겪었습니다.
• 암시적 소거 및 강건성: 암시적 개념 소거 (예: NSFW 콘텐츠) 와 적대적 공격 (Ring-A-Bell, MMA-Diffusion) 하에서 OCE 는 특히 적대적 편집과 통합되었을 때 강력한 강건성을 입증하여, 일반적인 생성 품질 (높은 CLIP 점수, 낮은 FID) 을 보존하면서 낮은 공격 성공률 (ASR) 을 달성했습니다.
• 전이성: 이 방법은 핵심 편집 로직의 아키텍처 변경 없이 FLUX.1 dev 모델로 효과적으로 확장되어 객체, 스타일, 유명인의 효과적인 소거를 달성했습니다.

중요성과 주장

본 논문은 OCE 가 개념 소거를 위한 원칙적이고 효율적이며 확장 가능한 해결책을 제공한다고 주장합니다. 가산적 업데이트의 기하학적 한계를 해결함으로써, OCE 는 정밀한 개념 제거와 모델의 고유한 생성 능력 보존 사이에서 우수한 균형을 달성합니다.

저자들은 OCE 가 생성형 AI 모델의 안전성과 신뢰성을 향상시키기 위한 제어 가능한 메커니즘을 제공한다고 강조합니다. 이는 관련 없는 개념에 대한 최소한의 간섭으로 단일 및 다중 개념 소거를 지원하며, 콘텐츠 제작, 교육, 공공 플랫폼에서 더 안전한 AI 를 배포하기 위한 실용적인 경로를 제공합니다. 이 연구는 매개변수 공간에 대한 기하학적 관점이 확산 모델을 위한 더 효과적이고 안정적인 편집 패러다임으로 이어질 수 있음을 시사합니다.

인정된 한계:
저자들은 SVD 기반 부분공간 소거가 매우 큰 모델의 경우 계산 오버헤드를 초래할 수 있다고 지적합니다. 또한, 이 방법이 부분공간 수준에서 작동하기 때문에 생성된 출력은 정밀한 세밀한 앵커 개념과 정확히 일치하기보다는 중간 의미 영역에 속할 수 있으며, 이는 특정 편집 작업에서 적용 가능성을 제한할 수 있습니다. 복잡한 관계적 또는 구성적 개념을 소거하기 위해서는 추가적인 탐구가 필요합니다.