[기술 요약] TRUST: 표적화되고 강건한 개념 언러닝을 위한 선택적 미세 조정

1. 문제 정의 (Problem Statement)

텍스트 가이드 확산 모델(Text-guided Diffusion Models)은 강력한 이미지 생성 능력을 갖추고 있지만, 유해하거나 부적절한 콘텐츠(예: 선정성, 편향성, 조작된 정보)를 생성하는 데 악용될 위험이 있습니다. 기존의 개념 언러닝(Concept Unlearning) 방식들은 다음과 같은 한계점을 가집니다:

• 강건성 부족 (Lack of Robustness): 단순한 프롬프트 변형이나 적대적 공격(Adversarial Attacks)에 의해 유해 개념이 다시 생성될 수 있습니다.
• 유틸리티 저하 (Utility Degradation): 특정 개념을 지우려 할 때, 지우고자 하지 않은 무해한 개념(Non-targeted concepts)의 생성 품질까지 떨어지는 '파괴적 간섭'이 발생합니다.
• 조합 개념 처리의 어려움 (Concept Combination Issues): 개별적으로는 무해한 개념(예: '아이', '맥주')이 조합되었을 때 유해한 결과(예: '맥주를 마시는 아이')를 만드는 경우, 이를 정밀하게 분리하여 지우는 것이 매우 어렵습니다.
• 계산 효율성 및 정적 로컬라이제이션: 기존 방식은 모델 전체를 미세 조정하여 비용이 많이 들거나, 개념을 담당하는 뉴런의 위치를 고정된 것으로 간주하여 학습 과정 중 발생하는 표현 변화(Representation drift)를 반영하지 못합니다.

2. 제안 방법론 (Methodology: TRUST)

본 논문은 **TRUST (Targeted Robust Selective fine-Tuning)**라는 프레임워크를 제안합니다. 핵심 아이디어는 개념을 담당하는 뉴런을 동적으로 식별하고, 두 가지 상호 보완적인 목적 함수를 통해 선택적으로 미세 조정하는 것입니다.

A. 동적 개념 뉴런 식별 (Discovering Concept Neurons)

기존의 노이즈 기반 방식 대신, **CLIP Score 기반의 정렬 목적 함수($L_{cu}$)**를 사용하여 개념 뉴런을 찾습니다.

• 특정 개념 프롬프트($c_u$)와 생성된 이미지($I_{cu}$) 사이의 CLIP Score에 대한 그래디언트(Gradient)를 계산합니다.
• 이 그래디언트가 임계값($\gamma$)을 넘는 파라미터를 '개념 뉴런'으로 정의하는 **Saliency Mask($M_r$)**를 생성합니다.
• 동적 업데이트: 학습 단계마다 이 마스크를 재계산하여, 학습 과정에서 변화하는 뉴런의 위치를 실시간으로 반영합니다.

B. 두 가지 언러닝 목적 함수 (Unlearning Objectives)

TRUST는 상황에 따라 선택할 수 있는 두 가지 전략을 제공합니다:

1. CIP (Concept Influence Penalty - Hard Unlearning):
   • 개념 뉴런의 개수(Cardinality)를 직접적으로 최소화하여 희소성(Sparsity)을 유도합니다.
   • 특정 개념의 영향을 강력하게 제거할 때 유리하지만, 주변 개념에 영향을 줄 가능성이 있습니다.
2. CSR (Concept Sensitivity Reduction - Soft Unlearning):
   • 개념 뉴런의 그래디언트 크기를 최소화하여, 해당 뉴런이 출력에 미치는 '민감도'를 낮춥니다.
   • Hessian(2차 미분) 정보를 간접적으로 활용하여 곡률을 조절하며, 개념 조합(Combination)을 지우면서도 개별 구성 요소의 유틸리티를 보존하는 데 탁월합니다.

C. 선택적 미세 조정 (Selective Fine-tuning)

모델 전체가 아닌, 식별된 개념 뉴런(Cross-Attention 레이어의 Q, K, V 프로젝션 행렬)에 대해서만 업데이트를 수행하여 계산 효율성을 극대화하고 무해한 개념의 손상을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 뉴런 식별법: CLIP Score 정렬을 기반으로 한 그래디언트 방식의 개념 뉴런 식별법을 제안하여, 개별 개념뿐만 아니라 복잡한 개념 조합까지 정밀하게 찾아냅니다.
2. 이중 전략 제공: 강한 제거를 위한 CIP와 부드러운 분리를 위한 CSR이라는 두 가지 최적화 경로를 제시합니다.
3. 동적 마스킹 프레임워크: 학습 중 뉴런의 위치 변화를 실시간으로 반영하는 end-to-end 프레임워크(TRUST)를 구축했습니다.

4. 실험 결과 (Results)

• 강건성 (Robustness): 적대적 프롬프트 공격(P4D, Ring-a-Bell 등)에 대해 기존 SOTA 모델들보다 훨씬 낮은 공격 성공률(ASR)을 기록하며 강력한 방어력을 입증했습니다.
• 유틸리티 보존 (Utility Preservation): 유해 개념을 지운 후에도 무해한 개념의 생성 품질($\Delta FID = 0.02$)과 의미적 충실도(CLIP/TIFA Score)를 거의 완벽하게 유지했습니다.
• 조합 및 조건부 개념 제거 (CCE & CoCE): '개념 조합 제거(CCE)'와 새로운 과제인 '조건부 개념 제거(CoCE)'에서 기존 방식(CoGFD 등)보다 훨씬 적은 단계(Steps)로 더 정밀한 언러닝을 수행했습니다.
• 효율성 (Efficiency): 기존 SOTA 대비 학습 속도가 현저히 빠르며, 매우 적은 양의 이미지(약 350장)만으로도 효과적인 언러닝이 가능함을 보였습니다.

5. 의의 (Significance)

TRUST는 확산 모델의 안전성을 확보하는 데 있어 **'정밀 타격(Precision Strike)'**이 가능하다는 것을 보여주었습니다. 단순히 모델의 지식을 뭉뚱그려 지우는 것이 아니라, 개념 간의 복잡한 관계를 이해하고 필요한 부분만 선택적으로 수정함으로써, 모델의 창의적 능력(Utility)을 해치지 않으면서도 윤리적 가이드라인을 준수할 수 있는 실용적인 방법론을 제시했다는 점에서 큰 의의가 있습니다.