Continual Unlearning for Text-to-Image Diffusion Models: A Regularization Perspective

이 논문은 텍스트-이미지 확산 모델의 지속적 망각 (continual unlearning) 과정에서 발생하는 성능 저하 문제를 규명하고, 정규화 기법과 그라디언트 투영 방법을 통해 망각 대상과 유사한 개념의 보존을 강화하는 새로운 해결책을 제시합니다.

핵심

🎨 비유: "완벽한 요리사 AI 와 잊혀야 할 레시피들"

상상해 보세요. AI 는 세상의 모든 요리 레시피를 배운 천재 요리사입니다. 이 요리사는 '고양이'를 그릴 수도 있고, '반 고흐 스타일'로 그릴 수도 있습니다.

하지만 가끔은 문제가 생깁니다.

• "이 요리사는 특정 저작권이 있는 레시피를 절대 쓰면 안 돼."
• "어떤 유해한 재료는 더 이상 넣으면 안 돼."
• "어떤 사람의 얼굴은 더 이상 그려서는 안 돼."

이때 우리는 AI 에게 "이거 잊어!"라고 요청합니다.

1. 기존 방법의 문제: "한 번에 잊으려다 모든 걸 망침"

기존 연구들은 "잊어야 할 것들"을 한 번에 모두 모아 AI 에게 "이거 다 잊어!"라고 시켰습니다. 이때는 잘 작동했습니다.

하지만 현실은 다릅니다.

• 오늘: "A 라는 스타일 잊어!"
• 내일: "B 라는 스타일 잊어!"
• 모레: "C 라는 스타일 잊어!"

이렇게 순서대로 하나씩 잊게 하려고 하면, AI 는 점점 망가집니다.

비유: 요리사가 매일매일 새로운 레시피를 지우려고 하다 보니, 머릿속이 혼란스러워져서 아예 '고양이' 그리는 법도 잊어버리고, '사과' 그리는 법도 엉망이 되어버린 것입니다.

논문에서는 이를 **"유용성 붕괴 (Utility Collapse)"**라고 부릅니다. 잊어야 할 것만 지우려다, 원래 가지고 있던 좋은 능력까지 다 잃어버리는 현상입니다.

2. 왜 이런 일이 생길까요? "머릿속의 흔적 (파라미터) 이 너무 많이 움직여서"

AI 의 머릿속은 수많은 숫자 (파라미터) 로 이루어져 있습니다.

• 한 번에 잊기: 모든 것을 동시에 지우면, 숫자들이 한 번에 정리되어 안정적입니다.
• 순서대로 잊기: 하나씩 지울 때마다 숫자들이 계속 움직입니다. 마치 진흙탕을 계속 발로 밟고 지나가는 것처럼, 원래 있던 깨끗한 상태 (사전 학습된 상태) 에서 점점 더 멀어집니다. 그 결과, AI 는 원래 하던 일도 제대로 못 하게 됩니다.

3. 이 연구의 해결책: "잊을 때는 조심스럽게, 그리고 똑똑하게"

저자들은 이 문제를 해결하기 위해 세 가지 핵심 전략을 제안합니다.

① "조금만 움직여" (정규화, Regularization)

비유: 요리사가 레시피를 지울 때, "너무 크게 움직이지 마! 원래 자리에서 살짝만 비틀어!"라고 말해주는 것입니다.

AI 가 잊는 작업을 할 때, 원래 있던 위치에서 너무 멀리 떨어지지 않도록 **제한 (규제)**을 걸어줍니다. 이렇게 하면 잊어야 할 것만 지워지고, 다른 능력은 그대로 유지됩니다.

② "중요한 부분만 건드려" (선택적 미세 조정)

비유: 요리사가 레시피를 고칠 때, 책 전체를 다시 쓰는 게 아니라 해당 레시피에 관련된 페이지만 살짝 수정하는 것입니다.

AI 의 모든 숫자를 다 바꾸지 않고, 잊어야 할 개념과 가장 관련이 깊은 부분만 살짝 건드려서 수정합니다. 나머지 부분은 건드리지 않아서 원래 능력을 보존합니다.

③ "비슷한 것까지 망치지 않게" (기울기 투영, Gradient Projection) - 가장 중요한 발견

비유: "반 고흐 스타일"을 지우려고 할 때, "모네 스타일"이나 "입체파" 같은 비슷한 스타일까지 같이 지워버리면 안 됩니다.

연구자들은 AI 가 잊을 때, 의도치 않게 비슷한 개념까지 망치는 현상을 발견했습니다. 그래서 "비슷한 개념이 있는 방향으로는 절대 움직이지 마!"라고 강제적으로 방향을 틀어주는 기술을 개발했습니다.

마치 물속에서 물고기를 잡을 때, 물고기는 잡되 옆에 있는 산호초는 건드리지 않도록 조심스럽게 그물을 던지는 것과 같습니다.

---

🚀 요약: 이 연구가 왜 중요한가요?

1. 현실적인 문제 해결: AI 에게 "잊어"라는 요청은 한 번에 오는 게 아니라, 시간이 지남에 따라 계속 들어옵니다. 이 연구는 그 순차적인 상황을 가장 먼저 체계적으로 분석했습니다.
2. 안전한 AI: 저작권이나 유해한 내용을 지워도, AI 가 여전히 유용하게 쓰일 수 있게 해줍니다. (예: "폭력적인 이미지"는 지워도 "예쁜 꽃"은 여전히 잘 그릴 수 있어야 함)
3. 쉬운 적용: 새로운 복잡한 알고리즘을 만드는 게 아니라, 기존 방법 위에 **작은 보조 장치 (규제)**를 붙여서 성능을 획기적으로 높였습니다.

결론적으로, 이 논문은 "AI 가 기억력을 잃지 않고, 필요한 것만 정확히 잊을 수 있는 방법"을 찾아내어, 더 안전하고 신뢰할 수 있는 생성형 AI 를 만드는 데 중요한 발걸음이 되었습니다.

기술 요약

이 논문은 텍스트-이미지 생성 확산 모델 (Diffusion Models) 에서 **연속적 기계 학습 (Continual Unlearning, CU)**의 문제점을 체계적으로 연구하고, 이를 해결하기 위한 정규화 (Regularization) 기반의 새로운 접근법을 제안합니다. 기존 연구들이 한 번에 여러 개념을 삭제하는 가정을 했다면, 이 논문은 현실 세계의 시나리오인 순차적으로 들어오는 삭제 요청에 초점을 맞추고 있습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 생성형 AI 모델은 저작권 침해, 편향성, 유해 콘텐츠 생성 등의 윤리적/법적 위험을 내포하고 있어, 특정 개념 (예: 특정 화가 스타일, 특정 인물) 을 모델에서 삭제하는 '기계 학습 (Machine Unlearning)'이 필수적입니다.
• 현실적 한계: 기존 삭제 방법론들은 대부분 삭제 요청이 한 번에 모두 들어온다고 가정합니다. 그러나 실제로는 시간이 지남에 따라 순차적으로 요청이 들어옵니다 (예: 오늘 A 스타일 삭제 요청, 내일 B 스타일 삭제 요청).
• 핵심 문제 (Utility Collapse): 순차적으로 삭제 요청을 처리할 때, 기존 방법론들은 **급격한 유틸리티 붕괴 (Rapid Utility Collapse)**를 겪습니다. 몇 번의 삭제 요청만으로도 모델이 삭제된 개념뿐만 아니라 유지해야 할 다른 개념 (Retained Knowledge) 도 잊어버리게 되며, 생성된 이미지의 품질이 급격히 저하됩니다.

2. 원인 분석 (Root Cause Analysis)

• 누적 파라미터 이동 (Cumulative Parameter Drift): 저자들은 이 실패의 원인을 초기 사전 학습 가중치 (Pre-trained weights) 에서부터의 누적된 파라미터 이동으로 규명했습니다.
• 이론적 근거: 유지 손실 (Retention Loss) 의 변화를 테일러 급수 (Taylor expansion) 로 근사해 보면, 손실의 변화량은 파라미터 업데이트의 크기 ($\|\theta^* - \theta^\dagger\|$) 에 비례합니다. 순차적 삭제는 매번 이전 삭제된 모델을 기반으로 학습을 진행하므로 파라미터가 초기 가중치에서 점점 더 멀어지게 되어, 유지해야 할 개념들의 성능이 떨어집니다.
• 시맨틱 간섭 (Semantic Interference): 특히 의미적으로 유사한 개념들 (예: 'Van Gogh' 스타일과 'Cubism' 스타일) 사이에서는 간섭이 심해, 한 개념을 삭제할 때 유사한 개념까지 함께 손상되는 현상이 발생합니다.

3. 제안 방법론 (Methodology)

저자는 기존 삭제 알고리즘 (ConAbl, SculpMem 등) 을 대체하는 것이 아니라, 기존 방법과 호환되는 플러그인 (Add-on) 정규화 기법을 제안합니다.

A. 일반적 정규화 기법 (Generic Regularizers)

파라미터 이동을 억제하여 유지 성능을 개선하는 세 가지 방법:

1. 업데이트 노름 정규화 (Update Norm Regularization): 이전 체크포인트 ($\theta^*_{n-1}$) 와 현재 업데이트된 모델 간의 L1 또는 L2 노름을 패널티로 부과하여 파라미터가 크게 변하는 것을 방지합니다.
2. 선택적 파인튜닝 (Selective Fine-tuning, SelFT): 모든 파라미터를 업데이트하는 대신, 삭제 손실 (Unlearning Loss) 에 가장 중요한 상위 k% 파라미터만 선택하여 업데이트합니다. 이는 불필요한 파라미터 이동을 줄입니다.
3. 모델 머지 (Model Merging): 각 개념을 독립적으로 삭제한 모델들을 생성한 후, 이를 병합 (Merging) 하는 방식입니다. 각 모델이 초기 가중치에 가깝게 있으므로, 이를 평균화하면 전체적인 파라미터 이동을 줄일 수 있습니다.

B. 시맨틱 인식 기반 그라디언트 프로젝션 (Semantic-Aware Gradient Projection)

• 문제: 의미적으로 유사한 개념 (Auxiliary Concepts) 들은 텍스트 임베딩 공간에서 가깝고, 확산 모델의 Cross-Attention 메커니즘 (Key, Value 행렬) 을 통해 서로 연결되어 있습니다.
• 해결책: 삭제 대상 개념에 대한 그라디언트를 계산한 후, **시맨틱적으로 유사한 개념들이 속한 부분 공간 (Subspace) 에 수직인 방향으로만 그라디언트를 투영 (Projection)**합니다.
• 효과: 이는 삭제 작업이 유사한 개념들의 Key/Value 벡터를 왜곡하는 것을 1 차 근사 수준에서 차단하여, 도메인 내 (In-domain) 유지 성능을 획기적으로 개선합니다.

4. 실험 결과 (Results)

• 벤치마크: UNLEARNCANVAS 를 기반으로 스타일 (12 개) 과 객체 (12 개) 를 순차적으로 삭제하는 시나리오를 구축했습니다.
• 성능:
  • 기존 방법론 (ConAbl 등) 은 순차 삭제 시 유지 정확도 (Retention Accuracy) 가 급격히 떨어졌습니다.
  • 제안한 정규화 기법들을 적용하면 크로스 도메인 (Cross-domain) 유지 성능이 크게 향상되었습니다.
  • 특히 시맨틱 인식 그라디언트 프로젝션은 도메인 내 (In-domain) 유지 성능 (유사한 스타일이나 객체 유지) 에서 가장 큰 개선을 보였습니다.
  • 결합 효과: 그라디언트 프로젝션은 SelFT 나 모델 머지와 결합했을 때 추가적인 성능 향상을 보여주어 상호 보완적임을 입증했습니다.
• 확장성: SDXL 아키텍처와 유명인 (Celebrity) 삭제 시나리오에서도 동일한 유효성이 확인되었습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 최초의 체계적 연구: 텍스트-이미지 확산 모델에서의 연속적 학습 (Continual Unlearning) 에 대한 최초의 포괄적인 실증 연구로, 기존 연구의 간극을 메웠습니다.
2. 근본 원인 규명: 순차적 삭제 실패의 원인이 '누적 파라미터 이동'과 '시맨틱 간섭'임을 이론적, 실증적으로 증명했습니다.
3. 실용적 솔루션: 새로운 알고리즘을 개발하는 대신, 기존 알고리즘에 쉽게 적용 가능한 플러그인 정규화 기법을 제시하여 실제 배포에 즉시 활용 가능한 기준선 (Baseline) 을 제공했습니다.
4. 안전한 생성형 AI: 저작권 및 개인정보 보호 요구가 순차적으로 들어오는 현실적인 환경에서, 모델의 전체적인 기능을 유지하면서 특정 개념만 안전하게 삭제할 수 있는 방향성을 제시했습니다.

결론적으로, 이 논문은 연속적 삭제 환경에서 모델이 붕괴되는 문제를 해결하기 위해 **정규화 (Regularization)**와 **시맨틱 인식 (Semantic Awareness)**이 필수적임을 강조하며, 이를 통해 안전하고 책임 있는 생성형 AI 의 발전에 기여하고 있습니다.