Image Can Bring Your Memory Back: A Novel Multi-Modal Guided Attack against Image Generation Model Unlearning

이 논문은 텍스트 프롬프트 대신 단일 참조 이미지를 활용한 다중 모달 유도 공격 프레임워크 'Recall'을 제안하여, 기존 이미지 생성 모델의 망각 (unlearning) 기법들이 다중 모달 입력에 취약함을 입증하고 그 보안 강화의 필요성을 강조합니다.

핵심

이 논문은 **"RECALL"**이라는 새로운 기술을 소개합니다. 이 기술은 인공지능이 그림을 그리는 모델 (예: 스테이블 디퓨전) 에서 '잊으라고 시킨 내용'을 다시 불러오는 공격 방법을 연구한 것입니다.

쉽게 비유해서 설명해 드릴게요.

🎨 배경: 인공지능 화가와 '망각' 주문

상상해 보세요. 유명한 인공지능 화가가 있습니다. 이 화가는 아주 잘 그립니다. 하지만 가끔은 **유해한 그림 (예: 나체, 폭력, 저작권 침해 그림)**을 그릴 수도 있어서 문제가 생겼습니다.

그래서 화가에게 **"이런 그림은 절대 그리지 마! 기억에서 지워버려!"**라고 명령을 내립니다. 이것이 **'머신 언러닝 (Machine Unlearning)'**이라는 기술입니다. 화가는 그 내용을 기억에서 지우기 위해 노력합니다.

🕵️‍♂️ 문제: 정말로 잊어버렸을까?

하지만 연구자들은 의문을 품었습니다. "화가가 정말로 잊어버린 걸까? 아니면 속임수를 써서 다시 그릴 수 있는 건 아닐까?"

기존의 공격 방법들은 주로 글자 (프롬프트) 만을 가지고 화가를 속이려고 했습니다. 예를 들어, "나체"라는 단어를 "비키니"나 "수영복" 같은 다른 말로 바꾸거나, 글자를 조금씩 변형해서 화가를 혼란스럽게 했습니다.
하지만 이 방법들은 한계가 있었습니다:

1. 의미가 깨짐: 글자를 바꾸니 그림이 원래 의도와 달라졌습니다.
2. 계산이 무거움: 다른 인공지능을 따로 써야 해서 느렸습니다.
3. 강한 방어에 무력: 화가가 글자 변형을 잘 막아내면 공격이 실패했습니다.

💡 해결책: RECALL (기억을 되찾다)

이 논문은 **"글자만으로는 부족하다"**고 말합니다. 대신 **"이미지 (그림) 도구를 함께 쓰자"**고 제안합니다.

RECALL 의 핵심 아이디어는 다음과 같습니다:

1. 참고 그림 하나만 있으면 됩니다:
   화가에게 "나체 그림을 그리지 마"라고 했을 때, 화가가 그 내용을 완전히 잊지 못했을 가능성이 있습니다. 연구자들은 **원래 그렸던 나체 그림 하나 (참고 이미지)**를 준비합니다.

2. 그림으로 속임수를 씁니다 (이미지 어드버설):
   화가에게 "나체"라는 글자 (원래 금지된 단어) 를 그대로 주고, 그 옆에 조금 변형된 나체 그림을 보여줍니다.

   • 비유: 화가에게 "이걸 그리지 마"라고 말하면서, 동시에 "근데 이 그림을 좀 봐, 비슷하지 않니?"라고 속삭이는 것과 같습니다.
   • 화가는 글자만 보고는 "아니야, 금지된 거야"라고 거절하지만, 그림을 함께 보니 "아, 이거면 괜찮겠네?"라고 생각하며 다시 금지된 내용을 그려냅니다.

3. 화장실 (잠재 공간) 에서 바로 해결:
   이 공격은 화가가 그림을 그리는 과정 (잠재 공간) 에서 바로 이루어집니다. 외부의 복잡한 도구가 필요 없기 때문에 매우 빠르고 효율적입니다.

📊 실험 결과: 얼마나 잘 통할까?

연구진은 10 가지의 다양한 '망각 기술'을 적용한 인공지능 모델들을 대상으로 실험했습니다.

• 결과: 기존 방법들 (글자만 바꾸는 등) 은 성공률이 2050% 정도였지만, **RECALL 은 8097% 이상**의 성공률을 보였습니다.
• 의미: 현재 인공지능이 '잊으라고 시킨 내용'을 완전히 지우기는 어렵다는 것을 증명했습니다. 특히 글자만 막는 방어는 그림을 함께 보면 뚫린다는 것이 드러났습니다.

🛡️ 왜 이 연구가 중요한가요? (공격이 아니라 감시)

이 기술이 악의를 가진 사람들이 그림을 다시 그리는 데 쓰일 수도 있지만, 연구자들은 이를 **안전 감시 도구 (Auditing Tool)**로 활용하라고 제안합니다.

• 비유: 은행 금고가 정말로 잠겨 있는지 확인하기 위해, 해커가 아닌 보안 전문가가 잠금장치를 시험해 보는 것과 같습니다.
• 용도: 인공지능 모델 소유자들은 RECALL 을 이용해 "우리 모델이 정말로 유해한 내용을 잊었는지"를 미리 테스트해 볼 수 있습니다. 만약 RECALL 로 다시 그림이 나온다면, "아, 아직 지우기가 덜 됐구나"라고 알고 더 강력한 방어책을 마련할 수 있습니다.

📝 한 줄 요약

"인공지능이 잊으라고 시킨 나쁜 내용을, '글자'만으로는 못 막지만 '참고 그림' 하나를 함께 보여주면 다시 그려낼 수 있다는 것을 발견했습니다. 이 기술을 이용해 인공지능의 안전 장치가 제대로 작동하는지 미리 점검해보자!"

기술 요약

1. 문제 정의 (Problem)

최근 Stable Diffusion (SD) 과 같은 확산 기반 이미지 생성 모델 (IGM) 의 발전은 AI 생성 콘텐츠의 질과 다양성을 획기적으로 향상시켰으나, 유해하거나 저작권 침해, 윤리적 문제를 일으킬 수 있는 콘텐츠 생성의 위험도 동반했습니다. 이를 해결하기 위해 기계적 망각 (Machine Unlearning, MU) 기술이 도입되어 모델에서 특정 민감한 개념 (예: 나체, 폭력, 저작권 이미지) 을 제거하는 연구가 활발히 진행되었습니다.

그러나 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

• 취약점: 현재까지의 망각 (Unlearning) 방법들은 강력한 적대적 공격 (Adversarial Attack) 에 대해 충분히 견고하지 않습니다.
• 기존 공격의 한계: 기존 공격 기법들은 주로 텍스트 프롬프트를 변형하는 데 집중했습니다. 이는 생성된 이미지와 원본 텍스트 간의 의미론적 정렬 (Semantic Alignment) 을 해치고, 외부 분류기나 추가 확산 모델에 의존하여 계산 비용이 높으며, 특히 AdvUnlearn, RECE 와 같은 강력한 적대적 망각 방어 기법에는 효과가 떨어집니다.
• 다중 모달리티 무시: IGM 은 본질적으로 텍스트와 이미지를 동시에 조건으로 (Conditioning) 받는 다중 모달리티 능력을 가지고 있음에도 불구하고, 기존 공격들은 이 잠재된 취약점을 활용하지 못했습니다.

2. 방법론 (Methodology: RECALL)

저자들은 이러한 한계를 극복하기 위해 RECALL이라는 새로운 다중 모달 적대적 공격 프레임워크를 제안했습니다. RECALL 은 망각된 모델을 우회하여 삭제된 개념을 고도의 의미론적 충실도로 다시 생성하게 만듭니다.

핵심 구성 요소 및 프로세스:

1. 다중 모달 가이드 (Multi-modal Guidance):

   • 기존 텍스트 프롬프트 ($P_{text}$) 는 변경하지 않고, **적대적으로 최적화된 이미지 프롬프트 ($P^{adv}_{img}$)**를 추가합니다.
   • 망각된 개념을 포함하는 단일 참조 이미지 ($P_{ref}$) 를 사용하여 공격을 유도합니다.

2. 잠재 공간 최적화 (Latent Space Optimization):

   • 외부 분류기나 원본 모델을 사용하지 않고, 망각된 모델 (Unlearned Model, $G_u$) 내부에서 직접 최적화를 수행합니다.
   • Stage 1 (인코딩): 참조 이미지와 노이즈가 섞인 초기 이미지를 망각된 모델의 인코더를 통해 잠재 공간 (Latent Space) 으로 변환합니다.
   • Stage 2 (반복적 최적화): 확산 모델의 U-Net 이 예측하는 노이즈 잔차 (Noise Residual) 를 기반으로 적대적 손실 함수 ($L_{adv}$) 를 최소화하도록 잠재 벡터를 반복적으로 업데이트합니다.
     • 적대적 손실: 참조 이미지의 예측 노이즈 ($\hat{\epsilon}_{ref}$) 와 적대적 이미지의 예측 노이즈 ($\hat{\epsilon}_{adv}$) 간의 MSE(평균 제곱 오차) 를 최소화합니다.
     • 모멘텀 및 정규화: 그래디언트 모멘텀을 사용하여 최적화 안정성을 높이고, 주기적으로 참조 잠재 벡터를 다시 주입하여 의미론적 일관성을 유지합니다.
   • Stage 3 (다중 모달 공격): 최적화된 잠재 벡터를 디코딩하여 적대적 이미지를 생성하고, 이를 원본 텍스트 프롬프트와 함께 망각된 모델에 입력하여 삭제된 콘텐츠를 복원합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 모달 공격 프레임워크: 망각된 이미지 생성 모델 (IGMU) 의 견고성을 깨뜨리는 최초의 다중 모달 가이드 공격 프레임워크인 RECALL 을 제안했습니다. 이는 보호된 모델이 삭제된 민감한 개념을 높은 의미론적 충실도로 재생성하게 합니다.
2. 고효율 최적화 전략: 외부 분류기, 원본 확산 모델, 또는 추가적인 의미론적 가이드 없이 단 하나의 참조 이미지와 망각된 모델 내부에서만 작동하는 효율적인 최적화 전략을 도입했습니다. 이는 계산 비용을 크게 절감합니다.
3. 포괄적인 실험 및 취약점 규명: 4 가지 대표적인 망각 시나리오 (나체, 반 고흐 스타일, 교회, 낙하산) 에서 10 가지 최신 망각 기술 (ESD, FMN, AdvUnlearn 등) 을 대상으로 실험했습니다. 이를 통해 기존 망각 솔루션들이 다중 모달 공격에 얼마나 취약한지를 실증적으로 증명했습니다.

4. 실험 결과 (Results)

10 가지 SOTA(최신) 망각 방법과 4 가지 태스크에 대한 광범위한 실험 결과는 다음과 같습니다:

• 공격 성공률 (ASR): RECALL 은 모든 태스크에서 기존 베이스라인 (P4D, UnlearnDiffAtk, WACE 등) 을 압도적으로 능가했습니다.
  • 평균 ASR 은 80.77% (나체-I2P), 88.20% (나체-MMA), 65.44% (나체-ART), 97.40% (반 고흐), 73.40% (교회), 97.00% (낙하산) 로 기록되었습니다.
  • 특히 강력한 방어 기법인 AdvUnlearn 과 RECE 에 대해서도 높은 성공률을 보였습니다.
• 계산 효율성: RECALL 은 평균 공격 시간이 약 64 초로, 기존 방법들 (P4D-N: ~238 초, UnlearnDiffAtk: ~232 초) 보다 훨씬 빠릅니다. 이는 잠재 공간에서의 직접 최적화 덕분입니다.
• 의미론적 정렬 (Semantic Fidelity): 생성된 이미지와 원본 텍스트 프롬프트 간의 CLIP Score 가 기존 방법들보다 현저히 높았습니다. 이는 텍스트를 변형하지 않고 이미지만을 최적화함으로써 원본 의도를 유지하면서도 공격에 성공했음을 의미합니다.
• 일반화 능력: 다양한 참조 이미지, 다른 모델 버전 (SD 2.0, 2.1), 그리고 다양한 망각 기법에서도 일관된 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 안전성 감사 도구: RECALL 은 단순한 공격 기법을 넘어, 모델 소유자와 감사자가 배포 전 망각 프로세스의 견고성을 체계적으로 평가할 수 있는 감사 (Auditing) 도구로 활용될 수 있습니다.
• 향후 방향: 현재 IGM 망각 기술이 다중 모달 입력에 대해 여전히 취약하다는 점을 드러냈으며, 더 강력하고 검증 가능한 망각 메커니즘의 필요성을 강조합니다.
• 윤리적 고려: 이 연구는 민감한 콘텐츠 생성의 위험을 재확인하지만, 연구 목적은 안전한 AI 시스템 개발을 위한 취약점 발견과 방어 강화에 있습니다.

요약하자면, 이 논문은 **"이미지 프롬프트를 적대적으로 최적화하여 텍스트 프롬프트의 의미를 해치지 않고도 망각된 AI 모델의 보안 장벽을 뚫을 수 있다"**는 사실을 증명함으로써, 현재 이미지 생성 모델의 망각 (Unlearning) 기술이 가진 근본적인 한계를 지적하고 향후 방어 기술 개발의 방향성을 제시했습니다.