REFORGE: Multi-modal Attacks Reveal Vulnerable Concept Unlearning in Image Generation Models

이 논문은 이미지 생성 모델의 개념 제거 (Unlearning) 기법이 블랙박스 환경에서 이미지 기반 적대적 공격에 취약함을 드러내기 위해, 교차 주의를 활용한 마스킹 전략을 통해 개념 관련 영역에 노이즈를 집중시키는 'REFORGE'라는 새로운 적대적 평가 프레임워크를 제안합니다.

핵심

이 논문은 **"AI 그림 그리기 프로그램이 '잊으라고' 배운 것을, 어떻게 다시 불러올 수 있는지"**를 보여주는 흥미로운 연구입니다.

한마디로 요약하면: **"AI 가 기억을 지우려고 노력해도, 우리가 '특수한 그림'을 보여주기만 하면 그 기억이 다시 튀어나온다"**는 사실을 발견한 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: AI 의 '망각' 시술 (Unlearning)

최근 AI(예: 스테이블 디퓨전) 는 아주 멋진 그림을 그려주지만, 저작권 문제나 선정적인 내용 같은 '나쁜 기억'을 가지고 태어납니다.
그래서 개발자들은 AI 의 뇌를 수정해서 **"이건 절대 그리지 마!"**라고 가르칩니다. 이를 **'기억 지우기 (Unlearning)'**라고 부릅니다. 마치 아이가 "나쁜 말은 하지 마"라고 훈육받는 것과 비슷하죠.

2. 문제: 기억 지우기는 완벽하지 않다

연구자들은 "AI 가 정말로 그 기억을 완전히 지웠을까?"라고 의심을 품었습니다. 기존에는 텍스트 명령만 바꿔가며 테스트했지만, 이번 연구는 "그림"이라는 새로운 열쇠를 사용했습니다.

3. 해결책: 'REFORGE'라는 새로운 열쇠

이 논문에서 제안한 **'REFORGE(재주조)'**라는 방법은 다음과 같은 원리로 작동합니다.

• 비유: '초록색 점토'와 '스케치'

  • 보통 AI 는 텍스트만 보고 그림을 그립니다. 하지만 REFORGE 는 AI 에게 "이런 느낌의 그림을 그려줘"라고 말하면서, 동시에 '초록색 점토로 대충 만든 스케치'를 보여줍니다.
  • 이 스케치는 아주 단순해서 (예: 반죽처럼 흐릿한 형태) 구체적인 내용은 없지만, 전체적인 구도와 색감은 원래 기억하고 싶었던 대상 (예: 반고흐의 그림 스타일) 과 비슷합니다.

• 핵심 기술: '눈썹'을 노리는 공격

  • REFORGE 는 AI 가 그림을 그릴 때, **"어떤 부분에서 가장 집중하는지"**를 분석합니다. (이를 '크로스 어텐션'이라고 하는데, 쉽게 말해 AI 의 '시선'이 머무는 곳입니다.)
  • AI 가 "반고흐 스타일"을 생각할 때 눈이 가는 부분을 찾아낸 뒤, **그 부분에만 아주 미세한 노이즈 (소음)**를 섞어줍니다. 마치 그림의 특정 구석에 아주 작은 점들을 찍어서 AI 의 뇌를 혼란스럽게 만드는 거죠.
  • 이렇게 하면 AI 는 "아, 이 그림은 반고흐 스타일이야!"라고 착각하게 되어, 지우려고 했던 기억을 다시 그려냅니다.

4. 실험 결과: 기억은 쉽게 돌아온다

연구진은 다양한 AI 모델과 다양한 '지우기' 기술을 테스트했습니다.

• 결과: 대부분의 AI 는 텍스트만으로는 기억을 지우려고 했지만, REFORGE 가 보여준 '특수한 그림'을 받자마자 지웠던 기억 (예: 반고흐 스타일, 낙하산, 혹은 금지된 내용) 을 다시 그려냈습니다.
• 비교: 기존에 시도했던 방법들보다 훨씬 빠르고, AI 가 그리는 그림의 의미도 더 잘 유지하면서 공격에 성공했습니다.

5. 결론: 무엇을 의미할까?

이 연구는 **"AI 의 안전 장치는 아직 완벽하지 않다"**는 경고를 줍니다.

• 개발자들이 "이건 지웠다"라고 안심하고 있을지라도, 텍스트뿐만 아니라 '그림'이라는 새로운 방식으로 접근하면 그 안전 장치는 뚫릴 수 있습니다.
• 앞으로는 AI 를 더 안전하게 만들기 위해, 텍스트뿐만 아니라 '이미지 입력'에 대해서도 더 튼튼하게 방어하는 기술이 필요하다는 것을 보여줍니다.

---

🎨 한 줄 요약

"AI 가 '잊으라고' 배운 나쁜 기억을, 우리가 '초록색 점토 스케치'를 보여주며 속여 다시 떠올리게 만드는 새로운 공격법을 발견했다. 따라서 AI 의 안전 장치는 아직 더 튼튼하게 만들어져야 한다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 DALL·E, Stable Diffusion 와 같은 이미지 생성 모델 (IGMs) 의 발전으로 고품질 콘텐츠 생성이 가능해졌으나, 저작권 침해, 유해 콘텐츠 생성 등의 안전성 및 규제 문제가 대두되었습니다.
• 해결 시도 (Unlearning): 전체 모델을 재학습하지 않고 특정 유해 개념 (예: 특정 화가 스타일, NSFW 콘텐츠 등) 만 제거하는 이미지 생성 모델 언러닝 (IGMU) 기술이 개발되었습니다.
• 문제점:
  • 기존 IGMU 방법론은 주로 텍스트 프롬프트에 대한 공격 (Red-teaming) 만 고려하거나, 화이트박스 (모델 내부 파라미터 접근) 환경에서의 공격만 연구되었습니다.
  • 블랙박스 환경에서 사용자가 이미지 프롬프트를 입력할 수 있는 현실적인 시나리오에서, 언러닝된 모델이 얼마나 견고한지에 대한 연구는 부족합니다.
  • 공격자는 모델의 내부 구조를 알지 못하더라도, 텍스트와 결합된 적대적 이미지 프롬프트 (Adversarial Image Prompts) 를 통해 제거된 개념이 다시 생성될 수 있는지 여부가 불확실합니다.

2. 제안 방법론: REFORGE (Methodology)

저자들은 REFORGE라는 새로운 블랙박스 레드팀링 (Red-teaming) 프레임워크를 제안했습니다. 이는 텍스트 프롬프트와 결합된 적대적 이미지를 생성하여 언러닝 메커니즘을 우회하는 것을 목표로 합니다.

• 위협 모델 (Threat Model):

  • 블랙박스 설정: 공격자는 대상 언러닝 모델 ($M_u$) 의 파라미터나 그래디언트에 접근할 수 없음.
  • 입력: 공격자는 텍스트 프롬프트 ($P_{text}$) 와 이미지 프롬프트 ($P_{adv}$) 를 동시에 입력할 수 있음.
  • 프록시 모델: 최적화를 위해 공개된 보조 모델 (Proxy SD) 을 사용하여 크로스 어텐션 맵과 그래디언트를 계산함.

• 핵심 프로세스 (4 단계):

  1. 초기화 (Initialization): 참조 이미지 ($P_{ref}$) 를 기반으로 스트로크 기반 (Stroke-based) 이미지 ($P^*_{adv}$) 를 생성합니다. 고주파 세부 사항을 제거하고 전체적인 구도와 색조는 유지하여 텍스트 프롬프트와의 일관성을 확보합니다.
  2. 마스크 구성 (Mask Construction): 프록시 모델의 크로스 어텐션 (Cross-attention) 맵을 분석하여 개념과 관련된 영역을 강조하는 공간 마스크 ($M$) 를 생성합니다. 이는 노이즈가 개념 관련 영역에 집중되도록 유도합니다.
  3. 잠재 공간 정렬 최적화 (Latent-Alignment Optimization): 프록시 VAE 의 잠재 공간에서 참조 이미지의 잠재 벡터 ($z_{ref}$) 와 적대적 이미지의 잠재 벡터 ($z_{adv}$) 를 정렬하도록 최적화합니다. 이때 생성된 마스크 ($M$) 를 곱하여 업데이트를 제한함으로써 시각적 왜곡을 최소화합니다.
  4. 레드팀링 평가 (Red-Teaming Evaluation): 최적화된 적대적 이미지 ($P_{adv}$) 와 텍스트 프롬프트를 언러닝된 모델에 입력하여, 제거된 개념이 다시 생성되는지 (Attack Success) 확인합니다.

3. 주요 기여 (Key Contributions)

1. REFORGE 프레임워크 제안: 이미지 모달리티를 표적으로 하는 최초의 블랙박스 레드팀링 프레임워크로, 현실적인 멀티모달 공격 하에서 IGMU 의 취약성을 규명했습니다.
2. 크로스 어텐션 기반 마스크 전략: 노이즈를 개념 관련 영역에 집중시키는 마스크 전략을 도입하여, 공격의 효과성과 시각적 자연스러움 (Imperceptibility) 사이의 균형을 달성했습니다.
3. 광범위한 평가: 다양한 언러닝 작업 (NSFW, 객체, 스타일) 과 다양한 언러닝 기법 (가중치 편집, 구조적 가지치기 등) 에 대해 평가하여, 기존 베이스라인보다 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 3 가지 주요 언러닝 작업 (Nudity, Object-Parachute, Van Gogh-Style) 과 6 가지 언러닝 방법 (ESD, UCE, MACE 등) 을 대상으로 실험을 수행했습니다.

• 공격 성공률 (ASR, Attack Success Rate):
  • REFORGE 는 모든 작업에서 기존 베이스라인 (SneakyPrompt, MMA, Ring-A-Bell 등) 보다 높은 공격 성공률을 기록했습니다.
  • 특히 'Van Gogh-Style'과 같은 전역적 개념 제거 작업에서 뛰어난 성능을 보였습니다.
• 시맨틱 정렬 (Semantic Alignment, CLIP Score):
  • 텍스트 기반 공격들은 종종 생성된 이미지와 텍스트 프롬프트 간의 일관성을 해쳤으나, REFORGE 는 가장 높은 CLIP 점수를 기록하여 텍스트 - 이미지 의미론적 일관성을 잘 유지했습니다.
• 효율성 (Attack Efficiency):
  • 기존 블랙박스 공격들은 한 샘플 생성에 수백 초 (SneakyPrompt: ~290s, MMA: ~1000s) 가 소요되었으나, REFORGE 는 약 35 초로 훨씬 효율적이었습니다. 이는 스트로크 기반 초기화와 공간 가중 최적화 덕분입니다.
• 결론: 현재 존재하는 대부분의 IGMU 방법론이 멀티모달 적대적 입력 (특히 이미지 프롬프트) 에 대해 여전히 취약함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전성 경고: 이미지 생성 모델의 '잊기 (Unlearning)' 기능이 텍스트 프롬프트만으로는 안전할지라도, 이미지 프롬프트가 결합된 멀티모달 공격에는 취약할 수 있음을 경고합니다.
• 향후 방향: 단순한 개념 제거를 넘어, 블랙박스 위협 모델 하에서 강건성 (Robustness) 을 고려한 언러닝 및 안전 정렬 (Safety Alignment) 기술의 개발이 시급함을 강조합니다.
• 실용성: 제안된 방법은 모델의 내부 정보를 알지 못하는 실제 서비스 환경 (클로즈드 소스) 에서도 적용 가능하여, 실제 AI 안전성 평가 도구로서의 가치가 높습니다.

이 논문은 생성형 AI 의 안전성을 보장하기 위해, 단순한 텍스트 필터링을 넘어 멀티모달 입력에 대한 종합적인 방어 체계가 필요함을 강력하게 시사합니다.