기술 요약: 삭제되었으나 악용 가능 (BEAP)

문제 제기

기계적 망각 (Machine unlearning) 은 사전 훈련된 텍스트 - 이미지 (T2I) 확산 모델에서 특정 개념 (예: 성적으로 노골적인 콘텐츠, 저작권이 있는 스타일) 을 처음부터 다시 훈련하지 않고 선택적으로 제거하는 것을 목표로 합니다. ESD, SPM, MACE 와 같은 방법들이 이러한 개념을 '망각'시키기 위해 제안되었지만, 최근 연구들은 이러한 방법들이 잔여 흔적에 취약할 수 있음을 시사합니다. 이러한 망각된 개념을 복구하기 위해 설계된 기존 적대적 공격들은 현실적인 위협 모델에서 상당한 한계를 겪고 있습니다:

1. 화이트박스 의존성: Generate-or-Not과 같은 방법은 모델 가중치나 기울기에 대한 접근을 요구하는데, 이는 배포된 시스템에서는 비현실적입니다.
2. 인코더 의존성: Ring-a-Bell 및 QF-Attack과 같은 공격들은 임베딩 공간 탐색을 수행하기 위해 대상 모델의 특정 텍스트 인코더에 접근해야 합니다.
3. 탐지 가능성: 현재의 블랙박스 방법은 종종 의미론적으로 무의미하고 고-퍼플렉시티 (high-perplexity) 인 '지저분한 (gibberish)' 프롬프트를 생성합니다. 이러한 프롬프트는 간단한 규칙 기반 안전 장치나 퍼플렉시티 기반 탐지기에 의해 쉽게 탐지되고 필터링되어, 실제 시나리오에서는 효과가 없습니다.

해결하려는 핵심 문제는 망각된 확산 모델의 잔여 지식을 효과적으로 악용할 수 있는 완전한 블랙박스, 인간이 읽을 수 있으며 탐지 불가능한 공격의 부재입니다.

방법론: BEAP

저자들은 BEAP(Black-box Embedding-Aware Prompting) 을 제안합니다. 이는 대규모 언어 모델 (LLM) 을 활용하여 자연어 공간에서 효과적인 적대적 프롬프트를 반복적으로 생성하는 프레임워크입니다. BEAP 은 모델 가중치, 기울기, 또는 대상 모델의 텍스트 인코더에 접근할 필요 없이 작동합니다.

1. LLM 기반 의미론적 탐색

BEAP 은 LLM 을 반복적 최적화기로 간주합니다. 대상 개념을 설명하는 초기 프롬프트로 시작하여, LLM 은 다양한 재구문화된 프롬프트 배치를 생성합니다. 이러한 프롬프트들은 망각된 확산 모델 ($M_u$) 에 대해 쿼리됩니다. 생성된 이미지들이 평가되고, 피드백은 다음 배치의 프롬프트를 정제하는 데 사용됩니다. 임베딩 공간에서 최적화하여 비자연스러운 텍스트를 생성하는 이전 방법들과 달리, BEAP 은 자연어 다양체 (manifold) 에서 직접 탐색하여 생성된 프롬프트가 유창하고 인간이 읽을 수 있도록 보장합니다.

2. 다중 신호 보상 안내

LLM 이 성공적인 공격을 향해 나아가도록 안내하기 위해, BEAP 은 각 생성된 이미지에 대해 세 가지 상호 보완적인 보상 신호를 사용합니다:

• 개념 탐지 점수: NudeNet, DINOv2 와 같은 탐지기를 사용하여 망각된 개념의 존재를 확인합니다.
• 텍스트 - 이미지 정렬: ImageReward를 사용하여 생성된 이미지가 프롬프트와 의미론적으로 일치하는지 보장합니다.
• 이미지 품질: Aesthetic Score를 사용하여 출력이 시각적으로 일관성 있고 고품질인지 확인합니다.

프롬프트는 세 가지 신호 모두에 대한 임계값을 충족할 때만 성공한 것으로 간주되며, 한 가지 지표를 다른 지표의 희생으로 최적화하는 '보상 해킹 (reward hacking)'을 방지합니다.

3. 임베딩 인식 유사성 탐색

자연어와 모델의 잠재 공간에 있는 특정 '잊혀진' 개념 사이의 간극을 메우기 위해, BEAP 은 적대적 유사성 어휘를 도입합니다:

• 벡터 구성: 시스템은 개념을 포함하는 프롬프트 쌍과 중립화된 대응 프롬프트 (예: "나체 사람" 대 "사람") 간의 임베딩 차이를 평균화하여 개념 벡터 ($c_{adv}$) 를 구성합니다.
• 어휘 선택: 이 벡터는 코사인 유사도를 사용하여 참조 어휘 (예: Oxford 3000) 와 비교됩니다. 가장 유사한 상위-k 개의 단어가 선택됩니다.
• 안내: 이러한 단어들은 '단서'로서 LLM 에게 제공됩니다. 이는 LLM 을 망각된 대상의 개념적 이웃에 있는 표현 방식으로 이끌며, 대상 모델의 인코더에 직접 접근할 필요 없이 망각이 불완전한 영역으로 탐색을 효과적으로 안내합니다.

주요 기여

1. 최초의 완전한 블랙박스 LLM 공격: BEAP 은 모델 가중치나 인코더 접근 없이 블랙박스 접근만 사용하여 T2I 모델을 위한 인간이 읽을 수 있는 적대적 프롬프트를 생성하는 최초의 프레임워크입니다.
2. 보상 안내 반복 전략: 저자들은 개념 존재, 정렬, 품질을 포함하는 다중 신호 피드백 루프를 설계하여 프롬프트를 반복적으로 정제함으로써, 이미지 품질을 희생하지 않고 높은 성공률을 보장합니다.
3. 임베딩 인식 탐색: 임베딩 기반 유사성 구성 요소의 도입으로 LLM 이 의미론적으로 관련된 어휘에 집중할 수 있게 되어, 텍스트 공간 탐색의 효율성과 효과성이 크게 향상됩니다.
4. 근본적 취약성 입증: 이 연구는 현재의 망각 방법론이 완전한 지식 제거에 실패하며, 자연어 적대적 프롬핑을 통해 여전히 취약할 수 있음을 실증적 증거로 제시합니다.

실험 결과

저자들은 I2P 벤치마크 (200 개의 고-노출 프롬프트) 에 대해 UCE, ESD, MACE, SPM, Receler 등 다섯 가지 다른 방법으로 망각된 Stable Diffusion v1.4 모델에서 BEAP 을 평가했습니다.

• 공격 성공률 (ASR): BEAP 은 이전 방법들을 크게 능가합니다. Ring-a-Bell은 엄격한 기준 (개념 존재, 정렬, 품질 요구) 하에서 0% 의 ASR 을 기록한 반면, BEAP 은 모든 망각 베이스라인에서 86% 에서 99% 사이의 ASR 점수를 달성했습니다.
• 효율성: BEAP 은 성공적인 공격당 평균 15 개의 프롬프트만 필요로 하여 높은 샘플 효율성을 보여줍니다.
• 탐지 불가능성: 지저분한 텍스트를 생성하여 퍼플렉시티가 약 4736 이고 지저분한 텍스트 탐지율이 100% 였던 Ring-a-Bell과 달리, BEAP 은 자연어 (I2P 기준: 505) 와 가까운 퍼플렉시티 값 (569–653) 을 가진 프롬프트를 생성했으며 지저분한 텍스트 탐지율은 26% 로 낮았습니다.
• 이미지 품질: BEAP 은 높은 미적 및 정렬 점수를 유지하면서 망각된 개념을 성공적으로 복구한 반면, Ring-a-Bell은 왜곡되고 저품질의 이미지를 생성했습니다.
• 일반화 가능성: 이 공격은 객체 수준의 망각 ("골프공") 에 대해서도 테스트되었으며, 여기서도 베이스라인을 능가하여 취약성이 안전 민감 개념을 넘어 확장됨을 확인했습니다.

중요성 및 주장

이 논문은 현재의 기계적 망각 파이프라인이 확산 모델에서 개념 제거를 보장하는 데 근본적으로 불충분하다고 주장합니다. 저자들은 망각 방법론이 명시적인 시각적 흔적을 억제할 수는 있지만, 신중하게 제작된 자연어 프롬프트를 통해 다시 활성화될 수 있는 근본적인 의미론적 표현을 제거하지는 못한다고 논합니다.

이 연구의 중요성은 망각의 이론적 보장과 모델 보안의 실제 현실 사이의 중요한 간극을 드러내는 데 있습니다. 유창하고 탐지 불가능한 프롬프트를 사용하여 망각된 모델을 '재일바 (jailbreak)'할 수 있음을 입증함으로써, 저자들은 생성형 AI 에서 개념 제거를 위한 더 강력하고 검증 가능하며 신뢰할 수 있는 접근법의 시급한 필요성을 강조합니다. 이 연구는 사후 필터링과 현재의 망각 기술이 의도적인 적대자로부터의 충분한 방어가 될 수 없다는 점을 모델 개발자들에게 경고하는 역할을 합니다.