💻 computer science

CGCE: Classifier-Guided Concept Erasure in Generative Models

이 논문은 경량 분류기를 사용하여 추론 시점에 유해한 텍스트 임베딩을 정제함으로써 모델의 원래 생성 품질을 저해하지 않으면서도 바람직하지 않은 개념을 효과적으로 제거하여, 생성 모델을 적대적 공격으로부터 강화하는 플러그 앤 플레이 프레임워크인 Classifier-Guided Concept Erasure (CGCE)를 소개한다.

원저자: Viet Nguyen, Vishal M. Patel

게시일 2026-07-23

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Viet Nguyen, Vishal M. Patel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 몇 마디 단어만 입력하면 멋진 그림이나 짧은 영상이 튀어나오는 마법 같은 미술 스튜디오를 막 완공했다고 상상해 보세요. 이것이 바로 생성형 AI의 세계입니다. 생성형 AI는 컴퓨터 과학의 한 분야로, 기계가 무에서 유를 창조하며 새로운 콘텐츠를 만드는 법을 배우는 영역입니다. 이 디지털 예술가들은 매우 재능이 뛰어나지만, 까다로운 습관이 하나 있습니다. 인터넷 전체를 통해 학습했기 때문에, 가끔 나쁜 습관까지도 함께 배워버리곤 합니다. 단순히 "고양이"를 그려달라고 요청했을 때, 의도치 않게 부적절하거나 폭력적이거나, 혹은 그냥 말도 안 되게 이상한 것을 그려낼 수도 있습니다. 이를 해결하기 위해 과학자들은 모델에게 특정 나쁜 아이디어를 "잊도록" 가르치는 방법, 즉 '개념 삭제(concept erasure)'라는 과정을 연구해 왔습니다. 이는 마치 개에게 다람쥐를 쫓지 말라고 가르치는 것과 같습니다. 어떤 훈련사들은 개의 뇌를 영구적으로 재배선하려고 시도합니다(미세 조정/fine-tuning). 하지만 이는 매우 힘든 작업이며, 자칫하면 개가 좋아하는 공을 가져오는 법까지 잊게 만들 수 있습니다. 또 다른 이들은 개가 다람쥐를 쳐다볼 때마다 "안 돼!"라고 소리치는 방식(필터링/filtering)을 사용합니다. 하지만 영리한 다람쥐는 자신이 배운 공포의 대상과 똑같이 생기지 않았다면 슬쩍 지나가 버릴 수도 있습니다. 큰 질문은 이것입니다. 예술가가 아름답고 안전한 그림을 만드는 능력을 망가뜨리지 않으면서도, 나쁜 아이디어들을 멈출 수 있을까요?

이 논문은 **분류기 유도 개념 삭제(Classifier-Guided Concept Erasure, CGCE)**라는 영리한 새로운 기술을 소개합니다. AI의 뇌를 영구적으로 재배선하거나 적절한 순간에 "안 돼!"라고 소리치는 대신, 저자들은 예술 스튜디오의 문 바로 앞에 서 있는 작고 아주 똑똑한 보안 요원을 만들었습니다. 이 요원은 예술가의 도구를 건드리지 않습니다. 그저 당신이 쓴 메모가 예술가에게 전달되기 전에 검사할 뿐입니다. 만약 당신의 메모가 "매트 위의 고양이"처럼 안전하다면, 요원은 즉시 통과시킵로 보냅니다. 하지만 만약 당신의 메모가 안전하지 않다면, 요원은 단순히 차단하는 데 그치지 않고, 예술가가 보기 전에 메모를 부드럽게 편집합니다. 요원은 특수한 수학적 방법을 사용하여 위험한 문장을 나머지 아이디어는 그대로 유지하면서도 안전한 내용으로 다시 씁니다.

저자들은 이 방법이 "플러그 앤 플레이(plug-and-play)" 장치처럼 작동하기 때문에 게임 체인저가 될 수 있다는 것을 발견했습니다. 이 기능을 사용하기 위해 전체 예술 스튜디오를 다시 만들 필요 없이, 그저 꽂기만 하면 됩니다. 저자들은 이 기술을 이미지와 영상을 만드는 것을 포함한 다양한 현대적 예술 생성기에 테스트했습니다. 결과는 인상적이었습니다. 보안 요원은 사람들이 교묘하고 복잡한 문장으로 속이려 할 때도 AI가 부적절한 콘텐츠를 그리는 것을 성공적으로 막아냈습니다. 동시에, AI는 안전한 것들에 대해 여전히 고품질의 아름다운 그림을 계속 만들어냈으며, 이는 우리가 창의성을 희생하지 않고도 안전을 지킬 수 있음을 증명했습니다.

기존 기술들의 문제점

이 새로운 방법이 왜 그토록 멋진지 이해하려면, 예전에 사람들이 이 문제를 어떻게 해결하려 했는지 살펴봐야 합니다. 당신에게 무서운 이야기들이 포함된 거대한 도서관(AI의 학습 데이터)이 있다고 상상해 보세요.

"뇌를 재배선하는" 접근법: 일부 과학자들은 무서운 이야기를 잊도록 AI를 재학습시켜 AI의 뇌를 영구적으로 바꾸려고 시도했습니다. 이는 개를 훈련시키기 위해 1년이라는 시간을 쓰는 것과 같습니다. 비용이 많이 들고 시간이 오래 걸리며, 종종 개가 앉거나 구르는 것 같은 다른 멋진 기술들을 잊어버리게 만듭니다. AI가 "나체"를 그리는 것을 멈출 수는 있지만, "나체 상태의 고양이"를 그리게 되거나 모든 그림을 흐릿하고 추하게 만들 수도 있습니다.
"안 돼! 라고 외치는" 접근법: 다른 방법들은 클럽의 문지기처럼 행동했습니다. 그들은 당신의 요청을 살펴보고 "나쁜 단어"가 보이면 차단했습니다. 하지만 이는 오직 나쁜 단어의 이름만 아는 문지기와 같습니다. 만약 당신이 "옷을 입지 않은 사람"이라고 말한다면, 문지기는 당신이 "나체"라는 특정 단어를 사용하지 않았기 때문에 놓칠 수 있습니다. 또는, 나쁜 아이디어가 길고 복잡한 이야기 속에 숨겨져 있다면 문지기는 혼란에 빠져 나쁜 것을 통과시켜 버립니다.

이 논문의 저자들은 기존 방식들에 큰 결함이 있다는 점을 주목했습니다. 기존 방식들은 너무 무겁거나(창의성을 파괴함), 너무 쉽게 속임을 당했습니다(나쁜 것이 통과됨). 그들은 가볍고 빠르며, 단순히 단어가 아닌 문장의 '의미'를 포착하는 데 뛰어난 솔루션을 원했습니다.

마법의 보안 요원: CGCE

저자들은 CGCE를 만들었습니다. 이는 마치 똑똑하고 보이지 않는 보안 요원처럼 작동합니다. 단계별 과정은 다음과 같습니다.

1단계: 훈련 (요원 가르치기)
먼저, 저자들은 보안 요원이 무엇이 문제인지 식별하도록 가르쳤습니다. 실제의 무서운 이미지를 사용하지 않았습니다(이는 불쾌하고 불필요하기 때문입니다). 대신, 매우 똑똑한 언어 로봇(LLM)을 사용하여 수천 쌍의 문장을 작성했습니다. 한 쌍의 문장 중 하나는 안전한 문장(예: "침대에 앉아 있는 소녀")이고, 다른 하나는 같은 문장이지만 나쁜 반전이 들어간 문장(예: "침대에 앉아 있는 나체의 소녀")입니다. 요원은 이 문장들의 '의미'를 보고 "이것이 안전한가 아닌가?"를 결정하는 법을 배웠습니다. 요원은 개별 단어가 아닌 전체적인 그림을 보는 법을 배웠습니다.

2단계: 검사 (안전 장치)
당신이 AI에 프롬프트를 입력하면, 당신의 단어들은 AI가 이해할 수 있는 비밀 코드(임베딩/embedding)로 변환됩니다. CGCE 요원은 이 코드를 살펴봅니다. 만약 코드가 안전해 보인다면, 요원은 "이상 없음!"이라고 말하며 AI가 제 역할을 다하도록 내버려 둡니다. 그러면 AI는 요청한 대로 아무런 변경 없이 그림을 그립니다. 이것이 중요한 이유는 AI의 원래 재능이 전혀 손상되지 않음을 의미하기 때문입니다.

3단계: 수정 (정제하기)
만약 요원이 무언가 안전하지 않다고 판단하면, 단순히 차단하는 것이 아니라 "정제기(refiner)" 역할을 합니다. 요원은 당신의 비밀 코드를 가져와서 특수한 수학적 트릭을 사용하여 그 코드를 수정합니다. 당신의 문장이 찰흙 덩어리라고 상상해 보세요. 만약 찰흙의 모양이 위험하다면, 요원은 나머지 덩어리는 정확히 똑같이 유지하면서 위험한 부분만을 부드럽게 누르고 모양을 잡아 안전하게 만듭니다. 요원은 당신의 문장에서 어떤 부분이 문제를 일으키는지 찾아내어, 그 부분을 나쁜 아이디어로부터 멀어지도록 미세하게 밀어내는 방식으로 이를 수행합니다. 코드가 완전히 안전해질 때까지 이 작은 움직임을 반복합니다.

이것이 왜 중요한 일인가

저자들은 이 방법을 다양한 방식으로 AI의 나쁜 그림 생성을 막으려는 다른 방법들과 비교 테스트했습니다. 그들은 사람들이 (긴 이야기나 이상한 단어를 사용하여 나쁜 아이디어를 숨기려는) 교묘한 프롬프트로 AI를 속이려 하는 까다로운 테스트를 여러 번 실시했습니다.

강력함: CGCE 요원은 기존 방식들보다 훨씬 더 속이기 어려웠습니다. 사람들이 복잡한 문장을 사용하여 나쁜 아이디어를 몰래 집어넣으려 해도, 요원은 이를 잡아냈습니다. 테스트 결과, 많은 종류의 AI 모델에 대해 이러한 "속임수 공격(trick attacks)"의 성공률을 거의 제로에 가깝게 낮추었습니다.
부드러움: 요원은 꼭 필요한 경우에만 코드를 변경하기 때문에, 아름답고 안전한 그림을 만드는 AI의 능력은 완벽하게 유지되었습니다. 저자들이 "노을"이나 "개"를 그려달라고 요청했을 때, 결과는 이전과 다름없이 훌륭했습니다. 기존 방식들은 종종 그림을 흐릿하거나 이상하게 만들었지만, CGCE는 높은 품질을 유지했습니다.
어디서나 작동함: 가장 좋은 점은 이 요원이 당신의 예술 스튜디오가 어떤 종류인지 상관하지 않는다는 것입니다. 저자들은 이 기술이 이미지와 영상을 만드는 것을 포함한 많은 현대적 AI 모델에서 작동함을 보여주었습니다. 이는 마치 어떤 문에서도 사용할 수 있는 유니버설 보안 배지를 가진 것과 같습니다.

핵심 요약

이 논문은 우리가 안전성과 창의성 사이에서 하나를 선택할 필요가 없다는 것을 시사합니다. AI가 그림을 그리기 전에 요청을 검사하고 수정하는 똑똑하고 가벼운 요원을 사용함으로써, 우리는 좋은 것을 망가뜨리지 않고도 나쁜 것을 막을 수 있습니다. 저자들은 이 방법이 빠르고 효과적이며, 모든 종류의 현대적 AI에서 작동한다는 것을 보여주었습니다. 이는 매번 새로운 규칙을 추가할 때마다 기계를 통째로 다시 만들 필요 없이, 우리의 마법 같은 예술 스튜디오를 모두에게 즐겁고 안전한 곳으로 만들 수 있는 실질적인 방법입니다.

기술 요약: 분류기 유도 개념 삭제 (Classifier-Guided Concept Erasure, CGCE)

문제 정의

대규모 생성 모델, 특히 텍스트-이미지(T2I) 및 텍스트-비디오(T2V) 시스템은 놀라운 충실도를 달성했으나, 웹 스크레이핑된 학습 데이터로부터 유래된 NSFW 콘텐츠, 저작권이 있는 스타일, 유해한 객체 등 심각한 안전 리스크를 물려받았습니다. 기존의 개념 삭제 방법들은 안전성과 유용성 사이에서 결정적인 트레이드오프에 직면해 있습니다:

미세 조정(Fine-tuning) 방식 (예: ESD, DUO)은 개념을 삭제하기 위해 모델 가중치를 영구적으로 변경하지만, 이로 인해 안전하고 관련 없는 콘텐츠를 생성하는 모델의 능력이 저하되는 경우가 많으며 계산 비용이 많이 듭니다.
모델 편집(Model editing) 방식 (예: UCE, MACE)은 가중치를 수정하기 위해 폐쇄형 해(closed-form solutions)를 사용하지만, 삭제된 개념을 재생성하는 적대적 공격(adversarial attacks)에 취약한 상태로 남아 있습니다.
학습이 필요 없는 추론(Training-free inference) 방식 (예: SLD, SAFREE)은 가중치 수정 없이 추론 단계에서 생성을 유도합니다. 그러나 이들은 종종 토큰 수준의 선형 투영(linear projections)에 의존합니다. 이러한 방식은 텍lik의 의미가 특정 토큰에 고립되어 있기보다는 문장 전체에 총체적으로 분산되어 있는 현대적인 텍스트 인코더(예: T5)에서 어려움을 겪습니다. 결과적으로, 이들은 암시적이거나 맥락적으로 표현된 개념을 삭제하는 데 실패하며, 네거티브 프롬프팅 메커니즘이 생략된 가이드 디스틸링 모델(예: FLUX)에서는 효과적이지 않습니다.

본 논문은 모델의 유용성을 저해하거나 가중치 수정을 요구하지 않으면서도, 적대적 공격에 대해 높은 충실도의 개념 삭제를 달实现할 수 있는 견고하고 플러그 앤 플레이(plug-and-play) 방식의 프레임워크에 대한 필요성을 식별했습니다.

방법론: 분류기 유도 개념 삭제 (CGCE)

CGCE는 텍스트 임베딩 공간에서 추론 단계에서 완전히 작동하는 가볍고 플러그 앤 플레이가 가능한 프레임워크입니다. 이는 생성 모델의 원래 가중치를 변경하지 않습니다. 이 방법은 세 단계로 구성됩니다:

1. 합성 데이터 생성

대규모 언어 모델(LLM)을 사용하여 특정 타겟 개념(예: 누드, 예술적 스타일, 객체)에 대한 쌍을 이루는 프롬프트 데이터셋을 생성합니다. 각 쌍은 다음으로 구성됩니다:

타겟 개념을 포함하는 유해한 프롬프트 ( $p_u$ ).
$p_u$ 의 의미 구조와 내용은 보존하되 타겟 개념은 제외한 안전한 프롬프트 ( $p_s$ ).
이러한 쌍 구조를 통해 모델은 원치 않는 개념의 특정 의미적 특징을 분리할 수 있습니다.

2. 경량 분류기 학습

이러한 프롬프트 쌍의 텍스트 임베딩을 사용하여 경량 분류기를 학습시킵니다.

아키텍처: 분류기는 프롬프트 임베딩 ( $\varepsilon_p$ )과 타겟 개념 임베딩 ( $\varepsilon_c$ )을 입력으로 받습니다. 이는 프롬프트 토큰이 쿼리(query) 역할을 하고 개념 토큰이 키(key)/값(value) 역할을 하는 멀티 헤드 크로스 어텐션(multi-head cross-attention) 레이어를 활용합니다. 이 설계는 모델이 프롬프트 내의 어떤 특정 토큰이 유해한 개념과 의미적으로 정렬되어 있는지 식별할 수 있게 합니다.
출력: 분류기는 프롬프트가 타겟 개념을 포함할 확률 점수를 생성하고, 어텐션 가중치를 기반으로 각 토큰에 대한 토큰 중요도 점수 ( $s$ )를 생성합니다.
학습: 모델은 이진 교차 엔트로피(Binary Cross-Entropy) 손실 함수를 사용하여 엔드 투 엔드(end-to-end)로 학습됩니다.

3. 추론: 보호(Safeguard) 및 정제(Refinement)

추론 시, 학습된 분류기는 이중 기능 모듈로 작동합니다:

보호(Safeguard): 입력 프롬프트의 임베딩을 검사합니다. 타겟 개념을 포함할 확률이 임계값 $\tau$ 미만이면, 임베딩을 변경 없이 생성 모델로 전달하여 완전한 유용성을 보존합니다.
정제(Refiner): 개념이 감지되면, 분류기는 반복적인 정제 과정을 유도합니다. 프롬프트 임베딩은 분류기의 출력 확률을 최소화하도록 경사 하강법(gradient descent)을 사용하여 업데이트됩니다.
- 가중치 경사(Weighted Gradient): 결정적으로, 업데이트 단계에서는 토큰 중요도 점수 ( $s$ )를 사용하여 경사( $g = s \odot \nabla f_\theta$ )에 가중치를 부여합니다. 이는 업데이트가 유해한 개념과 의미적으로 관련된 토큰에 주로 적용되도록 하여, 무해한 부분의 왜곡을 최소적으로 제한합니다.
- 노름 스케일링(Norm Scaling): 안정적인 수렴을 보장하기 위해 경사는 임베딩의 노름(norm)에 의해 스케일링됩니다.
- 종료: 프로세스는 분류기의 예측이 임계값 아래로 떨어지거나 최대 반복 횟수에 도달할 때까지 반복됩니다. 정제된 임베딩은 이후 T2I 또는 T2V 모델로 전달됩니다.

주요 기여

플러그 앤 플레이 프레임워크: CGCE는 베이스 모델의 가중치를 수정하지 않고도 다양한 T2I 및 T2V 아키텍처(DiT 및 VAR 모델 포함)에 걸쳐 견고한 개념 삭제를 제공하는 최초의 방법입니다.
총체적 의미 정제: 기존의 토큰 수준 투영 방법과 달리, CGCE는 프롬프트 쌍을 통해 학습된 분류기를 활용하여 총체적인 의미 맥락을 이해합니다. 이를 통해 개념이 문장 전체에 분산되어 있거나 암시적으로 표현된 경우에도 효과적으로 개념을 삭제할 수 있습니다.
우수한 안전성-유용성 트레이드오프: 유해한 임베딩만을 선택적으로 정제하고 안전한 임베딩은 보존함으로써, CGCE는 베이스 모델의 생성 품질(FID 및 CLIP 점수)을 유지하면서도 레드-팀 공격에 대해 최첨단(state-of-the-art)의 견고함을 달성합니다.
교차 모달 범용성: 본 프레-워크는 이미지 생성(SD-v1.4, SD-v3, FLUX, Switti-AR, Infinity-2B)과 비디오 생성(CogVideoX, HunyuanVideo) 모두에서 성공적으로 입증되었습니다.

실험 결과

저자들은 여러 태스크(누드 제거, 예술적 스타일 제거(Van Gogh), 객체 제거(church))에 대해 9개의 베이스라인(ESD, UCE, STEREO, SLD, SAFREE 포함)을 대상으로 CGCE를 평가했습니다.

견고성: CGCE는 6개의 레드-팀 벤치마크(I2P, SixCD, P4D, RAB, MMAD, UDA)에서 최첨단 또는 매우 경쟁력 있는 공격 성공률(ASR)을 달성했습니다. 예를 들어, SD-v1.4 백본에서 CGCE는 I2P에서 4.62, SixCD에서 2.47의 ASR을 기록하여 대부분의 미세 조정 및 학습-프리 방법들을 능가했습니다.
일반화: 네거티브 프롬프팅이 없는 FLUX와 같은 현대적 아키텍처에서 SAFREE는 크게 실패(RAB에서 ASR > 87%)한 반-면, CGCE는 ASR을 0.70으로 낮추었습니다. SD-v3, Switti-AR 및 다양한 T2V 모델에서도 유사한 우수한 성능이 관찰되었습니다.
유용성 보존: CGCE는 FID 및 CLIP 점수를 원래의 베이스 모델과 거의 동일하게 유지하여, 안전한 콘텐츠의 생성을 저해하지 않음을 입증했습니다. 반면, 미세 조정 방식들은 종종 상당한 유용성 저하를 보였습니다.
절제 연구(Ablation Studies): 저자들은 토큰 중요도 가중치가 결정적임을 확인했습니다. 이를 제거하면 무분별한 업데이트가 발생하여 유용성이 저하되었습니다. 또한, 이 방법은 탐지 임계값 $\tau$ 의 변화에도 견고함을 보였습니다.
복잡한 프롬프트: CGCG는 유해한 어휘를 명시적으로 드러내지 않고도 유해한 개념이 환기되는 긴 암시적 스토리 스타일 프롬프트에서 베이스라인들을 크게 압도했습니다.

의의 및 주장

본 논문은 CGCE가 성능과 안전성 사이의 어려운 트레이드오프를 해결함으로써 생성형 AI의 새로운 표준을 확립한다고 주장합니다. 그 주요 의의는 생성기 불가지론적(generator-agnostic) 보호 장치로서의 능력에 있습니다. 텍스트 임베딩 공간에서 작동함으로써, CGCG는 이전의 삭제 방법들이 실패하는 현대적인 아키텍처(VAR 또는 가이드 디스틸링 모델 등)를 포함한 광범위한 T2I 및 T2V 모델에 원활하게 통합될 수 있습니다.

저자들은 CGCE를 학습 시점의 안전 조치의 대체재가 아니라, 재학습의 계산 비용이나 가중치 수정에 따른 유용성 저하 없이 안전한 생성을 보장하는 매우 효율적이고 견고하며 실용적인 추론 시점의 솔루션으로 제시합니다. 이 방법은 다양한 애플리케이션에서 생성 모델을 책임감 있게 배포하기 위한 실질적인 단계로 제시됩니다.