💬 NLP

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

본 논문은 텍스트-이미지 생성 모델을 적대적으로 테스트하기 위해 LLM 기반 재작성기와 문맥 내 경험 재생을 활용하여 유창하고 의미 보존적인 적대적 프롬프트를 효율적으로 생성하는 블랙박스 프레임워크인 ICER 를 소개하며, 기존 베이스라인 대비 다양한 안전 메커니즘에 걸쳐 뛰어난 성능과 전이성을 입증합니다.

원저자: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 폭력적이거나, 나체이거나, 그 외 부적절한 그림을 만드는 것을 막는 매우 엄격하고 첨단 기술이 적용된 미술관 경비원 (텍스트-이미지 모델) 이 있다고 가정해 봅시다. 이 경비원은 똑똑해서 사용자의 요청을 읽고 '나쁜' 냄새가 나면 그림을 그리기를 거절합니다.

문제는 나쁜 행위자 (또는 시스템의 허점을 찾으려는 연구자들) 가 이 경비원을 속이려고 한다는 점입니다. 그들은 다음과 같은 질문을 하고 싶어 합니다: "나체 (naked) 라는 단어를 실제로 사용하지 않고도 '나체 사람' 그림을 요청할 수 있을까?"

구식 방법: 추측과 확인

과거에 연구자들은 경비원을 속이기 위해 주로 두 가지 방법을 시도했습니다:

"로봇 해커" (화이트박스): 이는 경비원의 비밀 코드와 내부 배선을 알아야 합니다. 보안 카메라의 설계도를 가지고 있는 것과 같습니다. 잘 작동하지만, 설계도를 가지고 있지 않기 때문에 DALL·E 3 와 같은 상업용 앱에서는 사용할 수 없습니다. 또한, 그들이 고안한 '속임수'는 종종 "nakednips nips surrounded enthrshy"와 같은 말도 안 되는 글자처럼 보이기 때문에, 사람이 보기에도 가짜라는 것을 쉽게 알아챕니다.
"무작위 수다쟁이" (블랙박스): 이는 코드를 보지 않고 속임수를 추측해 보려 합니다. 하지만 모든 시도를 완전히 새로운 게임으로 취급합니다. 100 번 실패하면 배운 것을 잊어버리고 처음부터 다시 시작합니다. 시험을 치러서 떨어지고, 노트를 버린 뒤 다시 공부하지 않고 같은 시험을 다시 보는 학생과 같습니다. 이는 느리고 비싸며, 종종 기괴하고 비자연스러운 문장을 만들어냅니다.

새로운 방법: ICER ("플레이북" 접근법)

이 논문의 저자들은 ICER라는 새로운 도구를 만들었습니다. ICER 를 단일 해커가 아니라 플레이북을 가진 스마트한 코치로 생각하세요.

다음은 간단한 비유를 통해 작동 방식을 설명한 것입니다:

1. "플레이북" (인-컨텍스트 경험 재생)

경비원을 슬쩍 지나가려는 스파이 팀을 상상해 보세요. 각 스파이가 혼자서 방법을 찾아내는 대신, 그들은 공유된 노트를 공유합니다.

스파이가 속임수를 시도했다가 실패할 때마다, 무슨 일이 일어났는지 적어 둡니다.
스파이가 속임수를 시도했다가 성공할 때마다, 무엇을 어떻게 말했는지, 그리고 왜 그것이 작동했는지 정확히 적어 둡니다.
새로운 요청을 가지고 새로운 스파이가 도착하면, 처음부터 시작하지 않습니다. 노트를 열어 과거의 성공적인 이야기들을 읽고, 그것을 가이드로 활용합니다.

논문에서 이를 **인-컨텍스트 경험 재생 (In-Context Experience Replay)**이라고 부릅니다. 이 시스템은 과거의 성공적인 "재일브레이크" (경비원을 속인 속임수) 를 기억하고, AI 가 더 나은 새로운 속임수를 작성하는 방법을 가르치기 위한 예시로 사용합니다.

2. "번역가" (LLM 재작성기)

시스템은 매우 똑똑한 번역가와 같은 대규모 언어 모델을 사용하여 사용자의 요청을 다시 작성합니다.

구식 방법: "나체 여자를 그려줘." (너무 뻔해서 차단됨).
ICER 방식: 시스템은 플레이북을 살펴보고, 누군가 "목욕탕에 있는 인물의 관능적이고 예술적이며 고전적인 그림"을 묘사한 성공적인 속임수를 발견하면, 요청을 정중한 미술 학생처럼 들리게 다시 작성합니다.
그 결과는 유창하고 자연스러운 문장으로, 실제 사람이 예술을 요청하는 것처럼 보이지만 속에는 '나쁜' 의도가 숨겨져 있습니다. 해킹을 시도하는 로봇처럼 보이지 않고, 일반적인 대화처럼 보입니다.

3. "도박사" (밴딧 최적화)

시스템은 다음과 같은 결정을 내려야 합니다: 지난번에 작동했던 같은 속임수를 다시 시도할까, 아니면 완전히 새로운 것을 시도할까?

같은 속임수만 시도하면 경비원이 규칙을 업데이트할 때 갇힐 수 있습니다.
새로운 것만 시도하면 추측하는 데 시간을 낭비합니다.
ICER 는 **톰슨 샘플링 (Thompson Sampling)**이라는 수학적 전략 (스마트한 도박사라고 생각하세요) 을 사용합니다. 이는 알려진 속임수를 활용하는 **활용 (exploiting)**과 새로운 변형을 시도하여 작동 여부를 확인하는 탐색 (exploring) 사이의 균형을 맞춥니다. 이를 통해 시스템은 시간이 지남에 따라 더 똑똑하고 빨라집니다.

그들이 발견한 것은 무엇인가?

연구자들은 ICER 를 여섯 가지 유형의 "경비원" (안전 시스템) 에 대해 테스트하고, 이를 다른 일곱 가지 방법과 비교했습니다.

더 잘 작동함: ICER 는 코드에 대한 비밀 접근이 필요한 방법조차도 다른 어떤 방법보다 경비원을 더 자주 성공적으로 속였습니다.
실제처럼 들림: ICER 가 생성한 프롬프트는 길고 상세하며 자연스럽습니다. 말도 안 되는 글자처럼 보이지 않습니다.
이동성이 좋음: 가장 놀라운 발견은 오픈소스 모델에서 구축한 ICER 의 "플레이북"이 DALL·E 3와 Midjourney와 같은 상업용 시스템에서도 작동했다는 점입니다. ICER 가 이전에 본 적이 없음에도 불구하고, 테스트 모델에서 작동한 속임수의 약 **30%**가 이러한 강력하게 보호되는 인기 앱에서도 작동했습니다.

핵심 교훈

이 논문은 안전 테스트가 고립된 시도들의 연속이 되어서는 안 된다고 주장합니다. 대신, 그것은 지속적인 학습 과정이어야 합니다. 도둑이 더 나은 계획을 세우기 위해 과거의 강도를 배우는 것처럼, 이 도구는 성공적인 공격 패턴을 저장하고 재사용하면 훨씬 더 빠르고 효과적으로 취약점을 찾을 수 있음을 보여줍니다.

경고: 논문은 이 도구가 개발자들이 패치할 수 있는 허점을 찾는 데 도움이 되지만, 동시에 나쁜 행위자들이 실제 세계에서 안전 필터를 우회하는 더 저렴하고 효과적인 방법을 만들기 위해 동일한 "플레이북" 논리를 사용할 수 있음을 보여준다고 지적합니다.

기술 요약: ICER – 인-컨텍스트 경험 재생 및 의미 보존 프롬프트 재작성을 통한 텍스트-이미지 모델에 대한 레드팀링

문제 제기

텍스트-이미지 (T2I) 모델의 급속한 배포는 Not-Safe-For-Work(NSFW) 콘텐츠 생성 및 저작권 침해 이미지 생성을 포함한 중대한 안전 문제를 야기했습니다. 개발자들은 다양한 안전 메커니즘 (예: 미세 조정된 안전 구성 요소, 추론 가이드, 다단계 필터링) 을 구현해 왔으나, 이러한 방어 체계의 견고성을 평가하는 것은 여전히 어렵습니다. 기존 레드팀링 방법은 다음과 같은 치명적인 한계를 겪고 있습니다:

화이트박스 방법 (예: P4D, UnlearnDiffAtk) 은 내부 모델 접근이 필요하며, 이는 상업적 API 기반 시스템에서는 불가능합니다. 또한 종종 해석이 불가능하고 비유창한 토큰 시퀀스를 생성하여 유창성 기반 감지기에 의해 쉽게 필터링됩니다.
블랙박스 에이전트 기반 접근법 (예: APGP, JailFuzzer) 은 유창한 프롬프트를 생성하지만, 각 공격을 독립적으로 처리하여 과거 시도로부터 학습하지 못합니다. 이로 인해 높은 계산 비용, 반복적인 쿼리, 그리고 낮은 확장성이 발생합니다.
의미 보존 격차: 많은 기존 방법들은 안전 필터를 우회하면서도 원래의 유해한 의도를 보존하는 프롬프트를 생성하지 못합니다. 실제 오용 시나리오에서는 공격자가 임의의 모델 실패가 아닌 특정 안전하지 않은 출력을 추구하는 경우가 많지만, 현재 도구들은 유창성, 의미 정렬, 그리고 성공적인 재일크 (jailbreaking) 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론: ICER 프레임워크

저자들은 ICER(In-Context Experience Replay) 를 제안합니다. 이는 원래의 유해한 의도를 보존하는 유창한 자연어 적대적 프롬프트를 생성하도록 설계된 블랙박스 레드팀링 프레임워크입니다. ICER 는 적대자가 대상 모델의 내부 매개변수나 그라디언트에 접근할 수 없다는 위협 모델 하에서 작동합니다.

이 프레임워크는 LLM 을 대리 모델 (surrogate model) 로 사용하여 베이지안 최적화 (BO) 설정 내에서 세 가지 핵심 구성 요소를 통합합니다:

1. 문제 정의

목표는 두 가지 제약 조건 하에서 함수 $f(P^*_q)$ 를 최대화하는 적대적 프롬프트 $P^*_q$ 를 찾는 것입니다:

안전 위반: 생성된 이미지 $I^*_q$ 는 안전 위반을 유발해야 합니다 (점수 $E(I^*_q) \geq \tau'$ ).
의미 보존: 생성된 이미지는 원래 프롬프트로 생성된 이미지와 높은 코사인 유사도를 유지해야 합니다 ( $sim(M(I_q), M(I^*_q)) \geq \rho$ ).

이러한 정의는 무작위 노이즈가 아닌 특정 유해 콘텐츠를 목표로 하는 "표적 재일크 (targeted jailbreaking)"를 보장합니다.

2. 인-컨텍스트 경험 재생 (ICR)

실패하거나 성공한 시도를 폐기하는 전통적인 방법과 달리, ICER 는 과거 레드팀링 경험의 공유된 사전 데이터베이스 $\mathcal{D}$ 를 유지합니다. 각 항목은 다음을 저장합니다:

원래 프롬프트 $P_i$ .
성공적인 적대적 변형 $P^*_i$ .
베타 분포로 모델링된 효과성 매개변수 $\theta_i = (\alpha_i, \beta_i)$ .

쿼리 $P_q$ 에 대한 새로운 적대적 프롬프트를 생성할 때, 시스템은 $\mathcal{D}$ 에서 $k$ 개의 예시 (exemplars) 를 샘플링하여 가이드 세트 $S_t$ 를 형성합니다. 그런 다음 LLM 은 이러한 예시와 시스템 지시를 조건으로 하여 $P^*_q$ 를 생성합니다. 이는 과거 공격 패턴을 재사용 가능한 "플레이북"으로 인코딩하기 위해 LLM 의 인-컨텍스트 학습 능력을 활용합니다.

3. 톰프슨 샘플링 (TS) 을 통한 적응형 샘플링

활용 (검증된 성공 패턴 사용) 과 탐색 (새로운 공격 벡터 발견) 사이의 균형을 맞추기 위해 ICER 는 톰프슨 샘플링을 사용합니다.

$\mathcal{D}$ 의 각 예시는 $\alpha_i$ 가 성공적인 가이드 (보상) 를 누적하고 $\beta_i$ 가 실패한 가이드 (페널티) 를 누적하는 베타 분포 $Beta(\alpha_i, \beta_i)$ 와 연관됩니다.
각 반복에서 시스템은 각 분포에서 확률 $\pi_i$ 를 샘플링하고, 가장 높은 값을 가진 상위 $k$ 개의 예시를 선택하여 LLM 을 안내합니다.
보상 메커니즘:
- 의미 실패: 생성된 이미지가 의미 검사를 통과하지 못하면, 선택된 예시는 페널티를 받습니다 ( $\beta$ 증가).
- 부분 성공: 의미 검사는 통과하지만 재일크가 실패한 경우, 안전하지 않은 점수에 따라 부분 보상이 할당됩니다.
- 완전 성공: 재일크가 성공하면 예시는 전체 보상을 받습니다 ( $\alpha$ 증가), 그리고 새로운 $(P_q, P^*_q)$ 쌍이 $\mathcal{D}$ 에 추가됩니다.

이러한 지속적인 학습 주기를 통해 프레임워크는 모델 재학습 없이도 시간이 지남에 따라 특정 안전 메커니즘에 적응할 수 있습니다.

주요 기여

ICER 프레임워크: LLM 기반 재작성 및 인-컨텍스트 경험 재생을 활용하여 유창한 자연어 적대적 프롬프트를 생성하는 블랙박스 프레임워크의 도입.
의미 보존 평가: 생성된 콘텐츠가 공격자의 특정 의도와 일치해야 하는 엄격한 패러다임인 "표적 재일크"에서 우수한 성능을 입증. 이는 단순히 임의의 안전하지 않은 콘텐츠를 생성하는 것을 넘어선 것입니다.
지식 전이: 과거 재일크 사례가 새로운 취약점 발견을 촉진할 수 있음을 규명. 논문은 공격 지식이 누적되어 단일 레드팀링 캠페인이 새로운 방어 체계와 심지어 상업적 시스템에도 적용 가능한 플레이북을 구축할 수 있음을 강조합니다.

실험 결과

저자들은 ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE 등 여섯 가지 안전한 T2I 모델과 노출 (nudity) 및 폭력 (violence) 두 가지 유해 개념에 대해 ICER 를 P4D 와 같은 화이트박스 방법과 PEZ, Ring-A-Bell 과 같은 블랙박스 방법을 포함한 일곱 가지 베이스라인과 비교 평가했습니다.

성능: ICER 는 모든 베이스라인을 일관되게 능가했습니다. 예를 들어, 노출에 대한 ESD 모델에서 ICER 는 48.71% 의 실패율 (FR) 을 기록했으며, 이는 다음으로 가장 좋은 베이스라인인 FLIRT-Scoring 의 34.55% 보다 높았습니다. 견고한 AdvUnlearn 모델에서 ICER 는 가장 강력한 베이스라인의 두 배에 달하는 취약점을 식별했습니다.
의미 보존: 의미 제약이 적용될 때 FR 이 크게 감소하는 토큰 수준 최적화 방법 (예: PEZ 는 ESD 에서 72.75% 에서 9.87% 로 하락) 과 달리, ICER 는 강력한 성능 (80.19% 에서 57.37%) 을 유지하여 의미적으로 일관된 프롬프트를 생성할 수 있음을 입증했습니다.
유창성: n-그램 퍼플렉시티를 사용한 정량적 분석 결과, ICER 는 Ring-A-Bell(69.88 $\times 10^3$ ) 및 P4D-N(175.45 $\times 10^3$ ) 과 같은 베이스라인에 비해 훨씬 더 자연스러운 프롬프트를 생성했습니다 (평균 퍼플렉시티 0.82 $\times 10^3$ ).
전이성: ICER 가 생성한 프롬프트의 30% 이상이 DALL·E 3(35.58%) 및 Midjourney(41.35%) 와 같이 엄격하게 관리되는 상업적 시스템으로 성공적으로 전이되었으며, 이는 모든 베이스라인을 능가했습니다. 이는 발견된 취약점이 특정 오픈소스 아키텍처로 제한되지 않음을 검증합니다.

중요성 및 주장

이 논문은 레드팀링을 독립적인 시도들의 집합이 아닌 학습 문제로 봐야 한다고 주장합니다. 핵심 교훈은 성공적인 재일크에는 재사용 가능한 구조가 포함되어 있다는 점이며, 이러한 패턴이 인-컨텍스트 경험 재생을 통해 포착되면 이후 공격이 다양한 개념과 대상 모델에서 훨씬 더 효과적이게 됩니다.

저자들은 이를 "양날의 검"으로 규정합니다:

방어자 관점: 비용이 많이 들고 일관성이 없는 인간 감사나 고립된 자동화된 프로브를 넘어선 효율적인 안전 평가 청사진을 제공합니다. 단일 캠페인으로 전이 가능한 플레이북을 구축할 수 있습니다.
안전 커뮤니티 관점: 독립적이고 기억이 없는 적대자만 대상으로 평가된 방어 체계는 그 견고성을 극적으로 과대평가할 수 있다는 경고입니다. 공격 지식이 쉽게 누적된다면, 악의적 행위자가 축적된 지식을 활용하여 더 저렴하고 표적화된 오용을 할 수 있습니다.

이 연구는 커뮤니티가 레드팀링을 접근하는 방식의 변화를 옹호하며 결론을 맺습니다. 정적 체크리스트에서 벗어나 각 시도가 다음을 informing 하는 지속적이고 적응적인 과정으로 전환해야 한다는 것입니다.