기술 요약: PAST2HARM – 멀티모달 AI 를 탈옥시키기 위한 간단한 적응형 과거형 공격

1. 문제 제기

멀티모달 AI 시스템에서 안전성의 중요성이 극히 중요함에도 불구하고, 텍스트 - 이미지 (T2I) 모델을 대상으로 한 탈옥 공격은 텍스트 전용 대규모 언어 모델 (LLM) 에 비해 상대적으로 덜 탐구된 상태입니다. 멀티모달 공간의 기존 방어 기법은 "상대적으로 미성숙한" 것으로 묘사되며, 안전하지 않은 이미지 생성 (예: 허위 정보, 노골적인 콘텐츠) 의 결과는 텍스트 단독보다 더 심각한 결과를 초래할 수 있습니다.

본 논문은 최첨단 안전 정렬 (safety-aligned) 모델에서 체계적인 취약점을 확인했습니다: 이러한 모델은 해로운 요청이 과거형으로 재구성될 때 해로운 요청에 따를 가능성이 현저히 높습니다. 저자들은 안전 미세 조정 데이터셋이 압도적으로 현재형 명령어 형태의 해로운 지시문으로 구성되어 있다고 가정합니다. 그 결과, 모델은 해로운 의도를 현재형 명령어와 연관 짓는 반면, 과거형 표현은 무해한 역사적, 분석적, 또는 교육적 담론으로 간주하도록 학습합니다.

2. 방법론: PAST2HARM 프레임워크

저자들은 PAST2HARM을 소개했습니다. 이는 완전 자동화, 블랙박스, 그리고 기울기 (gradient) 가 없는 적응형 탈옥 프레임워크입니다. 이 공격은 두 가지 명확한 단계로 작동합니다:

1 단계: 과거형 재구성

목표 해로운 프롬프트는 경량 재구성 모델 (GPT-3.5-Turbo) 을 사용하여 의미적으로 동일한 과거형 변형으로 변환됩니다.

• 메커니즘: 연산자 $\phi(\cdot)$는 명령형 또는 현재형 동사를 과거형 또는 역사적 의문형으로 변환합니다 (예: "고문 장면을 묘사하라" $\to$ "역사적 기록에서 고문 장면은 어떻게 묘사되었는가?").
• 목표: 핵심 해로운 의도를 변경하지 않으면서 시간적 프레임을 이동시켜 초기 거부 훈련을 우회하는 것입니다.

2 단계: 적응형 준수 전략

목표 모델이 초기 재구성에 따를 경우, 프레임워크는 확대 (escalation) 단계에 진입합니다. 모델이 거부할 경우, 시간적 심화 (temporal deepening) 단계에 진입합니다.

• 확대 ($E$): 초기 준수가 이루어지면, 프레임워크는 악의적 행위자가 유도할 수 있는 해로운 출력의 상한을 탐색하며 모델을 점진적으로 더 심각한 해로운 출력 쪽으로 유도합니다.
• 시간적 심화 ($D$): 거부가 이루어지면, 프레임워크는 특정 역사적 시기나 "시대적 문서"를 참조하는 등 더 강력한 역사적 앵커링과 아카이브 언어 단서를 도입하여 거부 경계를 약화시킵니다.
• 종료: 루프는 성공적인 탈옥이 달성될 때까지, 최대 상호작용 예산 ($K$) 에 도달할 때까지, 또는 출력의 심각도가 정점에 도달하거나 저하될 때까지 계속됩니다.

평가 지표

본 논문은 LLM-as-a-judge(GPT-4o) 에 의해 평가되는 스칼라 지표인 **severity_jailbreak**를 도입했습니다. 이 지표는 생성된 콘텐츠의 심각도를 원래 해로운 의도 대비하여 정량화하여, 공격 궤적 (상승, 정체, 그리고 잠재적 역전) 을 분석할 수 있게 합니다.

3. 실험 설정

이 프레임워크는 독점 및 오픈소스 패러다임을 아우르는 세 가지 다양한 모델에 대해 평가되었습니다:

1. Gemini Nano (Banana Pro): 통합된 안전 메커니즘을 갖춘 최첨단 멀티모달 모델.
2. GPT-Image-2: 최신 세대의 고도로 정렬된 비전 - 언어 시스템을 대표하는 독점 모델.
3. Stable Diffusion XL (SD-XL): 상대적으로 약한 안전 필터로 알려진 고품질 오픈소스 모델.

평가에는 JBB Behaviors, AdvBench, TDC/HarmBench 에서 추출한 100 개의 해로운 쿼리로 구성된 큐레이션 벤치마크를 사용했으며, 성적인 콘텐츠, 허위 정보, 혐오 발언, 폭력 등의 카테고리를 포함했습니다.

4. 주요 결과

공격 성공률 (ASR)

$K=8$의 상호작용 예산을 가진 블랙박스 환경에서:

• SD-XL: 적응형 과거형 공격으로 100% 의 ASR 을 달성했습니다.
• Gemini Nano: 83% 의 ASR 을 달성했습니다.
• GPT-Image-2: 67% 의 ASR 을 달성했습니다.
• 비교: 적응형 과거형 공격은 "과거형만 (Only Past Tense)"(정적 재구성) 과 "미래형" 베이스라인보다 일관되게 우수한 성과를 보였습니다. 예를 들어, SD-XL 의 경우 적응형 공격은 88% 의 ASR 을 보인 반면, 정적 과거형 재구성은 71% 의 ASR 을 보였습니다.

전이성

한 모델을 위해 생성된 적대적 프롬프트는 다른 모델들에도 효과적으로 전이되었습니다. 모델 간 ASR 은 일관되게 50% 를 초과하여, 이 취약점이 특정 모델에 국한된 것이 아니라 안전 메커니즘이 역사적으로 프레임된 쿼리를 처리하는 방식의 구조적 약점임을 시사합니다.

깊이와 심각도 궤적

severity_jailbreak 지표에 대한 분석은 뚜렷한 상승 - 정체 - 역전 패턴을 드러냈습니다:

• 최대 취약점: 심각도는 대화 초기 턴 동안 상승하여 6 턴 (depth 6) 부근에서 정점을 찍습니다.
• 정체와 역전: 이 정점을 넘어서면 심각도는 종종 정체되며, 여러 사례에서는 의미적 역전을 겪습니다. 즉, 모델이 신체 비하에서 신체 긍정적 내러티브로 전환하는 등 반해롭거나 무해한 콘텐츠를 생산하기 시작합니다. 이는 무한한 확장이 아닌 "최대 취약점 창 (peak vulnerability window)"이 존재함을 시사합니다.

유발된 해로운 콘텐츠

이 공격은 다음과 같은 광범위한 정책 위반 이미지를 성공적으로 유발했습니다:

• 노골적인 성적인 나체.
• 조작된 허위 정보 (예: 9/11 은 사기극이라는 주장, 홀로코스트 부인, 미국 대통령에 대한 허위 주장).
• 민족 및 사회적 집단을 대상으로 한 혐오 발언.
• 자살과 폭력을 미화하는 콘텐츠.
• 불법 활동에 대한 지시 (예: 위조, 멀웨어 개발).

5. 중요성과 주장

본 논문은 PAST2HARM 이 멀티모달 생성형 AI 의 현재 정렬 메커니즘에서 **근본적인 취약성 (brittleness)**을 노출한다고 주장합니다.

• 구조적 맹점: 이 취약점은 특정 모델의 버그가 아니라 훈련 데이터 분포의 결과입니다. 안전 미세 조정은 현재형 거부 예시에 크게 의존하여, 과거형 표현이 안전 필터를 우회하는 간극을 만듭니다.
• 멀티모달 특수성: 저자들은 이것이 단순히 텍스트 전용 발견을 이미지로 확장한 것이 아님을 강조합니다. 해로운 시각적 아티팩트 (예: 사실처럼 보이는 가짜 뉴스, 노골적인 이미지) 의 생성은 텍스트 생성이 갖지 않는 전파 및 정서적 영향의 고유한 위험을 수반합니다.
• 벤치마크 기여: 본 논문은 100 개의 해로운 쿼리, 그 과거형 재구성, 그리고 결과 이미지를 포함한 큐레이션 벤치마크를 공개합니다. 이는 레드팀링 자원, 거부 일반화 개선 (특히 과거형 프롬프트에 대한) 을 위한 훈련 신호, 그리고 교차 모달 안전 평가를 위한 테스트베드로 활용됩니다.
• 방어 시사점: "상승 - 정체 - 역전" 패턴의 발견은 방어자가 대화 길이를 제한하거나, "맥락 재설정"을 주입하거나, 의미적 역전 단계를 가속화하기 위해 합성 반내러티브를 활용함으로써 위험을 완화할 수 있음을 시사합니다.

저자들은 이 공격이 단순하지만, 다양한 고도로 정렬된 모델 전반에 걸쳐 그 효과가 입증됨에 따라, 거부 감독에서 시간적 및 문법적 다양성을 고려한 견고한 안전 훈련의 시급한 필요성을 강조하며 결론을 내립니다.