기술 요약: 페르소나 공격 – 점진적 메모리 주입 (Persona Attack – Incremental Memory Injection)

문제 정의

지속적인 안전 학습과 콘텐츠 필터링 메커니즘의 구현에도 불구하고, 대규모 언어 모델(LLM)은 탈옥(jailbreak) 공격에 여전히 취약합니다. 전통적인 탈옥 기법은 대개 단일 프롬프트 주입에 의존하며, 대화의 흐름을 유지하고 시간이 지남에 따라 사용자 지침을 보유하는 모델의 능력을 간과하는 경우가 많습니다. LLs가 확장된 컨텍스트 창을 가진 대화형 에이전트로 점점 더 많이 배포됨에 따라, 이들은 대화의 일관성을 유지하기 위해 사용자 지침을 우선시하는 "메모리 메커니즘"을 보유하게 됩니다. 본 논문은 사용자 편의를 위해 설계된 바로 이 메커니즘이 안전 정렬(safety alignment)을 우회하는 데 악용될 수 있다고 주장합니다. 핵심적으로 다루는 문제는, 일련의 무해해 보이는 프롬프트가 모델의 컨텍스트 창을 점진적으로 조작하여, 모델이 내부 안전 정책보다 사용자 지침을 우선하도록 만드는 **점진적 메모리 주입(incremental memory injection)**에 대한 LLM의 취약성입니다.

방법론: 페르소나 공격 (Persona Attack)

저자들은 메모리 주입을 통해 모델의 컨텍스트 창을 조작하는 단계별 접근 방식을 사용하는 탈옥 방법인 페르소나 공격을 제안합니다. 복잡한 단일 턴 프롬프트 엔지니어링과 달리, 이 방법은 유해한 질의를 전달하기 전에 모델의 메모리에 특정 지침을 "각인"시키기 위해 멀티 턴 상호작용에 의존합니다.

핵심 구성 요소

공격은 두 가지 주요 단계로 구성됩니다:

1. 지침 각인 단계 (최면 및 마비 - Instruction Imprinting Step: Hypnosis & Paralysis):
   이 단계는 모델의 저항을 낮추고 행동을 고정하기 위해 설계된 세 가지 지침 세트($I = \{I_1, I_2, I_3\}$)를 주입하여 모델의 메모리를 준비합니다:

   • $I_1$ (모방 - Imitation): 모델에게 다른 언어 모델의 응답 결과를 예측하도록 요청하여 아이스브레이킹 역할을 합니다.
   • $I_2$ (가정 주입 - Assumption Injection): 상호작용을 "형식 준수" 작업으로 프레임화하여, 모델이 응답을 특정 카테고리(예: Jailbreak Fail, Partial Fail 등)로 분류하도록 지시합니다. 이는 강력한 프레이밍 효과를 생성합니다.
   • $I_3$ (언마스킹 - Unmasking): 누락이나 특정 단어의 마스킹 없이 명확하고 완전한 응답을 요구합니다.
     이러한 지침들은 모델의 메모리에 저장되도록 설계되어, 향후 입력이 안전 정책이 아닌 미리 정의된 규칙의 관점을 통해 해석되는 컨텍스트를 생성합니다.

2. 공격 단계 (악성 질문 - Attack Step: Malicious Questions):
   지침이 각인되면, 악성 질문($Q_h$)이 도입됩니다. 이전 지침에 의해 조건화된 모델은 유해한 질의를 "정당한 시뮬레이션" 또는 설정된 형식 내에서 완료해야 할 과제로 취급함으로써 안전 필터를 우회합니다.

변형 및 최적화

저자들은 공격 성공률(ASR)을 극대화하기 위해 프롬프트의 배치를 조합 최적화 문제로 취급합니다. 그들은 다음과 같은 여러 구성을 테스트했습니다:

• Once Attack (단일 공격): 모든 지침과 악성 질문을 하나의 프롬프트로 결합합니다.
• Sequential 1 Attack (순차 1 공격): 지침($I_1, I_2, I_3$)을 순차적으로 입력한 후 $Q_h$를 입력합니다.
• Sequential 2 & Additional Attacks (순차 2 및 추가 공격): $Q_h$가 지침 사이에 끼어드는 변형 방식입니다 (예: $I_1, I_2, Q_h, I_3$).

또한 연구는 두 가지 메모리 구현 유형을 구분합니다:

• Manual Memory (수동 메모리): 새로운 프롬프트마다 대화 기록을 컨텍스트 창에 수동으로 붙여넣습니다.
• State-Based Memory (상태 기반 메모리): 모델이 각 상호작용과 함께 반복적으로 업데이트되는 내부 상태를 유지합니다 (예: API 상태 관리를 통해).

주요 기여

1. 메모리 취약성 식별: 본 논문은 사용자 편의를 위한 "메모리 메커니즘"이 치명적인 취약점이 될 수 있음을 입증합니다. 대화가 진행됨에 따라 모델이 안전 정렬보다 누적된 사용자 지침을 점점 더 우선시한다는 것을 보여줍니다.
2. 점진적 메모리 주입 기술: 저자들은 높은 성공률을 달기 위해 단 4개의 프롬프트만을 필요로 하는 경량화된 멀티 턴 공격 전략을 소개하며, 이는 자원이 많이 소모되는 단일 샷(single-shot) 공격과 대조됩니다.
3. 메모리 구현에 대한 실증적 분석: 연구는 서로 다른 메모리 구현(Manual vs. State-Based)이 공격 효능에 어떻게 영향을 미치는지 비교 분석하며, 상태 기반 구현이 이 특정 공격 벡터에 더 취약한 경우가 많음을 밝혀냅니다.
4. 프롬프트 조합의 최적화: 프롬프트 배치를 최적화 문제로 다룸으로써, 저자들은 전통적인 방법보다 현저히 높은 ASR을 생성하는 특정 지침 조합을 식별합니다.

실험 결과

저자들은 GPT-4o, Llama-3.2-3B-Instruct, ChatGPT-4o, Claude 3.7 Sonnet, Grok 3 Beta를 포함한 여러 모델에 대해 페르소나 공격을 평가했습니다.

• 성공률: Sequential 1 공격이 가장 높은 성공률을 기록했습니다. GPT-4o의 경우, ASR은 **95%**에 달했으며, 완전 공격 성공률(FAR)은 **88.3%**에 도달했습니다. 이는 "Once" 공격(ASR 75%) 및 테스트된 모델에서 **0%**의 성공률을 보인 GCG, Jailbroken, Parameters와 같은 전통적 방식보다 크게 향상된 수치입니다.
• 메모리 구현의 영향:
  • GPT-4o: 상태 기반 메모리 구현이 수동 메모리(88.33%)보다 높은 ASR(95%)을 나타냈습니다.
  • Llama-3.2-3B-Instruct: 수동 메모리 설정에서 "Once" 공격(ASR 20%)이 순차 공격(ASR 5%)보다 성능이 더 좋다는 역설적인 결과를 보였습니다. 저자들은 이를 Llama-3가 "Many-Shot Jailbreak"(MSJ) 패턴에 대한 학습을 통해 순차적 공격의 멀티 턴 구조에는 더 저항적이지만, 단일 프롬프트 주입에는 취약해졌기 때문이라고 분석합니다.
• 실제 적용 가능성: 상용 챗봇 서비스(ChatGPT, Claude, Grok)에 대한 실험을 통해, 이 공격이 최신 안전 조치들을 우회하여 실제 환경에서도 효과적임을 확인했습니다.

의의 및 주장

본 논문은 페르소나 공격이 지침 준수 능력(instruction-following)과 안전 정렬(safety alignment) 사이의 긴장 관계를 악용함으로써 LLM의 내재된 안전 정책을 근본적으로 무너뜨린다고 주장합니다.

• 우선순위의 변화: 실험 결과는 주입된 내용이 축적됨에 따라 모델의 우선순위가 안전 정렬에서 사용자 지서로 이동함을 실증적으로 보여줍니다. 모델은 공격자가 설정한 컨텍스트를 따르기 위해 안전 제약 조건을 사실상 "망각"하거나 우선순위를 낮춥니다.
• 은밀함과 효율성: 긴 토큰 길이 혹은 명백한 악성 패턴으로 인해 쉽게 탐지되는 기존 방식과 달리, 페르소나 공격은 최종 질의에 악성 패턴을 거의 남기지 않아 기존의 프롬프트 기반 방어 체계가 탐지하기 어렵게 만듭니다.
• 안전에 대한 시사점: 저자들은 블랙박스 모델의 내부 정렬 메커니즘의 불투명성이 효과적인 방어 개발을 저해한다고 주장합니다. 그들은 향후 안전 연구가 **메모리 기반 정렬(memory-based alignment)**에 집중해야 하며, 대화 기록에 저장된 부적절한 지침을 식별하고 무시하거나 긴 컨텍스트 상태를 주기적으로 리셋하는 메커니즘이 필요할 수 있다고 제안합니다.

결론적으로, 본 논문은 LLM의 긴 컨텍스트 메모리가 주는 편의성이 안전 장치를 무력화할 수 있는 이중 용도(dual-use)의 취약성을 생성하며, 이는 상호작용적인 멀티 턴 환경에서 안전 정렬이 어떻게 유지되어야 하는지에 대한 재평가를 요구한다고 단언합니다.