기술 요약: RoguePrompt

문제 정의

대규모 언어 모델(LLM)이 안전 제어 장치와 함께 주류 워크플로에 점점 더 많이 통합되고 있지만, 공격자들은 "탈옥(jailbreak)" 프롬프트를 통해 이러한 메커니즘을 계속해서 우회하고 있습니다. 기존 연구는 암호화된 상호작용, 코드 임베디드 복호화, 프롬프트 분해와 같은 다양한 공격 프리미티브를 확립해 왔으나, 기존의 평가 방식은 전체 공격 과정을 단일한 종합적 "성공" 지표로 축소하여 처리하는 경 Tendency가 있습니다. 이러한 접근 방식은 다단계 상호작용 중 정확히 어디에서 공격이 실패했는지를 모호하게 만듭니다. 구체적으로, 다음을 구분하지 못합니다:

1. 가시적 입력 수용 (Visible Input Acceptance): 모델이 즉각적인 하드 블록 없이 프롬프트를 수용함.
2. 지시문 재구성 (Instruction Reconstruction): 모델이 은닉된 요청을 성공적으로 디코딩하고 재구성함.
3. 실행 (Execution): 모델이 실제로 재구성된 정책 위반 행동을 수행함.

이러한 혼재는 방어 기제가 입력 경계에서 효과적인지, 재구성 단계에서 효과적인지, 혹은 거절 단계에서 효과적인지를 판단하기 어렵게 만듭니다. 또한, 모델이 동일한 응답 내에서 페이로드를 디코딩하고 실행하도록 지시받는 "자기 재구성(self-reconstructing)" 프롬프트는 독특한 과제를 안겨줍니다. 즉, 제출된 형태는 탐지를 피하면서도 충실한 재구성을 위해 충분한 구조를 유지해야 합니다.

방법론: RoguePrompt

본 논문은 블랙박스 위협 모델(API/UI 액세스만 가능하며 가중치나 내부 규칙에 대한 지식 없음) 하에서 작동하도록 설계된 결정론적이고 단일 턴(single-turn) 방식의 탈옥 파이프라인인 RoguePrompt를 소개합니다. 이 방법은 금지된 프롬프트를 분할하고 명시적인 자연어 재구성 지침과 함께 이중 레이어 인코딩 방식을 적용합니다.

파이프라인

1. 분할 (Partitioning): 입력 프롬프트를 텍스트 스팬으로 세분화하고, 짝수 및 홀수 위치($E$와 $O$)를 기준으로 두 개의 서로 다른 스트림으로 나눕니다. 이를 통해 어느 한 스트림도 전체 금지 요청을 포함하지 않도록 보장합니다.
2. 내부 인코딩 (Vigenère): 직렬화된 홀수 위치 스트림($O$)을 고정된 키를 사용하여 비즈네르(Vigenère) 암호로 암호화합니다. 짝수 스트림($E$)은 평문 상태를 유지합니다.
3. 조립 (Assembly): 암호화된 홀수 스트림, 평문 짝수 스트림, 암호화 키, 그리고 순서 메타데이터를 하나의 구조화된 페이로드로 조립합니다.
4. 외부 인코딩 (ROT13): 조립된 전체 페이로드를 ROT13을 사용하여 변환합니다.
5. 래퍼 (Wrapper): 대상 모델에게 다음을 수행하도록 지시하는 자연어 지침으로 인코딩된 페이로드를 감쌉니다:
   • ROT13 변환을 역전시킬 것.
   • 필드를 파싱할 것.
   • 제공된 비즈네르 키를 사용하여 홀수 스트림을 복호화할 것.
   • 짝수 스트림과 홀수 스트림을 재조립할 것.
   • 동일한 응답 내에서 재구성된 지시를 실행할 것.

평가 프레임워크

저자들은 성공을 세 가지 독립적인 단계로 분리하여 측정하는 새로운 평가 방법론을 제안하며, 각 조건당 3회의 독립적인 실험을 수행합니다:

• Bypass@3: 가시적 입력 수용 (하드 블록 없음).
• Reconstruction@3: 모델이 원래의 지시문을 복구하고 이해했다는 증거.
• Execution@3: 거절이나 안전한 완료 없이 실질적인 요청 이행.

성공은 주어진 조건에 대해 3회의 실험 중 위 결과들의 논리적 OR로 정의됩니다. 본 연구는 StrongREJECT 데이터셋에서 추출한 313개의 "강력 거절(hard-rejected)" 프롬프를 활용하였으며, 호스팅된 세 가지 모델(OpenAI GPT-4o, Anthropic Claude 3 Opus, Google Gemini 1.5 Pro)을 대상으로 테스트했습니다.

주요 기여

1. 구축 (Construction): 비대칭 구성(짝/홀 분할, 내부 비즈네르, 외부 ROT13)과 명시적인 자기 재구성 지침을 특징으로 하는 블랙박스 단일 턴 파이프라인인 RoguePrompt를 구현했습니다.
2. 방법론 (Methodology): 입력 수용, 재구성, 실행을 분리하는 평가 프레임워크를 제안했습니다. 이는 측정치를 실제 배포 위험과 일치시켜, 집계된 지표가 숨기는 실패 모드를 드러냅니다.
3. 실증 연구 (Empirical Study): 세 가지 모델 구성에 대해 다섯 가지 베이스라인(Base64 Raw, Paired-Request Concatenation, Disemvowel 포함)과 비교 평가하여, 특정 실패 모드(예: 재구성 후 차단 vs 거절)를 규명했습니다.

결과

RoguePrompt는 모든 단계에서 높은 효능을 입증했습니다:

• Bypass@3: 93.93% (모델 평균).
• Reconstruction@3: 79.02%.
• Execution@3: 70.18%.

비교 성능:
RoguePrompt의 Execution@3 비율(70.18%)은 모든 베이스라인을 유의미하게 능가했습니다. 두 번째로 강력한 베이스라인인 Paired-Request Concatenation은 33.97%를 달성했습니다. 특히, Base64 Raw는 높은 Reconstruction@3 비율(93.29%)을 기록했으나 낮은 Execution@3 비율(16.83%)을 보였는데, 이는 성공적인 디코딩이 반드시 정책 위반으로 이어지지는 않음을 보여줍니다. 즉, 모델이 재구성 후에 거절할 수 있기 때문입니다.

실패 모드 분석:
연구 결과, 공격마다 실패하는 단계가 다름이 밝혀졌습니다:

• Disemvowel은 입력 경계에서 거의 완전히 실패했습니다(99.02% 차단).
• Base64 Raw와 Auto Payload Splitting은 빈번하게 수용 및 재구성되었으나, 재구성 후 거절(RAR)로 인해 실행 단계에서 실패했습니다.
• RoguePrompt의 실패는 차단, 디코딩 오류, 부분적 복구, 거절 등에 고르게 분포되어 있어, 전체 파이프라인을 탐색하는 데 더 강력한 능력을 갖추고 있음을 나타냈습니다.

절제 연구 (Ablation):
구성 요소(Splitting, Vigenère, 또는 ROT13) 중 하나라도 제거하면 성능이 크게 저하되었습니다. 짝/홀 분할을 비활성화했을 때 Execution@3가 가장 크게 감소(-74.59%)하였으며, 이는 가시적인 단일 스트림에 완전한 요청이 나타나는 것을 방지하는 것이 중요함을 강조합니다.

의의 및 주장

본 논문은 RoguePrompt가 표면적인 입력 수용과 다운스트림 모델 행동 사이의 심각한 불일치를 노출한다고 주장합니다. Bypass@3(93.93%)와 Execution@3(70.18%) 사이의 큰 격차는 입력 필터는 종종 우회될 수 있지만, 모델은 여전히 재구성된 요청을 거절할 능력을 보유하고 있음을 보여줍니다. 그러나 70.18%의 시도가 실행으로 이어졌다는 사실은 현재의 안전 파이프라인이 자기 재구성 및 이중 레이어 인코딩 공격에 취약함을 시사합니다.

저자들은 자신들의 기여가 특정 성공률보다는 공격 구축과 평가 방법론에 있다고 강조하며, 모델 제공업체가 모델을 업데이트함에 따라 성공률은 변할 수 있다고 언급합니다. 이 연구는 방어 체계가 다음과 같이 진화해야 한다고 주장합니다:

1. 프롬프트의 표면 텍스트뿐만 아니라 요청된 계산(computation)을 평가해야 함.
2. 재구성 이후, 그리고 실행 이전에 안전 제어를 재적용해야 함.
3. 어느 단계의 모더레이션 파이프라인을 개선해야 하는지 식별하기 위해 단계별 지표를 활용해야 함.

결론적으로, RoguePrompt는 은닉된 다단계 지침에 대한 방어 체계를 개발하기 위한 구체적인 사례 연구이자 평가 프레임워크를 제공하며, 이러한 실패 모드가 대규모로 악용되기 전에 권한 있는 레드팀 테스팅(red teaming)을 수행해야 할 필요성을 뒷받支持합니다.