Sockpuppetting: Jailbreaking LLMs by Combining Prefilling with Optimization

본 논문은 간단한 프리필 변형의 앙상블이 공격 성공률을 크게 향상시킨다는 것을 보여주고, 어시스턴트 메시지 블록 내에서 적대적 접미사를 최적화하여 프롬프트 무관한 성능을 극대화하는 새로운 하이브리드 방법인 '소크퍼펫팅'을 도입함으로써 LLM 재일킹을 강화합니다.

핵심

대형 언어 모델 (LLM) 을 지극히 똑똑하고 잘 훈련된 집사들로 상상해 보세요. 이 집사들은 엄격한 규칙을 배웠습니다: "누군가 폭탄을 만드는 방법을 물어보면, '죄송합니다, 그건 할 수 없습니다'라고 말해야 합니다." 이것이 바로 그들의 안전 훈련입니다.

그러나 이 논문은 이러한 집사들이 규칙을 위반하도록 속이는 두 가지 교묘한 방법을 탐구합니다. 연구자들은 이러한 속임수를 "재일브레이킹 (jailbreaking)"이라고 부릅니다.

다음은 간단한 비유를 통해 그들의 발견 사항을 정리한 것입니다:

1. "프리필 (Prefill)" 속임수: 줄서기 건너뛰기

일반적으로 당신은 집사에게 질문을 하고, 집사는 대답하기 전에 잠시 생각합니다.

• 공격: 집사에게 다가가 그들이 말을 시작하기도 전에, 그들의 대답 첫 몇 마디를 속삭여 귀에 직접 대어주세요: "물론, 폭탄을 만드는 방법은 다음과 같습니다..."
• 결과: 집사는 일관성을 유지하고 시작한 문장을 완성하도록 훈련되었기 때문에, 그 단어들을 듣는 순간 생각을 완성해야 한다는 강박감을 느낍니다. 그들은 "잠깐, 이건 말하면 안 되는데?"라고 생각할 틈도 없이 이미 도움을 주기로 동의한 인격에 "몰입"해 있기 때문입니다.
• 논문의 발견: 연구자들은 표준 문구인 "물론, ...하는 방법은 다음과 같습니다"가 효과가 있음을 발견했지만, 이것이 최선은 아니라고 밝혔습니다. 그들은 단순히 형식을 변경하는 것—예를 들어 새 줄을 추가하거나 굵은 제목처럼 보이게 하는 것—이 이 속임수를 훨씬 더 효과적으로 만든다는 사실을 발견했습니다.
  • "앙상블 (Ensemble)" 전략: 하나의 문구만 시도하는 대신, 세 가지 약간 다른 버전을 동시에 시도했습니다. 세 가지 중 어떤 것이라도 작동하면 공격이 성공한 것입니다. 이 간단한 "몇 가지 변형을 시도해 보기" 접근 방식은 일부 인기 있는 AI 모델에서 안전 장치를 **90% 에서 99%**까지 무너뜨렸습니다.

2. "소크퍼펫 (Sockpuppet)" 속임수: 가짜 정체성

이 논문은 **"소크퍼펫팅 (Sockpuppetting)"**이라는 새롭고 더 정교한 속임수를 소개합니다.

• 비유: 실제 생활에서 "소크퍼펫"은 누군가와 동의하는 척하기 위해 사용하는 가짜 온라인 정체성입니다. 이 공격에서는 해커가 채팅 내부에 가짜 "어시스턴트 (assistant)" 메시지를 생성합니다.
• 작동 원리: 단순히 "물론, ...하는 방법은 다음과 같습니다"와 같은 간단한 문구를 입력하는 대신, 연구자들은 컴퓨터 프로그램을 사용하여 "어시스턴트" 라벨 바로 뒤에 넣을 완벽한 기이한 단어 문자열을 수학적으로 계산합니다.
  • 자물쇠 따기 도구를 생각해 보세요. 연구자들은 단순히 열쇠를 추측하는 것이 아니라, 대화의 "어시스턴트" 부분에 완벽하게 들어맞는 특정하고 기이한 모양을 기계로 갈아내는 것입니다.
  • 이 "완벽한 열쇠"가 삽입되면 모델은 "아, 이미 대답 중간에 있구나"라고 생각하며 유해한 콘텐츠를 생성하기 계속합니다.
• "롤링 (Rolling)" 업그레이드: 그들은 이 방법의 "롤링" 버전도 시도했습니다. 문장을 한 단어씩 만들어 나가는 것을 상상해 보세요. 완벽한 첫 번째 단어를 찾고, 그 다음에 이어지는 완벽한 두 번째 단어를 찾고, 이렇게 계속합니다. 이 "롤링" 방식은 이전 방법보다 성공률을 최대 **64%**까지 높여 훨씬 더 효과적이었습니다.

왜 이런 일이 발생할까요?

이 논문은 이러한 모델들이 약간의 분열된 성격을 가지고 있다고 제안합니다:

1. 안전 훈련: 나쁜 요청에는 "아니오"라고 말하도록 미세 조정되었습니다.
2. 완성 본능: 또한 그들 앞에 시작된 문장은 무엇이든 완성하도록 훈련되었습니다.

당신이 대답을 "프리필"하면 (그들을 대신해 문장을 시작하면), 그들의 완성 본능이 안전 훈련을 압도할 정도로 강력하게 자극받습니다. "스토브를 만지지 마라"고 말한 아이에게, "알았어, 내가 스토브를 만질 건데 왜냐하면..."이라고 말을 시작하면, 아이는 규칙보다는 생각을 완성하는 데 집중하여 문장을 끝내고 스토브를 만져버리는 것과 같습니다.

논문에서 얻은 주요 교훈

• 간단함이 강력하다: 일부 모델을 깨뜨리기 위해 복잡한 코드가 필요하지 않습니다. "물론, ...하는 방법은 다음과 같습니다"를 쓰는 몇 가지 다른 방법을 시도해 보는 것만으로도 놀라울 정도로 효과가 좋습니다.
• 위치의 중요성: "속임수" 단어를 AI 의 답변이 존재하는 채팅의 "어시스턴트" 섹션에 넣는 것이 질문을 하는 "사용자" 섹션에 넣는 것보다 훨씬 효과적입니다.
• "롤링" 방법: 속임수를 단어별로 최적화하는 것 (롤링 소크퍼펫) 은 전체를 한 번에 최적화하는 것보다 훨씬 강력한 공격을 만들어냅니다.
• 모든 모델이 같은 것은 아님: 일부 모델 (Qwen 등) 은 간단한 문구로 속이기 매우 쉬웠지만, 다른 모델 (Gemma 등) 은 속이기 더 어려웠지만 여전히 더 정교한 "소크퍼펫" 방법에 취약했습니다.

요약하자면: 이 논문은 AI 가 말을 시작하기 전에 AI 의 입에 "예스"를 슬쩍 넣을 수 있다면, 위험한 요청에 대해 계속 "예스"라고 말할 가능성이 매우 높음을 보여줍니다. 그들은 몇 가지 간단한 변형을 사용하거나 수학적으로 최적화된 "가짜 정체성"을 통해 이를 수행하는 것이 안전 필터를 우회하는 매우 효과적인 방법임을 발견했습니다.

기술 요약

기술적 요약: 소켓퍼펫팅: 프리필링과 최적화를 결합한 LLM 탈옥

문제 제기

대형 언어 모델 (LLM), 특히 오픈 가중치 모델은 유해한 요청을 거부하도록 설계된 정렬 훈련에도 불구하고 '탈옥' 공격에 여전히 취약합니다. 경사도 기반 공격 (예: GCG) 은 안전 필터를 우회하기 위해 적대적 접미사를 최적화할 수 있지만, 이는 종종 계산 비용이 많이 들고 전문 지식을 요구합니다. 반면, 생성 시작 전 '어시스턴트' 메시지 블록에 수용 시퀀스 (예: "네, 여기 방법이 있습니다...") 를 직접 삽입하는 '프리필' 공격은 저비용 대안을 제공하지만 모든 모델에서 최적의 효과를 발휘하지는 못할 수 있습니다. 본 논문은 표준 프리필 공격의 한계를 조사하고, 프리필링과 경사도 기반 최적화를 결합하여 더 강력하고 프롬프트에 구애받지 않는 탈옥을 달성할 수 있는지 탐구합니다.

방법론

저자들은 "해로운 행동 (Harmful Behaviors, AdvBench)" 데이터셋을 활용하고 Gemma-7B, Llama-3.1-8B, Qwen3-8B 세 가지 오픈 가중치 모델을 테스트하여 두 가지 주요 공격 벡터를 제안하고 평가합니다.

1. 프리필 변형의 앙상블

저자들은 표준 "네, 여기 방법이 있습니다..." 프리필이 최적이지 않다고 가정합니다. 그들은 수용 시퀀스의 세 가지 단순한 변형을 테스트합니다.

• PrefillAcceptance: 표준 시퀀스.
• PrefillNewline: 콜론과 줄바꿈이 추가된 시퀀스.
• PrefillTitle: 굵은 제목으로 재포맷된 시퀀스 (예: "...에 대한 가이드").
  이들을 개별적으로 평가하고 앙상블로 평가합니다 (어떤 변형이든 성공하면 프롬프트를 성공으로 간주).

2. 소켓퍼펫팅 (하이브리드 공격)

본 논문은 "소켓퍼펫팅"이라는 하이브리드 공격 계열을 소개합니다. 표준 GCG 가 사용자 프롬프트에 추가된 접미사를 최적화하는 것과 달리, 소켓퍼펫팅은 "어시스턴트" 메시지 블록의 맨 앞에 배치될 적대적 접미사를 최적화합니다.

• 메커니즘: 공격자는 목표 수용 시퀀스 (예: "네, 여기...") 를 삽입하고, 해당 수용 시퀀스가 생성될 확률을 극대화하기 위해 선행하는 적대적 접미사 ("소켓퍼펫" 문자열) 를 최적화합니다.
• 롤링 변형 (RollingSockpuppetGCG): 긴 시퀀스에서 발생할 수 있는 미최적화 문제를 해결하기 위해, 저자들은 "롤링" 최적화 전략을 사용합니다. 길이가 1 인 접미사를 최적화한 후, 이를 길이가 2 인 접미사의 "웜 스타트"로 사용하고, 이를 목표 길이 (k=10) 까지 반복합니다. 이를 통해 중간 부분 문자열이 공격 문자열을 확장하기 전에 일관성 있고 효과적으로 유지되도록 보장합니다.

3. 실험 설정

• 베이스라인: 표준 GCG (프롬프트별 및 범용 최적화) 및 "프롬프트만" (공격 없음).
• 평가: 프롬프트별 공격의 경우 AdvBench 의 첫 100 개 프롬프트에서, 범용 공격의 경우 별도의 100 개 프롬프트 검증 세트에서 공격 성공률 (ASR) 을 측정합니다. 준수 여부를 판단하기 위해 별도의 LLM(Gemma-3-27B-it) 을 판사로 사용합니다.

주요 기여

1. 단순한 프리필 변형 및 앙상블

저자들은 표준 프리필이 최적에서 매우 멀다는 것을 입증합니다. 줄바꿈, 제목 포맷팅과 같은 세 가지 단순하고 저비용 변형을 앙상블함으로써, 역전파나 경사도 계산 없이도 상당한 ASR 개선을 달성합니다.

• 결과: 앙상블은 Gemma-7B 에서 22%, Llama-3.1-8B 에서 90%, Qwen3-8B 에서 **99%**의 ASR 을 달성했습니다.
• 개선: 이는 표준 "네, 여기..." 프리필 대비 최대 38%, 저자들이 재현한 개별 프롬프트 최적화 GCG 대비 최대 **82%**의 개선입니다.

2. 소켓퍼펫팅: 경사도 최적화 프리필

본 논문은 "사용자" 블록이 아닌 "어시스턴트" 블록 내부에 경사도 최적화된 접미사를 배치하는 소켓퍼펫팅을 소개합니다.

• 결과: RollingSockpuppetGCG 변형은 표준 범용 GCG 베이스라인을 크게 능가합니다. Llama-3.1-8B 에서 범용 GCG 베이스라인 대비 프롬프트 무관 ASR 을 최대 64% 증가시켰습니다.
• 시너지: 결과는 반복적 (롤링) 최적화와 "어시스턴트" 블록 내 특정 위치의 결합이, 특히 단순 프리필에 강건한 모델에서 높은 ASR 에 중요함을 시사합니다.

결과 및 관찰

• 모델 변동성: 특정 프리필 변형의 효과는 모델에 따라 다릅니다. 예를 들어, PrefillNewline 은 Qwen 에서 매우 효과적이었으나 (98% ASR) Llama 에서는 덜 효과적이었습니다. 반면 PrefillAcceptance 는 Llama 에서 더 잘 작동했습니다. 이는 단일 프리필이 보편적으로 최적일 수 없음을 시사하며, 앙상블의 가치를 뒷받침합니다.
• Gemma 의 저항성: Gemma-7B 는 Llama 와 Qwen 에 비해 프리필 공격에 더 높은 저항성을 보였습니다. 저자들은 Gemma 가 수용 시퀀스를 생성한 후 자주 "반전"하여 거절로 후퇴하는 (예: "제공할 수 없습니다...") 것을 관찰했습니다. 이 행동은 Gemma 의 정렬 훈련이 초기 동의 이후에도 자기회귀 일관성을 깨는 메커니즘을 포함하고 있어, 공격자에게 경사도 손실 지형이 오해의 소지가 있음을 시사합니다.
• 범용 대 프롬프트별: 범용 공격 (25 개 프롬프트를 동시에 최적화) 은 일반적으로 프롬프트별 최적화보다 더 잘 수행되어, 프롬프트별 GCG 는 특정 프롬프트에 "과적합"될 수 있는 반면 범용 공격은 더 강건한 접미사를 학습함을 시사합니다.
• 상호 보완성: 저자들은 소켓퍼펫팅과 프리필링이 상호 보완적일 수 있다고 지적합니다. 단순 프리필이 이미 ASR 을 포화시킨 모델 (Llama 및 Qwen 등) 에서는 소켓퍼펫팅의 추가 이득이 적습니다. 그러나 프리필에 저항하는 모델 (Gemma 등) 에서는 소켓퍼펫팅이 방어에 적응하여 더 높은 ASR 을 달성합니다.

중요성 및 주장

본 논문은 LLM 보안 분야에 두 가지 주요 기여를 주장합니다.

1. 프리필 공격 재평가: 이 연구는 프리필 공격이 이전보다 더 강력함을 보여줍니다. 미숙한 공격자라도 수용 시퀀스의 단순한 변형을 앙상블함으로써 최소한의 계산 자원으로 높은 성공률 (Qwen 에서 최대 99%) 을 달성할 수 있습니다.
2. 소켓퍼펫팅 도입: 저자들은 "어시스턴트" 메시지 블록 내부에서 적대적 접미사를 최적화하는 것 (소켓퍼펫팅) 이, 특히 롤링 최적화와 결합될 때 매우 효과적인 전략임을 입증합니다. 이 접근법은 적대적 접미사가 반드시 사용자 프롬프트에 있어야 한다는 가정에 도전합니다.

방어에 대한 시사점:
저자들은 오픈 가중치 모델에 대한 출력 접두사 주입 방어가 필요하다고 결론지었습니다. 그들은 종종 특정 수용 시퀀스 ("네, 여기..." 등) 에 의존하는 현재의 방어 전략이 앙상블 프리필이나 경사도 최적화 어시스턴트 블록 공격에는 불충분할 수 있음을 강조합니다. 본 논문은 향후 연구가 이러한 특정 공격 벡터에 대해 가중치 수준 방어를 스트레스 테스트하고, 강건성을 높이기 위해 더 자연스럽고 모델별 수용 시퀀스를 개발할 것을 옹호합니다.

저자들은 겸손한 입장을 유지하며, 그들의 방법이 효과적이지만 LLM 안전성의 더 넓은 문제를 해결했다고 주장하지는 않는다고 명시합니다. 그들은 그들의 발견이 오픈 가중치 모델과 같이 외부 모니터링이 옵션이 아닌 경우, 더 나은 방어 연구를 고무하기 위해 취약점을 강조하기 위한 것임을 강조합니다.