기술 요약: 단일 예시 하나로 다수 샷 탈옥 공격 완화하기

문제 정의

다수 샷 탈옥 (Many-shot jailbreaking, MSJ) 은 안전 정렬된 대규모 언어 모델 (LLM) 의 컨텍스트 창에 수많은 유해한 질문 - 답변 예시를 채운 후, 표적 유해 쿼리를 제출하는 정교한 공격 벡터입니다. 잘 정렬된 모델은 일반적으로 고립된 유해 요청을 거부하지만, MSJ 은 모델의 컨텍스트 내 학습 능력을 악용하여 선행하는 유해한 예시 수 ($N$) 가 증가함에 따라 모델이 표적 쿼리에 점점 더 순응하도록 만듭니다. 기존 방어 기법은 종종 제한적입니다: 학습 시간 방어는 파라미터 접근과 재학습을 요구하며, 입력 측 휴리스틱 (예: 프롬프트 필터링) 은 긴 적대적 컨텍스트 하에서 종종 실패하고, 활성화 수준 개입은 화이트박스 접근을 필요로 합니다. 컨텍스트가 안전 정렬을 어떻게 우회하는지에 대한 구체적인 계산 메커니즘과 이에 상응하여 학습이 필요 없으며, 블랙박스와 호환되고, 샷 수 증가에 강건한 방어에 대한 이해는 부족합니다.

방법론

이론적 프레임워크: 암시적 최적화

저자들은 **암시적 최적화 (implicit optimization)**에 기반한 MSJ 의 기계론적 관점을 제안합니다. 그들은 $N$개의 유해한 예시 시퀀스를 처리하는 것이 단순한 의미적 프라임 효과가 아니라, 해당 특정 유해 샘플에 대한 스토캐스틱 경사 하강 (SGD) 미세 조정의 한 단계를 수행하는 것과 기능적으로 동등하다고 주장합니다.

• 표현 드리프트 (Representation Drift): 실증적으로, 논문은 $N$이 증가함에 따라 고정된 유해 쿼리 $x$의 컨텍스트화된 활성화 표현이 활성화 공간에서 "안전 정렬" 영역에서 "유해하지 않은" (또는 오히려 순응적인) 영역으로 점진적으로 드리프트하는 것을 관찰합니다.
• 수학적 동등성: 이론적으로, $N$개의 유해한 쌍에 조건부 설정된 트랜스포머 순전파는 효과적인 MLP 가중치에 저랭크 업데이트를 유도합니다. 1 차 테일러 급수를 통해 저자들은 결과적인 활성화 이동 $\Delta Z^*(x; \theta)$가 명시적 악성 미세 조정의 경사 방향과 정렬됨을 보여줍니다. 구체적으로, 컨텍스트는 암시적 업데이트로 작용합니다:
  $$\Delta Z^*(x; \theta) \approx -\eta \sum_{i=1}^{N} \nabla_\theta Z(x; \theta) \nabla_\theta L(M(\tilde{x}_i), \tilde{y}_{i,harm})$$
  이는 MSJ 이 모델을 유해 데이터에 명시적으로 미세 조정된 모델과 구조적으로 동형인 일시적 상태로 강제한다는 것을 확립합니다.

방어 메커니즘: SafeEnd

MSJ 을 암시적 유해 업데이트로 보는 관점에 영감을 받아, 저자들은 상반되는 암시적 업데이트를 유도하는 SafeEnd라는 방어를 제안합니다.

• 원샷 안전 개입: 파라미터를 수정하거나 인스턴스별로 프롬프트를 최적화하는 대신, SafeEnd 는 표적 쿼리 직후 입력 시퀀스에 단일 고정 "원샷" 안전 예시 ($S^*$) 를 추가합니다.
• 구조: $S^*$는 대표적인 악성 쿼리와 명시적 거부 응답으로 구성된 쌍입니다.
• 메커니즘: 추가된 안전 예시는 즉각적인 교정 경사 단계로 작용합니다. 초기 안전 정렬 동안 학습된 "다대일" 매핑 (다양한 악성 쿼리가 집중된 거부 부분 공간에 매핑됨) 으로 인해, 단일 명시적 거부는 안전-중요 주의 헤드에서 고강도 방향성 경사를 유발합니다. 이 반경사는 $N$개의 유해한 예시가 유도한 누적 드리프트를 중화시켜, 모델 가중치를 변경하지 않고 표현을 안전한 영역으로 되돌립니다.
• 입력 시퀀스: 모델은 $(C, x, S^*)$를 처리하며, 여기서 $C$는 적대적 컨텍스트이고 $x$는 표적 쿼리입니다.

주요 기여

1. 실증적 특성화: 저자들은 MSJ 이 고정된 쿼리의 표현 공간에서 점진적이고 샷 의존적인 드리프트를 유도하여 해/유해 결정 경계를 가로지르게 함을 입증합니다.
2. 이론적 해석: 그들은 $N$개의 유해한 예시에 조건부 설정하는 것이 명시적 악성 최적화와 정렬된 미세 조정 유사 업데이트를 유도하는 것과 동등함을 증명하는 암시적 최적화 해석을 제공합니다.
3. SafeEnd 방어: 고정된 원샷 안전 예시를 사용하여 유해한 암시적 업데이트를 상쇄하는 학습이 필요 없고 블랙박스 호환적인 추론 시간 방어를 제안합니다.
4. 종합 평가: 이 방법은 여러 공격 유형 (MSJ, PANDAS, Crescendo, X-teaming) 에 대해 오픈 가중치 (Llama-3.1-8B, Qwen2.5-7B) 및 API 기반 (GPT-4o, Gemini 2.5 Pro) 모델에서 검증되었습니다.

실험 결과

방어 효과성

SafeEnd 는 모든 테스트된 모델과 벤치마크 (HarmBench, AdvBench) 에서 공격 성공률 (ASR) 을 크게 감소시킵니다.

• Llama-3.1-8B-Instruct: 32 샷 MSJ 하에서 기본 모델의 평균 ASR 은 76.7% 였습니다. SafeEnd 는 이를 **2.8%**로 감소시켰습니다. 주목할 만하게도, Crescendo 및 X-teaming 공격에서 0.0% ASR을 달성하여 학습 시간 방어 (MTSA, MUSE) 및 기타 추론 시간 베이스라인 (ICD, PPL-Filter, Goal Prioritization) 보다 우수한 성과를 보였습니다.
• API 모델: 입력 제어만 가능한 GPT-4o 및 Gemini 2.5 Pro 에서 SafeEnd 는 특정 공격 (예: X-teaming) 에서 거의 100% 였던 ASR 을 **0.0%**로 감소시켰으며, 다른 프롬프트 기반 방어는 최소한의 보호만 제공했습니다.
• 확장성: SafeEnd 는 적대적 컨텍스트 길이가 32 샷에서 256 샷으로 증가함에 따라 안정적으로 유지되며 낮은 ASR 을 유지하는 반면, 방어가 없는 모델은 취약성이 증가합니다.

유틸리티 및 오버헤드

• 유틸리티 보존: SafeEnd 는 일반 능력 (GSM8K, MMLU-Pro 등) 및 긴 컨텍스트 작업에서 무시할 수 있는 성능 저하를 초래합니다. 성능 하락은 학습 시간 방어 (예: MTSA 는 Llama-3.1 유틸리티 점수를 약 2.6 포인트 감소시킨 반면 SafeEnd 는 약 0.3 포인트 감소) 보다 훨씬 작습니다.
• 과도한 거부: SafeEnd 는 유해하지 않은 입력을 거부하는 비율 (과도한 거부) 을 크게 증가시키지 않으며, 유의미한 증가를 보인 학습 시간 방법과 달리 기본 모델과 가까운 비율을 유지합니다.
• 런타임 효율성: SafeEnd 는 다른 추론 시간 방법 (예: Goal Prioritization 약 7.5 초, PPL-Filter 약 0.9 초) 에 비해 64 샷 쿼리당 약 0.05 초의 최소 지연 시간만 추가합니다. 재학습이나 파라미터 접근이 필요하지 않습니다.

제거 연구

• 위치 선정: 방어는 안전 예시가 표적 쿼리 이후에 추가될 때 (끝 배치) 가장 효과적입니다. 컨텍스트의 시작이나 중간에 배치하면 결과가 현저히 약해지는데, 이는 개입이 생성 직전에 누적된 드리프트를 상쇄해야 한다는 가설을 지지합니다.

중요성 및 주장

이 논문은 다수 샷 탈옥이 단순한 프롬프트 수준의 실패나 의미적 우회가 아니라 적대적 컨텍스트에 의해 유도된 순전파 적응 과정을 반영한다고 주장합니다. 공격을 암시적 유해 미세 조정으로 프레임함으로써, 저자들은 단일 고강도 안전 경사로 암시적 업데이트를 상쇄하는 방어 원칙을 도출합니다.

SafeEnd 의 중요성은 재학습의 계산 비용이나 휴리스틱 필터링의 취약성 없이 블랙박스, 긴 컨텍스트 시나리오에서 안전 정렬을 복원할 수 있는 능력에 있습니다. 저자들은 이 접근법이 배포된 LLM 을 위한 실용적이고 비용 효율적인 수리 메커니즘을 제공하여 다수 샷 공격으로 인한 "드리프트"를 효과적으로 중화하면서도 모델의 일반 유틸리티를 보존하고 과도한 거부를 방지한다고 주장합니다.