The Salami Slicing Threat: Exploiting Cumulative Risks in LLM Systems

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 '자일브레이킹 (Jailbreaking)' 공격에 취약한데, 특히 멀티턴 (Multi-turn) 공격은 단일 턱 공격보다 은밀하고 지속적이며 더 심각한 보안 위협을 가집니다. 기존 멀티턴 자일브레이킹 방법론은 다음과 같은 두 가지 근본적인 한계를 가지고 있습니다:

1. 명시적 유해 트리거의 탐지: 모델의 맥락 인식 능력이 향상됨에 따라, 최종 단계에서 유해한 의도를 명시적으로 드러내는 경우 안전성 임계값을 초과하여 탐지되고 차단될 가능성이 높습니다.
2. 맥락 의존성 (Context-dependency): 성공적인 공격을 위해 모델별 특성에 맞춘 정교하게 설계된 대화 맥락이 필요하여, 공격의 이식성 (Transferability) 이 낮고 실제 적용 비용이 높습니다.

기존 연구들은 유해한 요청을 여러 단계로 분해하더라도, 최종 턱에서 명시적인 유해 트리거를 발생시켜야 한다는 전제를 가지고 있어 현대적인 안전 장치를 우회하기 어렵습니다.

2. 제안된 개념 및 방법론 (Methodology)

가. 살라미 슬라이싱 리스크 (Salami Slicing Risk)

저자들은 기존 방법론의 한계를 극복하기 위해 **'살라미 슬라이싱 리스크'**라는 새로운 개념을 제안합니다. 이는 금융 용어인 '살라미 슬라이싱 (작은 금액을 반복적으로 횡령하여 큰 금액을 모으는 사기)'에서 유래했습니다.

• 핵심 메커니즘: 개별적으로는 안전 임계값 (Alignment Threshold) 을 초과하지 않는 '저위험 (Low-risk)' 입력들을 연쇄적으로 연결합니다.
• 누적 효과: 각 입력은 유해하지 않아 탐지를 피하지만, 대화의 흐름에 따라 유해 의도가 **누적 (Cumulative)**되어 최종적으로 고위험 행동을 유발합니다.
• 특징: 사전 설계된 복잡한 맥락 구조나 명시적인 유해 키워드에 의존하지 않으며, 모델의 '최근성 편향 (Recency Bias)'과 누적 위험에 대한 안전 장치의 맹점을 악용합니다.

나. 살라미 공격 프레임워크 (Salami Attack)

이 리스크를 실현하기 위해 개발된 자동화 프레임워크입니다.

• 자동화 알고리즘: 강력한 LLM(공격자 모델) 을 사용하여 유해한 의도를 '초기 안전한 프롬프트'와 '점진적인 교란 (Progressive Perturbations)'으로 분해합니다.
  • 초기 단계: 유해한 주제와 관련은 있지만 안전해 보이는 프롬프트로 대화를 시작합니다.
  • 점진적 단계: 매 턱마다 미세한 의미적 변화 (교란) 를 가해 모델의 응답을 점차 유해한 방향으로 유도합니다. 각 단계는 안전 임계값 아래에 유지되지만, 누적되면 목표 유해 수준에 도달합니다.
• 멀티모달 확장: 텍스트뿐만 아니라 **시각 언어 모델 (VLM)**과 **확산 모델 (Diffusion Model)**에도 적용 가능합니다. VLM 의 경우 고정된 이미지와 점진적인 텍스트 교란을 결합하고, 확산 모델의 경우 생성된 이미지를 단계적으로 수정하는 방식으로 공격합니다.
• 적응형 공격 (A-Salami): 정적 공격이 실패하거나 맥락이 이탈할 경우, 다중 에이전트 시스템 (Reflection Thinker, Attacker, Evaluation Agent 등) 을 활용하여 실시간으로 전략을 수정하고 적응하는 폐루프 (Closed-loop) 구조를 도입했습니다.

다. 방어 전략: 누적 쿼리 감사 (Cumulative Query Auditing, CQA)

살라미 공격을 막기 위해 제안된 방어 메커니즘입니다.

• 원리: 단일 턱의 입력만 평가하는 기존 방식 대신, **현재까지의 모든 대화 이력 (누적 프롬프트 시퀀스)**을 하나의 통합된 시퀀스로 만들어 모델 자체에게 유해성 여부를 판단하게 합니다.
• 작동 방식: 새로운 프롬프트가 들어올 때마다, 이전 모든 프롬프트와 현재 프롬프트를 합쳐 유해 점수를 계산합니다. 만약 누적된 유해성이 임계값을 초과하면, 최신 응답을 거부합니다.
• 이점: 외부 감시 시스템 없이 모델의 내재된 거절 (Refusal) 메커니즘을 누적 의도 감지에 활용하여, 추가적인 학습이나 외부 도구가 필요 없습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 제시: 멀티턴 자일브레이킹의 근본적인 메커니즘인 '누적 위험 (Salami Slicing Risk)'을 이론적으로 정립하고, 기존 방법론보다 우월한 공격 효율성을 설명했습니다.
2. 범용 자동화 공격 프레임워크 개발: 텍스트, 이미지, 확산 모델 등 다양한 모달리티에 적용 가능한 'Salami Attack'을 개발하여, 모델별 특성에 구애받지 않는 높은 이식성을 입증했습니다.
3. 효과적인 방어 솔루션 제안: 누적 쿼리 감사 (CQA) 를 통해 누적된 유해 의도를 탐지하는 새로운 방어 전략을 제안하고, 이를 통해 공격을 효과적으로 차단할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR):
  • GPT-4o, Gemini 2.5 Pro 등 최상위 모델에서 90% 이상의 공격 성공률을 기록했습니다.
  • 기존 방법론 (Crescendo, GOAT, PAIR 등) 보다 월등히 높은 성능을 보였으며, 특히 창의성이 요구되거나 '소프트'한 유해 콘텐츠 생성 시나리오에서 우위를 점했습니다.
  • 이식성: GPT-4o 에서 최적화된 공격 프롬프트를 다른 모델 (Gemini, GLM, Qwen 등) 로 직접 적용했을 때, 성능 저하 없이 90% 이상의 ASR을 유지했습니다 (적응형 공격인 Crescendo 는 이식 시 성능이 급격히 하락함).
• 효율성:
  • 기존 방법 대비 토큰 비용 80% 이상 절감 및 실행 시간 50% 단축 효과를 보였습니다.
• 방어 견고성:
  • 기존 방어 기법 (SmoothLLM, Self-Reminder, Input Filter 등) 에 대해 80% 이상의 ASR을 유지하며 높은 견고성을 입증했습니다.
• 방어 효과 (CQA):
  • CQA 를 적용했을 때, Salami Attack 의 성공률을 44.8% 이상 감소시켰으며, 다른 멀티턴 공격 (Crescendo, CIA 등) 에 대해서도 최대 **64.8%**까지 차단 효과를 보였습니다.
  • 정상적인 사용자 요청 (Benign prompts) 에 대해서는 거부하지 않아 오탐 (Over-refusal) 이 거의 발생하지 않았습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 안전 장치가 단일 턱 (Single-turn) 중심으로 설계되어, **누적된 맥락적 위험 (Cumulative Contextual Risk)**을 간과하고 있음을 지적했습니다.

• 보안 관점: 단순한 키워드 필터링이나 단일 입력 검사가 멀티턴 공격에는 무력할 수 있음을 보여주며, 대화의 전체 흐름을 고려한 새로운 안전 메커니즘의 필요성을 강조합니다.
• 방어 관점: CQA 와 같은 '누적 감사' 방식이 외부 의존성 없이 모델 자체의 능력을 활용하여 효과적으로 대응할 수 있음을 증명했습니다.
• 미래 방향: LLM 시스템의 보안 강화는 개별 입력의 안전성뿐만 아니라, 대화 전체에 걸친 누적 위험 관리에 초점을 맞춰야 함을 시사합니다.

요약하자면, 이 연구는 **"작은 유해한 조각들이 모여 큰 위협이 된다"**는 살라미 슬라이싱 원리를 LLM 보안에 적용하여, 기존 방어 체계를 우회하는 강력한 공격 기법을 발견하고, 이를 막기 위한 이론적·실천적 방어책을 제시한 획기적인 연구입니다.