SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

기술 요약: SlotGCG: 탈옥 공격을 위한 LLM의 위치적 취약성 악용

문제 정의

대규모 언어 모델(LLM)은 정교하게 설계된 프롬프트가 유해한 응답을 유도하는 탈옥 공격에 여전히 취약합니다. GCG(Greedy Coordinate Gradient)와 같은 최적화 기반 공격은 효과를 입증했지만, 근본적인 한계점을 가지고 있습니다. 즉, 적대적 토큰 삽입을 일반적으로 프롬프트의 접미사(끝부분)라는 고정된 위치로 제한한다는 점입니다. 본 논문은 이러한 제한이 프롬프트 내 다른 위치에 토큰을 삽입함으로써 얻을 수 있는 잠재적 영향력을 탐구하지 못하게 만든다고 주장합니다. 저자들은 접미사가 최적의 공격 위치라는 가정이 더 효과적이고 탐지하기 어려운 공격 벡터(다양한 삽입 패턴을 활용하는 방식)를 놓칠 수 있는 연구 공백을 만든다고 논의합니다.

방법론: SlotGCG

본 논문은 GCG를 확장하여 프롬프트 내의 모든 가능한 "슬롯"(기존 토큰의 앞, 사이, 또는 뒤)에 토큰을 삽입할 수 있도록 하는 새로운 공격 프레임워크인 SlotGCG를 소개합니다. 방법론은 다음 네 가지 순차적 단계로 진행됩니다:

1. 슬롯 프로빙(Probing Slots): 전수 조사를 통한 비효율적인 탐색 없이 취약한 위치를 식별하기 위해, 유해한 프롬프트의 모든 가능한 슬롯에 고유한 "프로빙 토큰(probing tokens)"을 삽입하여 프로빙 프롬프트를 구성합니다.
2. 취약성 측정(VSS): 저자들은 특정 토큰 위치의 민감도를 정량화하기 위해 설계된 지표인 **취약 슬롯 점수(Vulnerable Slot Score, VSS)**를 도입합니다. VSS는 "애프터-챗(after-chat)" 템플릿 토큰(응답 생성에 직접적인 영향을 미치는 토큰)에서 삽입된 프로빙 토큰으로 향하는 어텐션 가중치(attention weights)를 집계하여 계산됩니다. 결정적으로, 이 계산은 고차원적 의미 처리와 탈옥 메커니즘이 가장 두드러지게 나타나는 트랜스포머 아키텍처의 상위 절반 레이어에 집중합니다.
3. 토큰 할당(Token Allocation): VSS를 기반으로, 방법론은 온도 매개변수(temperature parameter)를 가진 소프트맥스(softmax) 함수를 사용하여 삽입 확률 분포를 계산합니다. 이후 적대적 토큰은 추정된 취약도가 높은 위치에 더 많은 토큰이 배치되도록 VSS에 비례하여 각 슬롯에 할당됩니다.
4. 최적화(Optimization): 마지막으로, 할당된 적대적 시퀀스는 손실 함수를 최소화하고 유해한 응답을 유도하기 위해 표준 GCG 기반의 그래디언트 가이드 탐색(gradient-guided search)을 통해 최적화됩니다.

이 방법론의 근간이 되는 핵심 발견은 취약한 슬롯이 최적화 과정의 산물이 아니라 프롬프트 자체에 내재되어 있다는 점입니다. VSS는 최적화 과정 내내 일관되게 유지되므로, 최소한의 계산 오버헤드(약 200ms의 전처리)만으로 위험도가 높은 위치를 조기에 식별할 수 있습니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

• 위치적 취약성의 공식화: 저자들은 "취약한 슬롯"의 개념을 공식화하고, 어텐션 패턴을 기반으로 위치적 취약성을 정량화하는 VSS 지표를 도입하여, 접미사가 유일하게 효과적인 공격 벡터라는 가정을 넘어섰습니다.
• SlotGCG 알고리즘: 공격 불가지론적(attack-agnostic)이며 모든 최적화 기반 공격에 통합될 수 있는 위치 탐색 메커리즘인 SlotGCG를 제안합니다. 이는 고-VSS 슬롯을 타겟팅하여 적대적 최적화를 집중시킴으로써 더 빠른 수렴과 더 높은 성공률을 달로합니다.
• 실증적 검증: 본 연구는 Slot-GCG가 접미사 전용 접근 방식보다 여러 LLM(Llama-2, Llama-3.1, Mistral, Vicuna, Qwen 포함) 및 다양한 베이스라인 공격 방법(GCG, AttnGCG, I-GCG, GCG-Hij, GBDA)에 대해 유의미하게 우수한 성능을 보임을 입증하는 광범-한 실증적 증거를 제공하며, 레드팀 수행 및 적대적 강건성 평가를 위한 실질적인 지침을 제시합니다.

실험 결과

저자들은 여러 LLM과 다양한 베이스라인 공격 방법을 대상으로 SlotGCG를 평가했습니다.

• 공격 성공률(ASR): SlotGCG는 기존 방식들을 크게 압도했습니다. 평균적으로 GCG 기반 공격보다 14% 더 높은 ASR을 달성했습니다. 예를 들어, Llama-2-13B에 I-GCG 방식을 적용했을 때, 베이스라인의 56% 대비 94%의 ASR을 기록했습니다.
• 효율성: 이 방법은 더 빠른 수렴 속도를 보여주었습니다. Llama-2-7B에서 평균 반복 횟수가 표준 GCG의 138.11회에서 SlotGCG의 40.50회로 감소했습니다.
• 방어 기제에 대한 강건성: SlotGCG는 입력 필터링 방어(예: Erase-and-Check, Perplexity Filter, SmoothLLM)에 대해 우수한 강건성을 보였습니다. 방어 조건 하에서도 베이스라인 방식보다 42% 더 높은 ASR을 유지했습니다. 저자들은 이를 공격의 분산된 특성 덕분이라고 설명합니다. 즉, 일부 토큰이 방어에 의해 제거되거나 변형되더라도, 다른 슬롯에 있는 다른 적대적 토큰들이 이를 보완할 수 있습니다.
• 보편적 전이성(Universal Transferability): 논문은 또한 단일 적대적 토큰 시퀀스를 학습하여 여러 행동에 걸쳐 전이되는 Universal SlotGCG를 확장했습니다. 이 접근 방식은 범용 접미사 베이스라인에 비해 교차 행동 전이율을 향상시켰습니다.

의의 및 주장

본 논문은 SlotGCG가 LLM의 미개척된 차원인 위치적 취약성을 드러낸다고 주장합니다. 접미사가 항상 최적의 공격 위치는 아니라는 것을 입증함으로써, 본 연구는 적대적 토큰이 프롬프트 끝에 추가되어야 한다는 해당 분야의 지배적인 가설에 도전합니다.

저자들은 자신들의 접근 방식이 특정 공격 전략에 독립적인, 취약한 위치를 발견하기 위한 보편적인 메커니즘을 제공한다고 명시합니다. 그들은 이 연구가 어텐션 패턴과 토큰 배치가 모델 행동에 어떻게 영향을 미치는지에 대한 심층적인 이해를 통해 LLM 안전 메커니즘에 기여한다고 강조합니다. 결과적으로, 본 연구는 단순한 접미사 기반 섭동이 아닌 다양한 삽입 패턴을 활용하는 공격을 평가하고 보호해야 할 필요성을 부각함으로써, 더욱 강력한 방어 방법 개발에 정보를 제공하는 것을 목표로 합니다. 저자들은 현재의 안전 메커니즘이 프롬프트 구조 전체에 적대적 콘텐츠를 분산시키는 공격에는 불충분할 수 있음을 시사하는 발견을 했다고 언급합니다.