GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking

기술 요약: GAS-Leak-LLM

문제 정의
대규모 언어 모델(LLM)이 중요한 도메인에 점점 더 많이 배치되고 있으나, 유해하거나 정책을 위반하는 출력을 생성하도록 안전 정렬을 우회하는 "탈옥(jailbreaking)" 기법과 같은 적대적 조작에 여전히 취약한 상태이다. 상용 시스템은 다층적인 콘텐츠 모더레이션 및 정렬 전략(예: 지도 미세 조정 및 RLHF)을 채택하고 있지만, 최근 연구에 따르면 이러한 방어책이 완벽하지 않다는 것이 밝혀졌다. 전통적인 적대적 공격은 종종 화이트박스 접근 방식(모델 파라미터에 대한 지식 필요)에 의존하거나 수동 프롬프트 엔지니어링에 의존하는데, 이는 노동 집약적이며 확장성이 부족하다. 따라서 공격자가 내부 아키텍처나 그래디언트에 접근할 수 없는 현실적인 블랙박스 위협 모델 하에서 모델의 강건성을 체계적이고 자동화된 방식으로 평가할 수 있는 방법이 필요하다.

방법론: GAS-Leak-LLM
저자들은 유전 알고리즘(GA)을 활용하여 범용 적대적 접미사(universal adversarial suffixes)를 자동으로 생성하고 최적화하는 새로운 프레임워크인 GAS-Leak-LLM을 제안한다. 이 공격은 오직 입력-출력 상호작용에만 의존하며 엄격하게 블랙박스 설정에서 작동한다.

1. 위협 모델: 공격자는 다양한 유해한 프롬프트 뒤에 일관되게 붙여서 대상 LLM이 정렬되지 않은 출력을 생성하도록 유도하는 범용 접미사를 구축하는 것을 목표로 한다. 모델은 블랙박스로 취급되며, 오직 쿼리 응답만을 확인할 수 있다.
2. 초기화: GA는 후보 접미사($M=10$)의 모집단으로 시작된다. 이들은 두 가지 뚜렷한 소스에서 생성된다:
   • 무의미한 접미사(Meaningless Suffixes): 비인쇄 문자를 포함하여 모델 어휘 사전에서 무작위로 샘플링된 토큰들($D_{s1}$).
   • 의미 있는 접미사(Meaningful Suffixes): 고빈도 어휘($D_{s2}$)에서 단어를 샘플링하고 LLM을 사용하여 문법적으로 올바른 문장을 구성하여 생성된 일관된 영어 문장들.
3. 진화 과정: 프레임워크는 표준 GA 연산자를 사용하여 세대(최대 100세대)를 거쳐 반복된다:
   • 평가(Evaluation): 각 후보 접미사는 유해한 프롬프트의 하위 집합($n=20$, 520개의 데이터셋에서 샘플링됨)에 추가된다. LLM의 응답은 대상 유해 응답($t_i$) 및 표준 거절 응답($t_r$)에 대해 분석된다.
   • 적합도 함수(Fitness Function): 적합도 점수는 의미적 유사성을 기반으로 계산된다. 이는 대상 유해 응답과의 유사성은 최대화하고, 거절 응답과의 유사성은 최소화한다. 점수가 $\geq 0.6$이면 성공적인 탈옥으로 간주한다.
   • 선택(Selection): 토너먼트 선택법이 부모 접미사를 선택하는 데 사용된다. 저자들은 토너먼트 크기($k=2$ 및 $k=3$)를 실험한다.
   • 교차(Crossover): 일점 교차(one-point crossover)는 고적합도 부모 접미사의 세그먼트를 재결합하여 자손을 생성한다.
   • 변이(Mutation): 무작위 리셋 변이 전략은 다양성을 유지하기 위해 자손의 단일 토큰을 어휘 사전의 새로운 토큰으로 교체한다.
   • 교체(Replacement): 엘리트주의 전략은 다음 세대를 위해 상위 성능을 보이는 개체를 보존한다.

주요 기여
본 논문은 세 가지 주요 기여를 기술한다:

1. 자동화된 접미사 생성: 모델 내부 구조를 요구하지 않고 유전 알고리즘을 사용하여 범용 적대적 접미사를 자동으로 생성하고 최적화하는 방법론 개발.
2. 포괄적인 평가: 의미 있는/무의 의미 있는 프롬프트, 절단/비절단, 교차 모델 전이성, 서로 다른 토너먼트 선택 크기를 포함한 다양한 조건 하에서 생성된 접미사에 대한 엄격한 평가.
3. 비교 분석: 선택된 위협 모델(Qwen2.5-3B 및 Llama-3.2-3B-Instruct)에 대해 생성된 범용 접미사의 성능을 비교하여 그 효과와 전이성을 평가.

실험 결과
연구는 두 가지 오픈 소스 모델인 Qwen2.5-3B와 Llama-3.2-3B-Instruct를 대상으로 수행되었다.

• 기초 취약성(Baseline Vulnerability): 기초 취약성에서 상당한 차이가 관찰되었다. Qwen2.5-3B는 접미사가 없음에도 불구하고 높은 기초 탈옥률(92.88%)을 보인 반면, Llama-3.2-3B-Instruct는 강력한 저항성(5.96%)을 보였다. 이는 지시 미세 조정(instruction fine-tuning)이 안전 정렬을 강화하는 데 중추적인 역할을 한다는 것을 시사한다.
• 접미사의 효과:
  • Llama-3.2-3B-Instruct: 자체 생성된 접미사를 사용하여 탈옥률을 5.96%에서 17.76%로 높임으로써 공격이 효과적임을 입증했다.
  • 의미 있는 vs 무의미한 접미사: 더 견고한 Llama 모델의 경우, 의미 있는 접미사(19.60% 성공률)가 무의미한 접미사(11.96% 성공률)보다 유의미하게 높은 성능을 보였다. 이는 언어적 일관성과 맥락적 관련성이 정렬된 모델에 대한 공격 성공률을 증폭시킨다는 것을 나타낸다.
  • Qwen2.5-3B: 높은 기초 취약성 때문에 접미사 추가가 개선 효과를 거의 주지 못했으며, 일부 경우에는 성공률을 약간 감소시켰는데, 이는 접미사가 노이즈로 작용했기 때문으로 보인다.
• 교차 모델 전이(Cross-Model Transfer): 한 모델을 위해 생성된 접미사는 다른 모델로 부분적인 전이성을 보였으나, 모델 특화형 접미사가 여전히 더 효과적이었다.
• 접미사 길이: 접미사를 절단(truncation)하면 견고한 Llama 모델에서의 공격 효능이 크게 감소했다(18.36%에서 13.2%로 하락). 반면, 취약한 Qwen 모델은 절단에 거의 영향을 받지 않았다.
• 선택 압력(Selection Pressure): 토너먼트 크기 변화($k=2$ vs $k=3$)는 성능 면에서 미미한 차이만을 나타냈다.

의의 및 주장
본 논문은 GAS-Leak-LLM이 정렬된 LLM의 잔류 취약성을 드러내는 체계적이고 재현 가능한 프레임워크를 제공한다고 주장한다. 실증적 연구 결과는 세 가지 핵심 통찰을 제공한다:

1. 지시 미세 조정: 모델 정렬을 강화하고 기초 취약성을 줄이는 데 결정적인 요소임을 확인했다.
2. 의미적 일관성: 의미 있는 적대적 접미사가 무의미한 접미사보다 탈옥 행동을 유도하는 데 훨씬 더 효과적임을 확립하였으며, 이는 안전 메커니즘이 언어적으로 일관된 입력에 의해 더 쉽게 우회될 수 있음을 시사한다.
3. 접미사 길이: 접미사 길이가 특히 Llama 제품군과 같이 견고한 모델에서 공격 효능을 결정하는 중요한 결정 요인임을 밝혔다. 즉, 더 긴 접미사가 더 강력한 행동적 영향력을 행사한다.

저자들은 이러한 발견이 LLM 안전성에 대한 이해를 증진시키고, 더 탄력적인 정렬 메커니즘을 설계하기 위한 실행 가능한 통찰력을 제공한다고 결론짓는다. 본 연구는 고급 방어책에도 불구하고, 특히 공격이 의미적 일관성을 활용할 때 모델이 자동화된 진화적 적대적 공격에 여전히 취약할 수 있음을 강조한다.