LLMStinger: Jailbreaking LLMs using RL fine-tuned LLMs

기술 요약: LLM STINGER

문제 정의

대규모 언어 모델(LLM) 탈옥(Jailbreaking)은 개발자가 설정한 안전 조치를 우회하여 유해한 응답을 이끌어내기 위해 특정 입력을 정교하게 설계하는 과정을 포함한다. 입력에 특정 문자열을 추가하는 방식인 접미사(suffix) 기반 공격은 화이트박스(white-box) 및 블랙박스(black-box) 모델 모두에 효과적임이 입증되었으나, 기존 방법론들은 상당한 확장성 문제를 안고 있다. 전통적인 접근 방식은 노동 집약적인 수동 프롬프트 엔지니어링, 복잡한 역할 수행(role-playing) 템플릿, 또는 모델 가중치에 대한 접근이 필요한 화이트박스 그래디언트 기반 최적화에 의존하는 경우가 많다. 알려진 많은 접미사 공격들이 안전 학습을 통해 패치되었음에도 불구하고, 저자들은 이러한 접미사들의 변형된 버전이 여전히 성공할 수 있음을 관찰했다. 그러나 이러한 변형을 수동으로 제작하거나 새로운 접미사를 찾기 위해 화이트박스 공격자를 사용하는 것은 시간이 많이 소요되며 탈옥(red-teaming) 노력의 확장성을 제한한다.

방법론: LLM STINGER

본 논문은 강화 학습(RL) 루프를 통해 고도로 효과적인 적대적 접미사를 자동으로 생성하기 위해 공격자 LLM을 활용하는 새로운 프레임워크인 LLM STINGER를 소개한다. 공격자 모델을 미세 조정(fine-tuning)하지 않는 이전 방법들과 달리, LLM STINGER는 기존의 성공적인 공격을 기반으로 새로운 공격 벡터를 진화시키기 위해 공격자 LLM을 미세 조정한다.

핵심 아키텍처

시스템은 근사 정책 최적화(PPO) 알고리즘을 사용하는 RL 환경 내에서 작동한다. 워크플로 과정은 다음과 같다:

1. 입력: 공격자 LLM은 유해한 질문(HarmBench 벤치마크로부터 추출)과 7개의 공개적으로 사용 가능한 성공적인 접미사 세트를 받는다.
2. 생성: 공격자 LLM은 새롭고 유사한 접미사를 생성하도록 프롬프트된다.
3. 실행: 생성된 접미사는 유해한 질문과 결합되어 피해자(victim) LLM으로 전송된다(이 과정에는 블랙박스 접근 권한만 필요하다).
4. 피드백 메커니즘:
   • 이진 보상(Binary Reward): 판단(judgment) LLM이 피해자의 응답을 평가하여 공격 성공 여부(유해한 출력 생성 여부)를 결정한다.
   • 토큰 수준 피드백: 공격이 실패할 경우, **문자열 유사도 검사기(string similarity checker)**가 조밀한 토큰 수준의 피드백을 제공한다. 이 검사기는 생성된 접미사와 이전에 성공했던 접미사 간의 유사도를 평가한다. 이는 필수적인 특성은 유지하면서 새로운 변형을 탐색하도록 유도하기 위해, 알려진 효과적인 패턴에서 너무 멀어지는 편차에 대해 페널티를 부여한다.
5. 최적 optimization: 공격자 LLM은 이진 성공 신호와 벡터 기반 유사도 피드백을 모두 사용하여 정책을 정교화하며 50 에포크(epoch) 동안 PPO를 통해 미세 조정된다.

구현 세부 사항

• 공격자 모델: Gemma (시스템 프롬프트에 대한 유연성과 과도한 주의 부족을 고려하여 선택된 오픈 소스 LLM).
• 판단 모델: HarmBench 판단 LLM (GPT-4나 Llama-Guard보다 수동 레이블링된 검증 세트에서 우수한 성능을 보여 선택됨).
• 라이브ка리: 벡터 보상 신호를 통한 토큰 수준 피드백을 처리할 수 있도록 수정된 커스텀 버전의 Transformer Reinforcement Learning (TRL) 라이브러리.
• 하드웨어: 실험은 Intel E5-2683 v4 프로세서와 NVIDIA V100 GPU가 탑재된 클러스터에서 수행되었다.

주요 기여

1. RL 기반 접미사 생성: 저자들은 정적인 프롬프트 엔지니어링이나 화이트박스 그래디언트 최적화를 넘어, 적대적 접미사를 생성하기 위해 공격자 LLM을 구체적으로 미세 조정하는 첫 번째 접근 방식을 제시한다.
2. 하이브드 피드백 루프: 문자열 유사도 검사기의 통합은 이진 성공 신호와 함께 미세한 토큰 수준의 피드백을 제공한다. 이 메커니즘은 증명된 성공 패턴에서 너무 크게 벗어나는 접미사 생성을 억제함으로써 탐색 공간을 줄이고, 효과적인 공격의 발견을 가속화한다.
3. 블랙박스 효능: 이 방법은 피해자 모델에 대한 블랙박스 접근만을 요구하므로, 내부 가중치가 필요하지 않아 오픈 소스 및 폐쇄형 모델 모두에 적용 가능하다.

결과

저자들은 7개의 피해자 LLM을 대상으로 HarmBench 표준 행동 테스트 분할을 사용하여 15개의 최첨단(SOTA) 레드팀(red-teaming) 방법론(GCG, PAIR, TAP, AutoDAN 등 포함)과 LLM STINGER를 비교 평가하였다.

• LLaMA2-7B-chat: 공격 성공률(ASR) **89.3%**를 달성하였으며, 이는 차순위 방법론 대비 +57.2% 향상된 수치이다.
• Claude 2: 공격 성공률(ASR) **52.2%**를 달성하였으며, 이는 차순위 방법론(1.9% 달성) 대비 +50.3% 증가한 수치이다.
• GPT-3.5 Turbo (0613): 공격 성공률(ASR) **88.67%**를 달성하였다.
• GPT-3.5 Turbo (1106): 공격 성공률(ASR) **94.97%**를 달성하였다.
• Gemma-2B-it: 공격자 모델과 동일한 아키텍처에서 **99.4%**의 ASR을 달성하여 높은 적응성을 입증하였다.

테스트된 모든 시나리오에서 LLM STINGER는 15개의 비교 방법론을 모두 능가하였다. 저자들은 높은 성공률이 분류기 속이기(classifier gaming)가 아닌 실제 탈옥에 의한 것임을 확인하기 위해 출력을 수동으로 검증하였다.

의의 및 주장

본 논문은 LLM STINGER가 단순한 방법론이 실패하는 조합적 어려움(combinatorial hardness)을 가진 탈옥 탐색 문제를 해결한다고 주장한다. 판단 LLM과 문자열 유사도 검사기에 의해 유도되는 RL 기반 휴리스틱 탐색을 활용함으로써, 시스템은 탐색 공간을 높은 잠재력을 가진 영역으로 효과적으로 좁힌다.

저자들은 자신들의 접근 방식이 다음을 입증한다고 주장한다:

• 강건성(Robustness): 광범위한 안전 학습을 거친 것으로 알려진 모델(예: Claude 2, LLaMA2)의 방어 체계를 우회하는 능력.
• 확장성(Scalability): 인간의 개입이나 화이트박스 접근 없이 새로운 접미사를 자동 발견하는 능력.
• 적응성(Adaptability): 오픈 소스 및 폐쇄형 시스템을 모두 포함한 다양한 모델 아키텍처에서의 효과성.

이 연구는 자동화된 RL 기반 공격 진화에 대해 단독적인 안전 학습만으로는 불충분할 수 있음을 강조하며, 이러한 적응형 적대 세력에 대응하기 위한 더 강력한 방어 전략의 필요성을 시사한다. 향후 연구로는 추가적인 토큰 수준 공격 방법, 멀티모달 모델과의 비교, 그리고 피드백 메커니즘에 대한 추가 탐구가 제안되었다.