기술 요약: Red-Bandit

문제 정의

대형 언어 모델 (LLM) 은 안전 장치를 우회하는 적대적 프롬프트에 여전히 취약하며, 이는 모델 훈련 내의 상충되는 목표와 안전성과 능력 간의 일반화 격차로 인한 한계로 귀결됩니다. 자동화된 레드팀링이 인간 감사의 확장 가능한 대안으로 등장했지만, 기존 방법들은 상당한 트레이드오프에 직면해 있습니다:

• 오프라인 최적화: AdvPrompter 및 Atoxia와 같은 방법은 오프라인에서 적대적 프롬프트를 생성합니다. 이러한 방법은 블랙박스 모델로 잘 전이되지만, 테스트 시 특정 타겟 모델의 취약점에 적응할 수 있는 능력이 부족합니다.
• 쿼리 집약적 적응: 반복적 검색 및 변형 방법 (예: PAIR, TAP) 은 테스트 시 적응성을 제공하지만, 단일 프롬프트를 정제하기 위해 수많은 상호작용이 필요하여 쿼리 비용이 매우 높습니다.
• 다양성과 가독성: 강화 학습 (RL) 기반 접근법은 종종 '모드 붕괴 (mode collapse)'로 고통받아 생성된 프롬프트의 다양성을 제한하며, 보상 설계에서 가독성과 공격 성공이라는 여러 목표를 균형 있게 맞추는 데 어려움을 겪습니다.

핵심 과제는 반복적 검색의 높은 쿼리 비용이나 오프라인 최적화의 경직성을 초래하지 않으면서, 온라인으로 효율적으로 적응하여 모델별 취약점을 식별하고 악용할 수 있는 블랙박스 레드팀링 프레임워크를 개발하는 것입니다.

방법론

Red-Bandit 은 파라미터 효율적인 RL 사후 훈련과 테스트 시 적응을 위한 다중 암 밴딧 (MAB) 정책을 결합한 2 단계 프레임워크를 통해 이러한 과제를 해결합니다.

1. LoRA 전문가의 RL 사후 훈련

이 프레임워크는 먼저 Low-Rank Adaptation (LoRA) 을 사용하여 다양한 '공격 스타일 전문가' 세트를 훈련합니다.

• 공격 스타일: Rainbow Teaming 분류에 기반하여 10 가지 고유한 공격 스타일 (예: 역할극, 은어, 역사적 시나리오, 권위 조작) 이 정의됩니다.
• 훈련 알고리즘: 저자들은 별도의 가치 모델과 참조 모델이 필요하지 않아 계산 오버헤드를 줄이는 PPO 의 변형인 그룹 상대 정책 최적화 (GRPO) 를 사용합니다.
• 보상 신호: 안전성에 기반하여 프롬프트를 점수화하는 규칙 기반 보상 모델 (Llama Guard) 이 사용됩니다. 중요한 점은 보상이 타겟 모델의 응답이 아닌 프롬프트 자체 (프롬프트 수준 안전성) 에 대해 계산된다는 것입니다. 이는 타겟 모델을 쿼리하지 않고 완전히 블랙박스 환경에서 훈련할 수 있게 하여 하위 LLM 전반에 걸친 일반화를 촉진합니다.
• 아키텍처: 각 공격 스타일은 전용 LoRA 전문가가 할당됩니다. 이 모듈식 설계는 병렬 훈련을 가능하게 하며, 기존 전문가를 재훈련하거나 파국적 망각을 초래할 위험 없이 새로운 스타일을 쉽게 추가할 수 있습니다.

2. 밴딧 유도 추론

추론 시, Red-Bandit 은 공격 스타일 선택을 다중 암 밴딧 문제로 취급합니다.

• 메커니즘: 시스템은 타겟 모델의 응답 안전성에 기반하여 사전 훈련된 LoRA 전문가들 사이에서 동적으로 선택합니다.
• 탐색 대 활용: 이 프레임워크는 새로운 취약점을 발견하기 위해 다양한 공격 스타일을 시도하는 탐색과 특정 타겟에 대해 효과적인 것으로 알려진 스타일에 의존하는 활용 사이의 균형을 맞춥니다.
• 알고리즘: 저자는 두 가지 정책을 평가합니다:
  • $\epsilon$-greedy: 경험적으로 가장 좋은 암을 대부분 선택하고 가끔 무작위 탐색을 수행하여 활용을 우선시합니다.
  • 상한 신뢰 구간 (UCB): 불확실성 하의 낙관주의를 적용하여 덜 탐색된 암을 선호함으로써 공격 스타일의 더 균형 잡힌 분포를 보장합니다.
• 적응: 밴딧 정책은 타겟 모델로부터의 피드백에 기반하여 선택 전략을 업데이트하여, 근본적인 LoRA 가중치를 재훈련하지 않고도 테스트 시 적응을 효과적으로 수행합니다.

주요 기여

1. Red-Bandit 프레임워크: 다중 암 밴딧을 사용하여 특정 타겟 모델에 가장 효과적인 공격 스타일을 동적으로 식별하고 스타일 다양성과 공격 성공 사이의 균형을 맞추는 블랙박스 레드팀링 방법입니다.
2. RL 사후 훈련 파이프라인: GRPO 와 LoRA 를 사용하여 스타일별 전문가를 훈련하는 새로운 파이프라인입니다. 이 방법은 타겟 모델에 대한 접근 없이도 인간이 읽을 수 있고 스타일에 부합하는 적대적 지시를 생성하기 위해 프롬프트 수준 안전성 보상을 활용합니다.
3. 진단 능력: 밴딧 정책은 특정 모델이 어떤 공격 스타일에 가장 취약한지를 드러내는 진단 도구 역할을 하여 모델별 약점을 노출시킵니다.
4. 성능: 이 방법은 기존 베이스라인에 비해 더 낮은 퍼플렉시티 (더 높은 유창성) 로 프롬프트를 생성하면서도 AdvBench 와 HarmBench 에서 최첨단 공격 성공률 (ASR) 을 달성합니다.

실험 결과

저자들은 오픈소스 (Mistral-7B, Vicuna-7B, Llama2-7B) 와 독점 (GPT-3.5-turbo, GPT-4o-mini, GPT-4o) 모델을 대상으로 AdvBench 와 HarmBench 벤치마크에서 Red-Bandit 을 평가했습니다.

• 공격 성공률 (ASR):
  • AdvBench에서 Red-Bandit 은 Mistral-7B 와 Vicuna-7B 에서 100% 의 ASR@10 을 달성하여 Atoxia 와 AdvPrompter 와 같은 베이스라인을 능가했습니다. Llama2-7B 에서는 96% 이상의 ASR@10 을 달성했습니다.
  • HarmBench에서 Red-Bandit (UCB 변형) 은 ASR@20 설정 하에 대부분의 타겟 모델에서 GCG, PAIR, TAP, AutoDAN 을 포함한 모든 베이스라인을 능가했습니다. 특히 Llama-2-7B 에서 69.0% 의 ASR@10 을 달성하여 GCG-Universal(20.0%) 을 크게 앞섰습니다.
  • 독점 모델을 대상으로 한 블랙박스 설정에서 Red-Bandit 은 높은 ASR@10 을 보였습니다 (예: GPT-3.5-turbo 에서 98.1%). 이는 밴딧 유도 선택이 프롬프트 전이성에 의존하지 않고도 취약점을 악용할 수 있음을 입증했습니다.
• 프롬프트 품질: Red-Bandit 은 베이스라인에 비해 현저히 낮은 퍼플렉시티 (예: Mistral-7B 에서 UCB 의 경우 2.31) 로 프롬프트를 생성하여 더 높은 인간 가독성을 나타냈습니다.
• Ablation 연구: RL 사후 훈련과 밴딧 선택 메커니즘 모두 성능에 크게 기여한다는 결과가 확인되었습니다. 프롬프트 기반 보상은 응답 기반 또는 하이브리드 보상보다 더 효율적이고 다양함이 밝혀졌습니다.
• 취약점 진단: 밴딧의 선택 분포 분석은 모델별 뚜렷한 취약 패턴을 드러냈습니다 (예: GPT-4o 는 역사적 및 역할극 시나리오에 매우 취약한 반면, Llama-3.1-8B 는 가설적 및 권위 조작 공격에 민감함).

중요성과 주장

이 논문은 Red-Bandit 이 적응성과 효율성 사이의 트레이드오프를 해결함으로써 자동화된 레드팀링에서 중요한 진전을 이루었다고 주장합니다. 쿼리 집약적인 반복적 검색 방법이나 특정 타겟에 적응할 수 없는 오프라인 방법과 달리, Red-Bandit 은 실시간으로 가장 효과적인 공격 스타일로 '라우팅'하는 것을 학습하는 확장 가능한 솔루션을 제공합니다.

저자들은 이 프레임워크가 단순한 공격 도구가 아니라 진단 도구라고 강조합니다. 밴딧 정책이 해로운 행동을 유발하기 위해 가장 빈번하게 선택하는 공격 스타일을 분석함으로써 개발자들은 특정 모델의 약점과 행동 편향을 파악할 수 있습니다. 논문은 충분한 탐색 예산이 제공된다면, 다중 암 밴딧에 의해 유도된 표적 공격 스타일을 통해 모델 취약점을 악용하는 것이 기존 방법들보다 성공률과 인간 가독성 모두에서 우수하다고 결론지었습니다.

참고: 저자들은 이 기술의 이중 사용 가능성을 인정하며, 이는 개발자와 연구자가 모델 안전 장치를 감사하고 강화하기 위한 목적으로만 의도되었다고 명시합니다.