Adaptive Instruction Composition for Automated LLM Red-Teaming

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 안전성을 확보하기 위해 '레드팀 (Red-teaming)' 기법이 필수적이지만, 기존 자동화 접근법에는 두 가지 주요 한계가 존재합니다.

• 시행착오 기반의 한계: 공격자 LLM 이 스스로 전략을 발견하도록 하는 기존 방법 (예: PAIR, TAP 등) 은 시행착오를 통해 학습하지만, 성공적인 공격 전략의 범위가 의미론적 (semantic) 으로 제한적입니다.
• 무작위 조합의 비효율성: 'WildTeaming'과 같은 최신 접근법은 해로운 쿼리와 탈출구 (jailbreak) 전술을 무작위로 조합하여 다양성을 확보하려 하지만, 공격 성공을 최적화하지 않아 효율성이 낮습니다.
• 핵심 문제: 방대한 조합 공간 (수조 개의 가능한 지시어 조합) 에서 **공격의 효과성 (Effectiveness)**과 **다양성 (Diversity)**을 동시에 최적화하면서, 타겟 모델의 고유한 취약점에 적응적으로 대응할 수 있는 체계가 부재합니다.

2. 제안된 방법론 (Methodology)

저자들은 **적응형 지시어 구성 (Adaptive Instruction Composition, AIC)**이라는 새로운 프레임워크를 제안합니다. 이는 강화학습 (RL) 과 컨텍스트 밴딧 (Contextual Bandit) 알고리즘을 결합하여 공격 지시어를 동적으로 생성합니다.

핵심 구성 요소

1. 데이터 소스:
   • 'WildJailbreak' 데이터셋을 기반으로 5 만 개 이상의 해로운 쿼리 (Vanilla Queries) 와 1 만 3 천 개 이상의 탈출구 전술 (Jailbreak Tactics) 을 활용합니다.
2. 알고리즘: 신경 톰슨 샘플링 (Neural Thompson Sampling, NTS)
   • 컨텍스트 밴딧: 공격 지시어 조합을 '암 (Arm)'으로 간주하고, 각 조합이 성공할 확률을 예측하여 선택합니다.
   • 강화학습: 공격 성공 여부에 대한 보상 (Reward) 을 기반으로 밴딧의 가중치를 업데이트합니다.
   • 탐색과 활용의 균형 (Exploration-Exploitation Trade-off):
     • 탐색 (Exploration): 새로운 조합을 시도하여 다양한 취약점을 발견.
     • 활용 (Exploitation): 과거 성공한 전략을 기반으로 성공 확률이 높은 조합을 집중적으로 시도.
     • 이 균형을 조절하기 위해 정규화 하이퍼파라미터 ($\lambda$) 를 조정하여 '세심한 (Subtle)' 모드와 '공격적인 (Aggressive)' 모드를 구현했습니다.
3. 임베딩 및 특징 추출:
   • 대조적 임베딩 (Contrastive Embeddings): Sentence Transformer (SBERT) 를 사용하여 쿼리와 전술을 768 차원에서 10 차원으로 축소 (UMAP) 합니다.
   • 경량 신경망: 입력으로 결합된 텍스트의 임베딩을 받아 점수를 매기는 경량 피드포워드 신경망을 사용합니다. 대조적 사전 학습 (Contrastive Pre-training) 을 통해 의미론적으로 유사한 텍스트 그룹에 대해 빠르게 일반화할 수 있도록 설계되었습니다.
4. 작동 프로세스:
   • 매 라운드마다 $K$개의 후보 지시어를 무작위 샘플링합니다.
   • 밴딧 모델이 각 후보의 예상 보상을 계산하고 가장 높은 점수를 받은 지시어를 선택합니다.
   • 선택된 지시어로 공격을 생성하고, 평가자 (Evaluator) 가 안전성 여부를 판단합니다.
   • 성공/실패 결과로 밴딧 모델을 업데이트하며, 성공한 조합은 재사용을 방지하기 위해 블록리스트에 추가됩니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 개발: 무작위 조합이나 단순 시행착오를 넘어, 강화학습 기반의 적응형 지시어 구성 (AIC) 을 통해 공격 효과성과 다양성을 동시에 최적화하는 시스템을 제안했습니다.
• 대조적 임베딩의 효과 입증: 의미론적으로 조직화된 입력 공간 (Contrastive Embeddings) 이 강화학습 에이전트가 방대한 행동 공간에서 보상을 빠르게 일반화하고 확장하는 데 결정적인 역할을 함을 증명했습니다.
• 효율적인 탐색 전략: 신경 톰슨 샘플링을 활용하여 수조 개의 조합 공간 내에서 타겟 모델의 취약점에 맞춰 지시어를 선택적으로 구성하는 방법을 제시했습니다.

4. 실험 결과 (Results)

실험은 Mistral-7B, Llama-3-70B, Llama-3.3-70B 등 다양한 오픈 소스 모델을 대상으로 수행되었습니다.

• WildTeaming 대비 성능 향상:
  • 공격 성공률 (ASR): AIC 는 WildTeaming (무작위 조합) 보다 모든 타겟 모델에서 현저히 높은 공격 성공률을 기록했습니다. (예: Llama-3-70B 기준, WildTeaming 8.8% vs AIC 공격적 모드 45.0%)
  • 다양성: 공격적 모드는 특정 취약점에 집중하여 성공률을 극대화했고, 세심한 모드는 WildTeaming 과 유사하거나 더 높은 수준의 고유 쿼리 수를 확보하며 다양성을 유지했습니다.
• 모델 간 전이 학습 (Transferability):
  • 한 모델 (예: Mistral) 에 대해 학습된 공격 정책이 다른 모델 (예: Llama-3) 에 적용되었을 때도, 무작위 샘플링보다 훨씬 높은 성공률을 보였습니다. 이는 발견된 취약점이 모델 고유의 아티팩트가 아닌 일반적인 취약점임을 시사합니다.
• Harmbench 벤치마크:
  • 최신 자동화 레드팀링 기법 (AutoDAN-Turbo, GCG, PAIR 등) 과 비교했을 때, AIC 는 Harmbench 에서 가장 높은 공격 성공률 (ASR) 을 기록하며 최상위 성능을 입증했습니다.
• Ablation Study:
  • 대조적 임베딩 (SBERT) 을 사용한 모델이 비대조적 임베딩 (BERT) 을 사용한 모델보다 학습 속도와 최종 성능이 월등히 우수함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전성 훈련 데이터의 질적 향상: AIC 는 단순히 많은 수의 공격을 생성하는 것을 넘어, 모델의 특정 취약점에 맞춰 고품질이고 다양한 공격 데이터셋을 효율적으로 생성할 수 있게 합니다. 이는 LLM 의 안전성 강화 (Safety Training) 에 필수적인 자료가 됩니다.
• 확장성: 경량 신경망과 효율적인 임베딩 전략을 통해 수조 개의 조합 공간에서도 실시간으로 적응하며 작동할 수 있음을 보여주었습니다.
• 책임 있는 연구: 이 연구는 악의적인 사용 방지를 위해 통제된 환경에서 수행되었으며, 발견된 취약점은 책임 있는 공개 (Responsible Disclosure) 를 통해 모델 개발자에게 전달되어야 함을 강조합니다.

결론적으로, 본 논문은 LLM 레드팀링의 패러다임을 '무작위 탐색'에서 '적응적 최적화'로 전환시키는 중요한 기술적 진전을 이루었으며, 향후 LLM 안전성 확보를 위한 표준적인 자동화 접근법으로 자리 잡을 잠재력을 가지고 있습니다.