기술 요약: CHASE (적대적 안전성 에스컬레이션을 통한 공진화적 경화)

1. 문제 정의

RLHF(인간 피드백 기반 강화 학습) 및 SFT(지도 미세 조정)와 같은 안전 정렬 기술의 발전에도 불구하고, 대규모 언어 모델(LLM)은 여전히 적응형 블랙박스 공격에 취약합니다. 기존의 방어 기제는 페르소나 변조, 허구적 프레이밍, 설득 기반 재구성(persuasion-based reformulation)과 같이 진화하는 적대적 전략에 대해 매우 취약한 정적 결정 경계에 의존하는 경우가 많습니다.

기존의 레드팀 구성 및 방어 프레임워크는 두 가지 주요 한계점을 가집적합니다:

1. 좁은 공격 분포: 많은 방법론이 고정된 공격 템플릿이나 모방 학습에 의존하며, 이는 발견되는 공격 전략의 다양성과 결과적인 방어의 일반화 능력을 제한합니다.
2. 적응 격차(The Adaptive Gap): $t-1$ 시점에 최적화된 방어는 $t$ 시점에 나타나는 새로운 공격 분포에 대해 실패하는 경우가 많습니다. 또한, 이전의 공진화 접근 방식들은 고정된 타겟에 대한 지도 학습을 통해 방어자를 경화시키므로, 기계적으로 구별되는 공격 패밀리 간에 전이될 수 있는 잠재적 공격 프리미티브(latent attack primitives)를 포착하지 못합니다.

본 연구가 다루는 핵심 연구 질문은 현재 LLM 안전 정렬의 취약성이 훈련 중에 사용된 공격의 좁은 분포에서 기인하는지, 그리고 보상 기반의 적대적 탐색을 통해 이 분포를 확장함으로써 적응 격차를 해소할 수 있는지 여부입니다.

2. 방법론

CHASE(Co-evolutionary Hardening through Adversarial Safety-Escalation)는 사전 정의된 탈옥(jailbreak) 템플릿에 노출되지 않은 상태에서 블랙박스 공격자와 안전 정렬된 방어자가 공진화하는 폐쇄 루프 레드-블루 팀 구성 프레임워크입니다.

2.1 공격자: 템플릿 프리 RL 탐색

공격자($A_\theta$)는 베이스 모델(NousResearch Hermes 4)을 사용하여 **GRPO(Group Relative Policy Optimization)**로 훈련됩니다.

• 템플릿 프리 초기화: 공격자는 탈옥 템플릿, 큐레이션된 예시, 또는 스타일 스캐폴딩(scaffolding)을 제공받지 않습니다. 공격자는 오직 시드 의도(seed intent)를 보존하면서 프롬프트를 재작성하라는 지시만을 받습니다. 모든 적대적 프레이밍 전략(예: 가설적 시나리오, 페르소나 할당)은 순수하게 보상 기반 탐색을 통해 발현되어야 합니다.
• 승법적 보상 분해(Multiplicative Reward Decomposition): 보상 해킹(예: 의도 드리프트 또는 과도한 정화)을 방지하기 위해, 공격자는 다음과 같은 승법적 보상 함수를 사용하여 최적화됩니다:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (우회 점수): 이진 거절 게이트, 유해 정보의 구체성, 그리고 우회의 설득력을 결합한 복합 지표입니다.
  • $I_{intent}$ (의도 충실도): 재작성된 프롬프트가 원래의 유해한 의도를 유지하고 있는지 확인하는 독립적인 판사 모델의 점수입니다.
    이 공식은 결합 임계값을 강제합니다. 즉, 우회에는 성공했으나 의도를 상실하거나(또는 그 반대의 경우), 두 조건 중 하나라도 충족하지 못하면 거의 0에 가까운 보상을 받게 됩니다.

2.2 방어자: 2단계 경화 파이프라인

방어자($D_\gamma$)는 Llama-3.1-8B-Instruct를 기반으로 하며, 온-폴리시(on-policy) RL의 분산 및 일관성 문제를 해결하기 위해 2단계 과정을 통해 경화됩니다.

1. GRPO 탐색: 방어자는 먼저 유해한 프롬프트(원래 의도 및 공격자의 재작성된 프롬프트 모두)에 대해 GRPO를 통해 훈련됩니다. 보상 함수는 순응보다 거절을 우선시하며, 고품질의 교육적 거절에 보너스를 부여합니다. 이 단계는 거절의 지형을 탐색하지만 산발적인 고품질 거절만을 생성합니다.
2. 기각 샘플링 SFT(Rejection-Sampled SFT): 산발적인 거절을 일관된 행동으로 공고히 하기 위해, 시스템은 높은 온도로 여러 후보 응답을 생성합니다. 가장 품질이 높은 확정된 거절들을 수집하여 훈련 데이터셋을 구축합니다. 이 데이터셋은 다음 항목들로 균형을 맞춥니다:
   • Layer 2 거절: 적대적 재작성에 대한 고품질 거절.
   • Layer 1 거절: 원래의 유해한 의도에 대한 거절.
   • 양성 응답(Benign Responses): 과도한 거절(false refusals)을 방지하기 위한 표준 데이터셋(예: Stanford Alpaca)의 유익한 응답.
     그 후, 방어자는 이 큐레이션된 데이터셋을 통해 지도 미세 조정(SFT)됩니다.

3. 주요 기여

1. 템플릿 프리 공진화 프레임워크: 공격자와 방어자 모두 탈옥 템플릿에 노출되지 않고 GRPO를 통해 훈련되는 새로운 설정입니다. 공격자는 보상 기반 탐색을 통해 적대적 프레이밍을 발견하며, 이를 통해 특정 패밀리를 모방하는 것이 아니라 잠재적인 공격 프리미티브에 수렴하도록 강제합니다.
2. 승법적 보상 분해: 단일 목적 적대적 훈련에서 흔히 발생하는 의도 드리프트 및 과도한 정화 문제를 제거하는 보상 구조($R = S_{bypass} \times I_{intent}$)를 제안합니다.
3. 강력한 교차 공격 일반화: CHASE 공격자 출력물만을 사용하여 훈련된 방어자는 훈련 과정에서 사용되지 않은 다섯 가지의 기계적으로 구별되는 홀드아웃 공격 패밀리(PAIR, TAP, AutoDAN, PAP, Translation)에 대해 강력한 견고성을 입증했습니다.
4. 해석 가능한 비용 분석: 본 프레임워크는 양성 프롬프트에 대해 0%의 오거절(false refusal) 비율을 유지하면서 안전성을 개선하는 동시에, 탈옥에 가장 많이 악용되는 벡터인 허구적 프레이밍 및 역할 수행(roleplay) 영역에 성능 저하를 집중시켰습니다.

4. 실험 결과

BeaverTails 및 JailbreakBench에서 다섯 가지 홀드아웃 공격 패밀리에 대해 평가되었습니다:

• 안전성 개선: CHASE 방어자는 모든 공격과 데이터셋에 대해 평균 StrongREJECT 점수를 43.2% 감소시켰습니다.
• 제로 오거절: 모델은 Stanford Alpaca의 100개 홀드아웃 양성 프롬프트에 대해 0%의 오거절을 달성했습니다.
• JailbreakBench 성능: 방어자는 직접적인 오용, PAIR 전이, GCG 전이 평가에서 **0%의 공격 성공률(ASR)**을 기록하며 가장 강력하게 발표된 결과들과 일치하는 성능을 보였습니다.
• 어블레이션 연구(Ablation Study): CHASE 공격자를 고정된 공격 패밀리(PAIR 아티팩트)로 대체했을 때, 생성된 방어자는 현저히 낮은 일반화 성능을 보였습니다(−43.2% 대비 −28.6% 감소). 이는 RL로 발견된 분포가 견고성의 주요 동력임을 확인시켜 줍니다.
• 품질 vs 양: CHASE 공격자는 베이스라인(예: PAIR 또는 PAP)보다 적은 수의 우회 사례를 생성했지만, 훨씬 더 높은 설득력과 구체성을 보여주었습니다. 이는 더 높은 충실도를 가진 공격으로서, 제안된 프레임워크 없이는 방어하기 더 어려운 공격임을 나타냅니다.

5. 의의 및 주장

본 논문은 CHASE가 기존의 좁은 분포를 넘어 일반화되는 LLM 안전 경화의 경로를 보여준다고 주장합니다. 템플릿 스캐폴딩을 제거함으로써, 프레임워크는 서로 다른 공격 방법(예: AutoDAN, TAP, PAP)에서 반복되는 재사용 가능한 프레이밍 전략인 잠재적 공격 프리미티브를 복구합니다.

저자들은 이러한 경화의 "비용"이 해석 가능하며 타겟팅되어 있다고 주장합니다. 즉, 방어자는 허구적 시나리오, 역할 수행, 페르소나 변조가 포함된 프롬프트를 거절하도록 학습됩니다. 이러한 프레이밍은 실제 환경의 지배적인 공격 표면(예: 현장 탈옥의 98%가 "가장하기" 전략을 사용)을 구성하므로, 결과적인 과도한 거절은 무작위적인 실패 모드가 아닌 구조적 휴리스틱입니다. 이는 템플릿 프리 RL 탐색이 고정된 공격 템플릿에 의존하는 방법보다 진화하는 탈옥과 정적인 LLM 사이의 적응 격차를 더 효과적으로 좁힐 수 있음을 시사합니다.

한계점: 저자들은 MT-Bench 비용(−1.92 포인트)이 추론 집약적 카테고리에서 무시할 수 없는 수준이라고 언급했습니다. 또한, 방어자가 사용자 의도가 아닌 프레이밍 특징에 따라 분류하므로 양성 허구 쿼리에 대한 거절이 높아질 수 있습니다. 평가는 인간의 주석 대신 LLM 판사를 사용하였으며, 다른 모델 아키텍처로의 전이 가능성은 아직 테스트되지 않았습니다.