기술 요약: 비협력 게임을 통한 언어 모델(LM)의 안전 정렬

문제 정의

대규모 언어 모델(LM)의 유용성을 보존하면서 안전성을 확보하는 것은 여전히 중요한 과제입니다. 현재의 안전 정렬 방식은 일반적으로 순차적인 적대적 훈련에 의존합니다. 즉, 공격자 LM이 적대적 프롬프트(탈옥)를 생성하면, 방어자 LM이 이를 저항하도록 미세 조정하는 방식입니다. 이 과정은 흔히 "쫓고 쫓기는(cat-and-mouse)" 방식으로 반복적으로 적용됩니다. 저자들은 이러한 순차적 교차 방식이 교차 최적화(alternating optimization)에 내재된 비효전성과 잠재적 불안정성의 문제를 겪는다고 주장합니다. 또한, 기존 방법론들은 적응형 공격(adaptive attacks)에 대한 강건성을 유지하는 데 어려움을 겪는 경우가 많으며, 이는 표준 벤치마크에서 무시할 수 없는 탈옥 성공률로 이어집니다. 아울러, 많은 접근법이 판별 모델(judge models)로부터 점수 기반(point-wise) 보상 신호에 의존하는데, 이는 절대적인 안전 점수를 캘리브레이션하기 어렵고 안전 위반의 주관적인 특성 때문에 보상 해킹(reward hacking)이 발생하기 쉽습니다.

방법론: AdvGame

본 논문은 AdvGame을 소개하며, 이는 안전 정렬을 두 명의 서로 다른 에이전트인 공격자 LM($\rho$)과 방어자 LM($\pi$) 사이의 **비제로섬(non-zero-sum), 비협력 게임(non-cooperative game)**으로 프레임워크화한 것입니다. 하나의 모델이 두 역할을 모두 수행하며 파라미터를 공유하는 기존의 "자기 대국(self-play)" 방식과 달리, AdvGame은 온라인 강화 학습을 통해 두 개의 별도 모델을 동시에 훈련합니다.

핵심 구성 요소

1. 비제로섬 공식화: 이 게임은 공격자와 방어자의 목적이 서로 완벽하게 대립하지 않기 때문에 비제로섬으로 정의됩니다.

   • 방어자 목적: 안전하고 정책을 준-수하며 유용한 응답을 생성하는 것입니다. 선량한 질의에 대해서는 순응해야 하며, 유해한 질의에 대해서는 직접적인 거절이나 유해한 출력을 내놓는 대신 "우회(deflection)"(안전하고 의미적으로 인접한 정보 제공)를 제공해야 합니다.
   • 공격자 목적: 방어자의 실패(서비스 거부) 또는 정책 위반을 유도하는 것입니다. 결정적으로, 공격자는 방어자가 질의 유형을 오분류하도록(예: 선량한 질의를 유해한 것으로 보이게 하여 과잉 거절을 유발하거나, 유해한 질의를 선량한 것으로 보이게 하여 안전망을 우회함) 속이는 것에 대해 보상을 받습니다. 이는 공격자가 기술적으로는 "승리"하지만 견고성을 테스트하는 데 실패하는 기형적인 솔루션(예: 의미 없는 텍스트 생성)으로 수렴하는 것을 방지합니다.

2. 선호도 기반 최적화: 점수 기반(point-wise) 스칼라 보상(캘리브레이션이 어려운) 대신, AdvGame은 **쌍체 선호도 신호(pairwise preference signals)**를 활용합니다.

   • 판별자(Judges): 판별 LM은 응답 쌍(방어자용) 또는 공격 프롬프트와 그 결과 응답의 쌍(공격자용)을 평가합니다.
   • 방어자 판별자: 더 순응적인 응답(선량한 시드에 대해) 또는 더 나은 우회 정보를 제공하는 응답(유해한 시드에 대해)을 선택합니다.
   • 공격자 판별자: 방어자를 속이는 데 성공한 공격 프롬프트를 선택합니다. 시드의 유형에 따라 선호도 로직을 전환하여, 공격자가 단순히 노이즈를 생성하는 것이 아니라 방어자의 분류를 조작하는 법을 배우도록 합니다.
   • 충실도(Faithfulness): 별도의 판별자가 공격자의 프롬프트가 원래 시드의 의도에 충실한지 확인하여, 공격자가 질의의 근본적인 의미를 변경하는 것을 방지합니다.

3. 훈련 알고리즘 (AdvGame-DPO-MD):

   • 이 방법은 **직접 선호도 최적화(DPO)**와 내쉬 미러 디센트(Nash Mirror Descent, Nash-MD) 개념을 이 공동 설정에 맞게 변형했습니다.
   • 오프-폴리 샘플링(Off-Policy Sampling): 훈련 안정성을 높이기 위해, 알고리즘은 현재의 정책을 직접 사용하는 대신 지수 이동 평균(EMA) 모델($\pi^\gamma, \rho^\gamma$)을 사용하여 온라인 데이터(rollouts)를 생성합니다. 이러한 오프-폴리 접근 방식은 업데이트를 부드럽게 하고, 순수 온-폴리 RL에서 흔히 발생하는 최근 변화에 대한 과적합을 방지합니다.
   • 손실 함수: 저자들은 쌍체 선호도 데이터를 사용하여 게임의 내쉬 균형을 최적화하는 공격자와 방어자를 위한 특정 DPO 스타일의 손실 함수를 도출했습니다.

주요 기여

1. 공동 비협력 훈련: 본 논문은 순차적 교차나 파라미터 공유 자기 대국 방식에서 벗어나, 공격자와 방어자가 동시에 훈련되는 프레임워크를 제안합니다.
2. 선호도 기반 감독: 취약한 점수 기반 보상 신호를 견고한 쌍체 선호도 비교로 대체하여, 보상 해킹과 캘리브레이션 문제를 완화합니다.
3. 오프-폴리 안정성: EMA 기반의 오프-폴리 샘플링(AdvGame-DPO-MD) 통합이 GRPO와 같은 온-폴리 방식에 비해 훈련 안정성을 크게 향상시킨다는 것을 보여주었습니다.
4. 이중 유용성 출력: 이 프레임워크는 견고한 방어자뿐만 아니라, 유능한 레드팀 에이전트로 수렴하는 강력하고 범용적인 공격자를 함께 생성합니다.

실험 결과

저자들은 Llama3.1-8B 및 Qwen2.5-7B 모델을 대상으로 원본 지시어 튜닝 모델, 검열되지 않은 버전, 그리고 Self-RedTeam 베이스라인을 포함한 모델들과 비교하여 AdvGame을 평가했습니다.

• 유용성-안전성 트레이드오프: AdvGame 변형들(특히 AdvGame-DPO-MD)은 기존 모델의 유용성(MMLU, IFBench, AlpacaEval2 등으로 측정)을 성공적으로 보존하면서도 안전성을 크게 향상시켰습니다. 반면, Self-RedTeam 베이스라인은 유용성의 눈에 띄는 저하를 초래하는 경우가 많았습니다.
• 안전 성능: HarmBench, WildJailbreak (WJB), WildGuardTest와 같은 안전 벤치마크에서 AdvGame-DPO-MD는 베이스라인보다 훨씬 더 낮은 공격 성공률(ASR)을 달 기록하며 최첨단 성능을 달성했습니다. 예를 들어, Qwen2.5-7B에서 AdvGame은 HarmBench ASR을 Self-RedTeam의 16.8%에서 4.7%로 낮추었습니다.
• 적응형 공격에 대한 강건성: 이 방법은 고정된 프롬프트 방어 및 순차적 훈련 방식에 비해 적응형 탈옥 공격(PAIR, TAP, GCG)에 대해 우수한 강건성을 입증했습니다.
• 공격자 능력: 훈련된 공격자 LM은 강력한 적응형 공격 방법과 대등한 성능을 보였으며(예: Qwen2.5-7B에서 약 56% ASR 달성), 이는 레드팀 도구로서의 유용성을 입증합니다.
• 절제 연구(Ablation Studies):
  • DPO/IPO vs. GRPO: 선호도 기반 방법(DPO/IPO)이 불안정한 훈련 역학을 보인 GRPO보다 우수한 성능을 보였습니다.
  • 쌍체(Pairwise) vs. 점수 기반(Point-wise): 쌍체 판별자가 더 나은 안전 및 유용성 트레이드오프를 제공한 반면, 점수 기반 판별자는 보상 해킹과 성능 저하를 유발했습니다.
  • EMA vs. 온-폴리(On-Policy): 오프-폴리 생성을 위해 EMA를 사용하는 것이 안정성에 결정적이었습니다. EMA를 제거하면 안전 지표가 크게 저하되었습니다.
  • 공격자 훈련: 공격자를 고정하지 않고 능동적으로 훈련하는 것이 다양하고 도전적인 공격을 생성하는 데 필수적이었으며, 이는 더 견고한 방어자로 이어졌습니다.

의의 및 주장

본 논문은 AdvGame이 안전과 유용성의 **파레토 프런티어(Pareto frontier)**를 이동시켜, 더 도움이 되면서도 적대적 공격에 더 탄력적인 방어자를 생성한다고 주장합니다. 안전 정렬을 선호도 기반 보상을 가진 비협력 게임으로 공식화함으로써, 이 방법은 순차적 훈련의 비효율성과 점수 기반 보상 최적화의 불안정성 문제를 해결합니다.

강조된 주요 의의 중 하나는 재사용 가능한 레드팀 에이전트의 생성입니다. 훈련된 공격자 LM은 임의의 타겟 모델을 조사하는 체계적인 도구로 기능하며, 개발 초기 단계에서 안전 관련 실패 모드를 드러낼 수 있습니다. 저자들은 이 접근 방식이 발견과 조치 사이의 피드백 루프를 더욱 긴밀하게 만들어, 안전 평가의 속도와 범위를 개선한다고 강조합니다.

본 연구는 한계점으로, 인간이 이해할 수 있는 자연어 공격에만 집중하고 있으며 읽을 수 없는 공격 시퀀스(예: GCG)는 다루지 않는다는 점을 언급했습니다. 그러나 저자들은 보상 모델 설계에 대한 향후 연구와 다른 공격 양식으로의 확장이 게임 이론적 접근 방식의 강건성을 더욱 향상시킬 수 있다고 봅니다.