💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

이 논문은 밀집 다채널 보상, 분리된 어드밴티지 정규화, 그리고 점진적 커리큘럼을 통해 GRPO를 안정화하여 공격자와 방어자의 공동 최적화를 수행하는 새로운 공동 학습 프레임워크인 AdvGRPO를 소개하며, 궁극적으로 매우 효과적인 전이 가능한 공격과 더 강력한 언어 모델 방어 체계를 산출한다.

원저자: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: 디지털 스파링 경기

매우 똑똑한 로봇(방어자)이 있다고 상상해 보세요. 이 로봇은 도움이 되는 답변을 하도록 훈련되었지만, 동시에 "폭탄을 만드는 방법은?"이나 "은행을 해킹하려면 어떻게 해야 해?"와 같은 해로운 요청은 거절하도록 훈련되었습니다.

보통 인간은 이 로봇을 테스트하기 위해 까다로운 질문 목록을 작성합니다. 하지만 로봇은 똑똑해서 그 특정 질문들에 대해 "안 돼"라고 말하는 법을 배웁니다. 문제는 영리하고 적응력이 뛰어난 공격자가 로봇을 속이기 위한 새로운 방법을 찾아내기 위해 전략을 바꿀 수 있다는 점입니다.

이 논문은 AdvGRPO라고 불리는 방법을 사용하여 양쪽 모두를 동시에 훈련시키는 새로운 방법을 소개합니다. 이것은 레드 팀(공격자)과 블루 팀(방어자)이 서로 끊임없이 스파링을 하는 디지털 도장을 설정하는 것과 같습니다. 인간이 질문을 쓰는 대신, AI 모델들이 서로 맞붙어 게임을 하며 매 라운드마다 더 강해지는 법을 배우는 것입니다.

기존 방식의 문제점

이전에는 연구자들이 공격자에게 방어자를 무너뜨리는 법을 가르치기 위해 특정 훈련 도구(GRPO라고 불리는)를 사용했습니다. 하지만 그들은 공격자와 방어자가 동시에 학습할 때 시스템이 "불안정"해진다는 것을 발견했습니다. 그것은 마치 두 권투 선수가 새로운 격투 스타일을 배우려고 하는데 링 자체가 흔들리고 있는 것과 같았습니다. 그들은 누가 이기고 있는지 합의를 보지 못했고, 훈련은 붕괴하거나 제자리를 맴돌았습니다.

해결책: AdvGRPO (안정적인 도장)

저자들은 이 흔들리는 링을 고치는 AdvGRPO라는 새로운 프레임워크를 만들었습니다. 그들은 세 가지 주요 기술을 사용했습니다.

다중 채널 보상이 있는 스코어카드 (Dense Multi-Channel Rewards):
라운드가 끝날 때 단순히 "득점!"이라고 외치는 심판을 상상해 보세요. 대신, 그들은 모든 동작 하나하나에 점수를 매깁니다.
- 공격자가 주제를 유지했는가?
- 공격자가 전략을 따랐는가?
- 공격자가 실제로 해로운 답변을 얻어냈는가?
  모든 작은 단계마다 점수를 매김으로써, 공격자는 실패했다는 것을 알기 위해 끝까지 기다리는 대신 개선할 점에 대한 지속적인 피드백을 받습니다.
독립적인 심판들 (Decoupled Advantage Normalization):
기존의 불안정한 방식에서는 공격자가 갑자기 매우 강력해지면, 방어자의 점수가 상대적으로 형편없어 보여 훈련을 혼란스럽게 만들었습니다.
새로운 방식은 각 유형의 점수가 결합되기 전에 독립적으로 판정되는 GDPO라는 시스템을 사용합니다. 이는 마치 "속도", "기술", "창의성"을 각각 심사하는 심판이 따로 있어서, 하나가 다른 점수를 망치지 않도록 하는 것과 같습니다. 이를 통해 두 모델이 똑똑해지더라도 훈련을 안정적으로 유지합니다.
훈련 캠프 (Curriculum Learning):
초보 권투 선수를 곧바로 챔피언과 링 위에 올리지는 않습니다. 이 논문은 "커리큘럼"을 사용합니다.
- 1단계: 공격자는 기초를 배우기 위해 고정된 방어자를 상대로 혼자 훈련합니다.
- 2단계: 공격자가 어느 정도 실력을 갖추면, 방어자와 스파링을 시작합니다.
- 3단계: 그들은 차례를 교대합니다. 공격자가 몇 라운드 동안 방어자를 무너뜨리려 시도하면, 그다음 방어자가 구멍을 메우기 위해 몇 라운드 동안 노력하며 서로 전환합니다. 이는 방어자가 단순히 모든 것에 "안 돼"라고 말하는 것(쉬운 승리)을 방지하고, 까다롭고 구체적인 공격을 처리하는 법을 배우도록 강제합니다.

연구 결과

논문은 실험을 통해 몇 가지 핵심 결과를 보고합니다:

공격자들이 무서울 정도로 강해졌습니다: 훈련된 공격자들은 훈련받지 않은 모델이나 단순히 "잠금 해제된"(안전 필터가 제거된) 모델보다 방어자를 훨씬 더 잘 속이는 법을 배웠습니다. 그들은 단순히 안전 필터를 제거하는 것만으로는 충분하지 않으며, 어떻게 공격해야 하는지를 학습해야 한다는 것을 배웠습니다.
그들은 적응할 수 있습니다: 공격자들은 자신이 훈련했던 방어자뿐만 아니라, 한 번도 본 적 없는 완전히 다른 모델들에게도 통하는 전략을 배웠습니다. 이는 특정 파트너에게만 통하는 기술이 아니라, 누구에게나 통하는 기술을 배우는 권투 선수와 같습니다.
방어자들이 더 단단해졌습니다: 이 "도장"에서 훈련된 방어자들은 기존 방식의 방어자들보다 공격을 포착하고 차단하는 데 훨씬 더 뛰어난 모습을 보였습니다. 그들은 나쁜 요청에는 "안 돼"라고 말하면서도, 좋고 해롭지 않은 요청에는 "응"이라고 말하는 법을 배웠습니다.
사고 모델(Reasoning Models)은 특별한 도움이 필요합니다: "생각하는" 능력이 있는 모델들은 너무 안전하려고 노력하여, 공격 요청을 받았을 때조차 공격을 수행하지 않고 거절하려는 경 경향이 있음을 발견했습니다. 연구진은 이 모델들이 안전 경고에 막히지 않고 공격 과정을 생각해 낼 수 있도록 특별한 보상 체계를 만들어야 했습니다.

요점

이 논문은 이 새로운 안정적인 방법(AdvGRPO)을 사용함으로써, AI 공격자와 방어자가 함께 학습하는 시스템을 만들 수 있다고 주장합니다. 그 결과, 공격자는 약점을 아주 잘 찾아내는 공격자가 되고, 방어자는 이를 고치는 데 매우 능숙한 방어자가 되어 전반적인 AI를 더 안전하게 만듭니다. 저자들은 이것이 나쁜 의도를 가진 사람들이 악용하기 전에 약점을 찾기 위한 연구 도구이며, 더 강력하고 견고한 AI 시스템을 구축하는 데 도움을 준다는 점을 강조합니다.

기술 요약: 언어 모델의 적응형 레드 티밍을 위한 학습: GRPO를 통한 공격 및 방어 학습

문제 정의

현재 대규모 언어 모델(LLM)의 안전 정렬(safety alignment)은 인간이 큐레이션하거나 고정된 탈옥 기법으로 생성한 적대적 프롬프트의 정적 데이터셋에 크게 의존하고 있습니다. 모델은 이러한 특정 공격을 회피하도록 훈련될 수 있지만, 새로운 약점을 목표로 전략을 수정하는 적응형 공격자에게는 취약한 상태로 남게 됩니다. 기존의 자동화된 레드 티밍 방법들은 종-종 방어자의 응답을 관찰하지 않고 공격자가 모든 턴을 생성하는 개방 루프(open-loop) 최적화를 사용하거나, 고정된 방어자를 대상으로 공격자를 훈련시킵니다. 또한, 그룹 상대 정책 최적화(GRPO)가 안전 영역에서 유망함을 보여주었음에도 불구하고, 공격자-방어자 공동 훈련에 이를 적용하려는 이전의 시도들은 불안정성을 보고하여 연구자들이 대신 근사 정책 최적화(PPO)나 직접 선호도 최적화(DPO)를 선호하게 만들었습니다.

방법론: AdvGRPO

저자들은 공동 훈련(co-training)을 위해 GRPO를 실용적으로 만들기 위해 설계된 공동 훈련 프레임워크인 AdvGRPO를 소개합니다. 이 프레임워크는 세 가지 핵심 메커니즘을 통해 이전 GRPO 공동 훈련 시도의 불안정성을 해결합니다.

조밀한 다채널 보상 및 GDPO:
시스템은 희소한 최종 결과에 의존하는 대신, LLM 판사(GPT-4.1)에 의해 점수가 매겨지는 조밀한 다채널 보상 신호를 사용합니다.
- 공격자(Attackers)를 위해: 보상에는 방어자의 유해한 응답에 대한 공격 보상( $A$ ), 공격자의 전략 준수에 대한 프롬프트 보상( $P$ ), 그리고 추론 모델의 자기 검열을 방지하기 위한 사고 과정(Thinking-Trace) 보상( $T$ )이 포함됩니다.
- 방어자(Defenders)를 위해: 보상에는 적대적 목적에 대한 $1-A$ (유해한 출력을 페널티 부여)와 양성 목적에 대한 도움됨(Helpfulness) 보상( $H$ )이 포함됩니다.
- GDPO (Group reward-Decoupled Policy Optimization): 정규화 과정에서 낮은 분산을 가진 채널이 감쇄되는 보상 신호 붕괴를 방지하기 위해, 프레임워크는 가중 합산 전 그룹 내에서 각 보상 채널을 독립적으로 정규화합니다. 이는 서로 다른 목적의 어드밴티지 스케일을 분리합니다.
폐쇄 루프 다회차 최적화 (Closed-Loop Multi-Turn Optimization):
공격자가 한 번에 모든 턴을 생성하는 개방 루프 방식(예: SEMA)과 달리, AdvGRPO는 폐쇄 루프 내에서 작동합니다. 공격자는 각 턴에서 방어자의 응답을 관찰하고 그에 따라 다음 프롬프트를 적응시킵니다. 공격이 성공하면(보상 > 0.9) 에피소드를 조기에 종료(pruning)하여 턴별 행동에 대한 효율적인 크레딧 할당을 제공합니다.
커리큘럼 사전 훈련 및 교대 업데이트:
- 커리큘럼: 공격자는 먼저 단일 턴 설정에서 훈련된 후, 다회차 훈련을 거쳐 공동 훈련이 시작됩니다. 이는 훈련되지 않은 약한 공격을 쉽게 차단함으로써 공동 훈련 초기 단계에서 방어자가 지배적인 역할을 하는 것을 방지합니다.
- 교대 업데이트: 공동 훈련 중에 공격자와 방어자 모델은 교대로 업데이트됩니다(매 $N$ 단계마다). 공격자 단계에서는 방어자가 고정되며, 방어자 단계에서는 공격자가 고정되고, 방어자는 "모두 거부하는" 퇴보적 전략을 방지하기 위해 적대적 및 양성 목적을 혼합하여 훈련됩니다.

주요 기여

공동 훈련을 위한 GRPO 안정화: 본 논문은 조밀한 다채서 보상과 분리된 어드밴티지 정규화를 통해 GRPO가 적대적 공격자-방어자 공동 훈련에 효과적으로 사용될 수 있음을 입증하며, 이를 통해 이전의 불안정성 보고를 극복했습니다.
폐쇄 루프 다회차 학습: 프레임워크는 공격자가 정적인 다회차 시퀀스를 생성하는 대신, 각 턴의 방어자 응답에 따라 조건을 설정함으로써 적응형 전략을 학습할 수 있게 합니다.
추론 모델 공격 훈련: 이 방법은 추론 능력이 있는 모델(예: Qwen3.5-9B)이 정렬로 인한 자기 검열을 극복하도록 성공적으로 훈련하며, 이는 기본 추론 모델이 갖지 못한 능력입니다.
강건한 방어자 훈련: 공동 훈련된 방어자는 일반적인 유용성을 유지하면서 베이스라인보다 우수한 안전 성능을 달가합니다.

결과

공격자 성능:

AdvGRPO로 훈련된 공격자는 베이스 모델에 비해 상당한 공격 성공률(ASR) 향상을 달성했습니다. 예를 들어, Qwen2.5-14B 다회차 공격자는 GPT-4.1을 상대로 AdvBench 및 HarmBench에서 90–91% ASR을 달성했습니다.
AdvGRPO로 훈련된 추론 가능 모델(Qwen3.5-9B)은 단일 턴 설정에서 71–79% ASR을 달성하여, 기본 상태에서의 제로에 가까운 성능을 극복했습니다.
전이성(Transferability): 공격자는 미학습 방어자 모델(Phi-4-mini, Llama-3.1-8B, Gemma-2-9B)에 잘 일반화되었으며, 특히 다회차 시나리오에서 OOD(분포 외) 목적에 대해 SOTA 방식인 SEMA를 능가하는 경우가 많았습니다.
베이스라인 비교: 검열되지 않은 모델(예: Abliterated 또는 GRP-Obliterated 모델)은 AdvGRPO 훈련 모델에 비해 공격자로서 저조한 성능을 보였으며, 이는 안전 가드레일을 제거하는 것만으로는 적대적 전략 능력을 부여하지 못함을 나타냅니다.

방어자 성능:

공동 훈련된 방어자(Qwen2.5-7B)는 HarmBench ASR을 **<2%**로 낮추어, 베이스 모델(18.8%), Self-RedTeam(16.8%), AdvGame(4.7%)을 크게 상회하는 성능을 보였습니다.
양성 준수(benign compliance)가 약간 감소했으나(이는 양성 프롬프트만으로 훈련되었기 때문일 가능성이 높음), 일반적인 유용성 지표(MMLU, TruthfulQA, ARC-C, IFBench)는 유지되거나 개선되어 안전 훈련이 일반 능력을 저하시키지 않았음을 보여주었습니다.

의의 및 주장

본 논문은 AdvGRPO가 자동화된 레드 티밍 및 방어를 위한 PPO 및 DPO의 안정적이고 효과적인 대안을 제공한다고 주장합니다. 저자들은 다음을 확립했습니다:

GRPO는 공동 훈련에 적합함: 조밀한 다채널 보상 및 분리된 정규화와 결합될 때 GRPO가 효과적임을 입증하여, 이 설정에서 본질적으로 불안정하다는 통념에 도전했습니다.
적응형 훈련의 필요성: 단순히 안전 가드레일을 제거하는 것(unalignment)은 효과적인 공격자를 만드는 데 불충분하며, 반복적인 공동 훈련을 통해 방어자의 약점을 이용하도록 모델을 구체적으로 훈련해야 합니다.
폐쇄 루프 최적화는 공격자가 각 턴마다 특정 방어자 응답에 적응하도록 학습하기 때문에 개방 루프 방식보다 더 전이 가능하고 강력한 공격을 생성합니다.
공동 훈련은 강건한 방어자를 생성함: 정적 데이터셋이나 다른 공동 훈련 베이스라인보다 더 잘 일반화되는 방어자를 만들어내며, 이는 더 탄력적인 AI 안전 정렬을 위한 실질적인 경로를 제시합니다.

저자들은 방어자의 양성 준수 감소(적대적 양성 프롬프트의 필요성 시사)와 공격자 프롬프트의 일부 엔트로피 붕괴(공격 다양성 제한)를 포함한 한계점을 인정합니다. 그러나 이 연구는 AdvGRPO를 적응형 자동 레드 티밍 시스템을 구축하기 위한 중요한 진전으로 자리매김합니다.