RAPO: Risk-Aware Preference Optimization for Generalizable Safe Reasoning

기술 요약: RAPO: 일반화 가능한 안전한 추론을 위한 위험 인지 선호도 최적화

1. 문제 정의

대규모 추론 모델(LRM)은 사고 사슬(Chain-of-Thought, CoT) 추론을 통해 상당한 성공을 거두었으나, 표준 대규모 언어 모델(LLM)이 가진 적대적 취약성을 그대로 물려받았습니다. 기존의 정렬 기술(지도 미세 조정 및 강화 학습)은 LRM이 기본적인 유해 프롬프트를 식별하고 거부할 수 있게 해주지만, 복잡하고 정교한 탈옥 공격에는 빈번하게 실패합니다.

저자들은 이러한 실패의 원인을 고복잡도 공격에 직면했을 때 발생하는 안전한 추론 과정의 불충분함으로 돌립니다. 구체적으로, 현재의 모델들은 공격의 복잡도와 상관없이 고정되거나 얕은 수준의 "안전한 추론"(예: 단 한 문장의 거절)만을 생성하는 경향이 있습니다. 고급 탈옥 전략에 직면했을 때, 이러한 제한된 추론 깊이는 잠재적 위험을 충분히 식별하지 못하여 공격을 허용하게 됩니다. 핵심 문제는 안전한 추론의 **적응형 입도(adaptive granularity)**가 결여되어 있다는 점입니다. 즉, 모델이 입력된 위협의 복잡성에 맞춰 안전 분석의 깊이를 조절하지 못한다는 것입니다.

2. 방법론: 위험 인지 선호도 최적화 (RAPO)

이를 해결하기 위해 저자들은 LRM이 위험을 적응적으로 식별하고, 작업 복잡도에 따라 적절한 추론 깊이(입도)를 할당하도록 훈련하는 프레임워크인 RAPO를 제안합니다.

이론적 및 경험적 토대

본 연구는 안전한 추론을 **인컨텍스트 정렬(in-context alignment)**의 한 형태로 재해로 해석합니다.

• 이론: 인컨텍스트 학습 이론을 바탕으로, 저자들은 추론 궤적을 개념-판단 쌍의 시퀀스로 모델링합니다. 저자들은 복잡도 $k$를 가진 프롬프트를 성공적으로 거절하기 위해서는 안전한 추론 토큰의 수가 최소한 $k$에 선형적으로 비례($\Omega(k)$)해야 함을 증명했습니다(정리 3.1).
• 경험적 증거: StrataSword와 같은 데이터셋에 대한 실험 결과, 성공적인 방어와 안전한 추론 토큰 비율 사이에는 음의 상관관계가 있음이 나타났습니다. 공격 복잡도가 높아질수록(L1에서 L3로) 모델 출력 내 안전한 추론 토큰의 비율이 감소하며, 이는 공격 성공률(ASR)의 상승으로 이어집니다.

프레임워크 아키텍처

RAPO는 두 가지 별도의 단계로 작동합니다.

1. SFT 웜업 (형식 정렬):

   • 모델이 사고 과정의 시작 부분에 전용 "안전 추론 블록"을 명시적으로 생성하도록 미세 조정됩니다.
   • 이 블록은 프롬프트의 위험 복잡도(L1, L2, L3 단계로 분류)를 기반으로 생성됩니다.
   • 데이터셋에는 모델이 안전한 추론을 단순히 명백히 유해한 입력에 대한 지름길로만 취급하는 것을 방지하기 위해, 등급이 매겨진 유해 프롬프트와 양질의(ben-ign) 프롬프트가 모두 포함됩니다.

2. 강화 학습 (RL) 단계:

   • RAPO의 핵심은 **그룹 정책 최적화(GRPO)**를 활용합니다.
   • 보상 설계: 정책을 가이드하기 위해 복합 보상 함수가 사용됩니다.
     • 위험 인지 보상 ($R$): LLM-as-a-Judge가 추출된 안전 추론 궤적을 평가합니다. 이는 추론의 깊이와 상세함이 프롬프트의 복잡도에 비해 적절한지를 평가합니다 (예: "적절함" = 1, "보통/과도함" = 0, "유효하지 않음" = -1). 이는 추론이 안전에 집중되어 있는지, 그리고 단순한 작업에 대해 지나치게 장황하지 않은지를 확인합니다.
     • 일반 보상 ($G$): 최종 응답이 유해 요청을 올바르게 거절하고 양질의 요청에 대해서는 유용성을 유지하는지 확인하는 이진 보상($\pm 1$)입니다. 이를 통해 과잉 거절을 방지합니다.
   • 총 보상은 $A_p = R(s_p) + G(r_p)$이며, 이는 안전 입도와 일반적인 능력 사이의 균형을 맞춥니다.

3. 주요 기여

• 새로운 관점: 본 논문은 안전한 추론을 분석하기 위해 인컨텍스트 정렬이라는 렌즈를 도입하여, 방어의 효과가 공격 복잡도 대비 추론의 적절성에 의해 결정됨을 입증했습니다.
• RAPO 프레임워크: 인지된 위험에 따라 안전한 추론의 깊이(토큰 길이 및 상세도)를 적응적으로 조절하도록 모델을 훈련시키는 위험 인지 선호도 최적화 프레임워크를 제안했습니다.
• 경험적 검증: RAPO가 일반적인 추론 유용성을 유지하면서 다양한 탈옥 공격에 대해 견고성을 크게 향상시키며, 기존의 SFT 및 RL 베이스라인보다 우수한 성능을 보임을 광범위한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 Qwen-3 (8B 및 1.7B)와 DeepSeek-distillation 모델을 대상으로 여러 벤치마크에서 RAPO를 평가했습니다.

• 견고성 (탈옥 방어):
  • WildJailbreak 데이터셋에서 RAPO는 베이스라인 대비 ASR을 크게 낮추었습니다. DeepSeek 모델의 경우, ASR이 베이스라인 **68.7%**에서 RAPO 적용 후 **5.6%**로 떨어졌습니다.
  • Qwen-8B에서 RAPO는 WildJailbreak에 대해 **7.4%**의 ASR을 달성하여, 강력한 베이스라인인 IPO(16.9%)와 TARS(35.3%)를 능가했습니다.
  • Qwen 모델의 경우, JailbreakBench 및 HarmBench와 같은 표준 벤치마크에서 **0.0%**의 ASR을 유지했습니다.
• 유용성 (일반 추론):
  • RAPO는 안전 튜닝된 모델에서 흔히 발생하는 "과잉 거절" 문제를 성공적으로 피했습니다. XsTest(적대적 양질 데이터)에서 높은 준수율을 유지했으며, MMLU-Pro(추론)에서도 베이스 모델과 유사한 점수를 기록했습니다.
• 적응형 공격:
  • 적응형 레드팀 공격(PAIR 및 TAP)에 대해 RAPO는 우수한 견고성을 보여주었으며, STAR나 IPO와 같은 베이스라인보다 낮은 ASR(예: DeepSeek의 경우 TAP에서 14%)을 달양했습니다.
• 절제 연구 (Ablation Studies):
  • RL 단계를 제거한 경우(RAPO-SFT만 사용) WildJailbreak ASR이 36.1%로 높게 나타나, 일반화를 위한 위험 인지 보상의 필요성을 확인했습니다.
  • 유해 데이터 또는 양질의 데이터만을 사용하여 훈련할 경우 성능이 저하되어, 혼합 데이터 전략의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 RAPO가 복잡하고 안전이 중요한 시나리오에서 신뢰할 수 있는 LRM을 개발하기 위한 원칙적인 경로를 제공한다고 주장합니다. 이 연구의 주요 의의는 정적인 안전 필터링에서 동적이고 위험에 비례하는 추론으로 패러다임을 전환했다는 점에 있습니다.

저자들은 "복잡한 위협은 깊은 추론을 요구한다"는 것을 모델이 명시적으로 인식하도록 훈련함으로써, RAPO가 모델의 유용성을 희생하지 않으면서도 다양한 공격 벡터에 걸쳐 일반화되는 강력한 정렬을 달 Ach성한다고 단언합니다. 이 연구는 미래의 LRM 안전성이 단순히 모델이 무엇을 거절하느냐가 아니라, 그 결정을 내리기 전 얼마나 깊게 추론하느냐에 달려 있음을 시사합니다.