기술 요약: Self-ReSET

문제 제기

대규모 추론 모델 (LRMs) 은 일반 도메인에서 강력한 자기 수정 능력을 보이지만, 적대적 공격이나 재일크 (jailbreak) 프롬프트에 노출되었을 때 안전하지 않은 추론 궤적에서 회복하는 데는 자주 실패합니다. 한 번 LRM 이 안전하지 않은 추론 상태 (예: 약물 제조 방법을 개요화하기 시작하는 것) 에 진입하면, 이러한 편차를 식별하고 안전한 경로로 되돌리는 메커니즘이 부재하여 해로운 출력을 초래하는 경우가 많습니다.

기존 정렬 (alignment) 방법들은 반성 흔적이나 적대적 접두어를 포함한 정적, 전문가가 구축한 궤적에 모델을 미세 조정함으로써 이를 해결하려 시도합니다. 그러나 이러한 접근 방식은 근본적인 분포 불일치로 고통받습니다. 정적 훈련 데이터는 추론 중에 생성되는 모델의 동적 온-정책 (on-policy) 추론 궤적과 필연적으로 괴리되기 때문입니다. 결과적으로 이러한 데이터로 훈련된 모델은 정적 데이터셋에 명시적으로 존재하지 않았던 분포 외 (OOD) 재일크 공격이나 새로운 실패 모드에 대한 회복 능력을 일반화하는 데 어려움을 겪습니다.

방법론: Self-ReSET

정적 훈련 데이터와 동적 추론 실패 사이의 간극을 메우기 위해, 저자들은 Self-ReSET(안전 오류 궤적으로부터의 자기 회복) 을 제안합니다. 이는 검증 가능한 보상을 통한 순수 강화 학습 (RLVR) 프레임워크입니다. 이 방법은 "추론 중 모니터링, 기억, 그 후 자기 회복"이라는 패러다임으로 작동하여, 모델이 자신의 온-정책 안전하지 않은 궤적로부터 구체적으로 회복하는 법을 학습할 수 있게 합니다.

이 프레임워크는 두 가지 주요 단계로 구성됩니다:

1. 모니터링 및 기억

• 스트림 모니터링: 온-정책 RL 롤아웃 동안 스트림 가드 모델 (예: Qwen3-Guard) 이 추론 궤적의 토큰 수준 안전성을 지속적으로 모니터링합니다.
• 트리거 감지: 시스템이 궤적이 안전하지 않게 되는 가장 초기의 토큰 (오류 트리거) 을 식별합니다. 노이즈에 대한 견고성을 보장하기 위해, 두 개의 연속된 토큰이 안전하지 않음으로 라벨링될 경우 궤적이 오류로 플래그됩니다.
• 경험 재생: 감지 시, 추론 체인은 오류 트리거에서 잘립니다. 그 결과 생성된 안전하지 않은 접두어 (해악에 완전히 헌신하기 직전의 상태) 는 경험 재생 버퍼에 저장됩니다.
• 동적 업데이트: 버퍼는 최신 정책의 진화하는 실패 모드를 반영하고 구식 정책에서 유래한 낡은 데이터의 축적을 방지하기 위해 선입선출 (FIFO) 메커니즘과 용량 제한을 적용합니다.

2. 자기 회복

• 우선순위 샘플링: 훈련 중 모델은 재생 버퍼에서 샘플링을 우선시합니다. 원시 프롬프트에서 시작하는 대신, 모델은 기억된 안전하지 않은 접두어로 초기화되어 시작 상태로 삼습니다.
• 회복 롤아웃: 정책은 이러한 안전하지 않은 접두어에서 생성을 계속하여 추론을 안전한 궤적으로 되돌리고 안전한 최종 응답을 생성하려 시도합니다.
• 보상 최적화: 모델은 두 가지 조건을 강제하는 이진 보상 함수를 사용하여 최적화됩니다:
  1. 안전 방어: 해로운 입력의 경우, 응답은 안전해야 합니다.
  2. 유용성: 유해하지 않은 입력의 경우, 응답은 안전해야 하며 거부하지 않아야 합니다 (과도한 거부 방지).
• 알고리즘: 저자들은 검증 가능한 보상을 극대화하기 위해 DAPO(선호 최적화를 통한 직접 정렬) 알고리즘을 활용하여 안전하지 않은 접두어에서 안전한 결과로의 전이 확률을 강화합니다.

주요 기여

• 온-정책 자기 회복: 정적, 외부적으로 구축된 회복 경로에 의존하는 이전 작업들과 달리, Self-ReSET 은 모델이 자신이 생성한 안전하지 않은 궤적로부터 회복할 수 있는 고유한 능력을 갖추게 합니다. 이는 온-정책 불일치를 줄이고 모델의 특정 오류 공간에 대한 커버리지를 확장합니다.
• 동적 오류 공간 커버리지: 현재 정책 하에서 지속적으로 실패를 수집함으로써, 이 방법은 모델의 변화하는 추론 패턴에 적응하여 새로운 안전하지 않은 상태를 유발하는 OOD 재일크 공격에 대한 견고성을 제공합니다.
• 데이터 효율성: 이 프레임워크는 정적 증강 데이터셋에서 훈련하는 것보다 자기 생성 실패로부터 학습하는 것이 더 데이터 효율적임을 입증하여, 더 적은 샘플로 더 빠른 수렴을 달성합니다.
• 유용성 보존: 이 방법은 일반적인 유용성을 훼손하지 않고 안전 견고성을 강화하는 것을 목표로 하며, 특히 수학 추론 벤치마크에서의 성능을 유지하고 유해하지 않은 지시사항에 대한 과도한 거부를 방지합니다.

실험 결과

저자들은 세 가지 기본 LRM(DeepSeek-R1-Distill-Qwen-7B, DeepSeek-R1-Distill-Llama-8B, Qwen3-8B) 과 다양한 벤치마크를 통해 Self-ReSET 을 평가했습니다:

• 안전 견고성: Self-ReSET 은 StrongReject, HarmBench, WildJailbreak 와 같은 안전 벤치마크에서 SFT 방법 (SafeChain/STAR-1 등) 과 RL 방법 (RECAP 등) 을 포함한 베이스라인을 크게 능가했습니다. 특히 분포 외 (OOD) 재일크 벤치마크에서 가장 높은 방어 성공률 (DSR) 을 달성하여 미처 보지 못한 공격 유형에 대한 우수한 일반화를 나타냈습니다.
• 과도한 거부: 이 방법은 유해하지 않은 지시사항 (XSTest) 에서 높은 준수율을 유지하여, 안전 정렬이 과장된 보수적 행동을 유발하지 않았음을 입증했습니다.
• 추론 유용성: 수학 추론 벤치마크 (MATH500, AIME24) 의 성능은 유지되거나 약간 향상되어, 자기 회복 메커니즘이 핵심 추론 능력을 저하시키지 않음을 확인했습니다.
• 스트레스 테스트:
  • 가변 깊이: 모델은 다양한 길이 (깊이) 의 안전하지 않은 궤적에 걸쳐 안정적인 회복율을 유지하여 얕은 오류에 국한되지 않음을 입증했습니다.
  • 탐지 어려운 궤적: 유해한 의도가 유해하지 않은 추론에 미묘하게 내포된 H-CoT 를 사용한 테스트에서 Self-ReSET 은 베이스라인보다 훨씬 높은 회복율을 달성하여 미묘한 안전 위반을 식별하고 수정할 수 있는 능력을 시사했습니다.
• 데이터 효율성: 훈련 곡선은 Self-ReSET 이 범용 DAPO 에 비해 훨씬 적은 훈련 샘플로 더 빠른 수렴을 이루며 우수한 안전 성능을 달성했음을 보여주었습니다.

중요성 및 주장

이 논문은 Self-ReSET 이 외부 전문가 데이터에 의존하는 것에서 모델 자신의 실패 모드를 활용한 안전 정렬로 전환됨을 주장합니다. 감지된 안전하지 않은 접두어를 고가치 훈련 신호 ("항체") 로 간주함으로써, 이 프레임워크는 LRMs 가 강력한 자기 회복 메커니즘을 내재화할 수 있게 합니다.

저자들은 이 접근 방식이 "안전 세금"(안전 정렬이 일반 유용성을 감소시키는 트레이드오프) 을 효과적으로 완화하고, 사후 훈련 안전 정렬을 위한 확장 가능하고 데이터 효율적인 인프라를 제공한다고 주장합니다. 이 연구는 복잡한 추론 모델이 동적 적대적 위협에 직면했을 때, 자기 생성 오류로부터 회복하는 능력이 강력하고 AI 안전의 핵심적이지만 이전에 충분히 탐구되지 않은 구성 요소임을 시사합니다.