기술 요약: 온-폴리시 자기 증류로 LLM 안전 정렬의 안전 세금 감소

문제 정의: 안전 세금과 오프-폴리시 불일치

대형 언어 모델 (LLM) 은 종종 "안전 세금 (safety tax)"으로 고생합니다. 이는 안전 정렬이 해로운 쿼리에 대한 견고성을 향상시키지만 일반 추론 능력을 저하시키는 트레이드오프를 의미합니다. 이전 연구들은 이를 인간이나 외부 모델에서 생성된 안전 시연 데이터와 대상 모델의 자연스러운 추론 분포 간의 분포 불일치 (distributional mismatch) 에 기인한다고 보았으나, 본 논문은 두 번째이자 구별되는 원인인 오프-폴리시 학습 불일치를 규명합니다.

안전 데이터가 자기 증류 (target 모델 자체가 생성, 예: ThinkSafe) 되더라도 표준 지도 미세 조정 (SFT) 은 여전히 오프-폴리시 상태입니다. SFT 는 고정된 시연에 대해 시퀀스 수준의 음의 로그 가능도 (NLL) 감독을 적용하지만, 모델의 현재 정책에서 샘플링된 궤적에는 적용하지 않습니다. 저자들은 이것이 특히 안전에 치명적이라고 주장합니다. 안전 결정 (거부 대 수용) 은 좁은 "초기 토큰 창"과 특정 안전-중요 토큰 집합에 집중되어 있기 때문입니다. 오프-폴리시 SFT 는 전체 응답에 걸쳐 기울기를 확산시켜 이러한 중요한 결정 지점을 구체적으로 타격하지 못하므로, 일반 추론을 교란시키면서도 안전 감독은 거칠게만 제공합니다.

방법론: OPSA(온-폴리시 안전 정렬)

본 논문은 안전 정렬에 온-폴리시 자기 증류 (OPSD) 를 적용한 OPSA 프레임워크를 제안합니다. 핵심 메커니즘은 다음과 같습니다:

1. 온-폴리시 롤아웃: 학생 모델 ($p_\theta$) 이 해로운 프롬프트와 유익한 프롬프트 모두에 대한 자체 궤적 (롤아웃) 을 생성합니다.
2. 특권 컨텍스트 교사: 베이스 모델의 고정된 복사본 ($p_{\bar{\theta}}$) 이 교사 역할을 합니다. 핵심적으로, 교사는 프롬프트 앞에 유형 조건부 특권 컨텍스트($c^*$) 를 첨가받습니다:
   • 해로운 프롬프트 ($q_h$) 의 경우, 잠재적 거부 행동을 활성화하는 컨텍스트 ($I_h$) 가 교사를 안전한 응답 쪽으로 이동시킵니다.
   • 유익한 프롬프트 ($q_b$) 의 경우, 과도한 거부를 억제하여 유용한 행동을 보존하는 컨텍스트 ($I_b$) 를 사용합니다.
3. 밀집 토큰 단위 감독: 시퀀스 수준 NLL 대신, OPSA 는 학생 모델이 샘플링한 자체 롤아웃을 따라 교사 분포 (특권 컨텍스트 조건부) 와 학생 분포 (프롬프트 조건부) 간의 토큰 단위 Kullback-Leibler (KL) 발산을 최소화합니다:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   이는 교사와 학생이 이견을 보이는 토큰, 특히 안전 행동이 결정되는 초기 결정 창에 업데이트를 집중시킵니다.

컨텍스트 선택을 위한 교사 전환율 (TFR)

잠재적 안전 추론을 효과적으로 활성화하되 임의적이지 않은 특권 컨텍스트를 선택하는 것은 중요한 과제입니다. 저자들은 최적의 컨텍스트 ($c^*$) 를 선택하기 위한 훈련 없는 지표인 **교사 전환율 (Teacher Flip Rate, TFR)**을 도입합니다. TFR 은 특권 컨텍스트가 고정된 교사의 탐욕적 응답을不安全에서 안전으로 전환시키는 해로운 쿼리의 비율을 측정합니다. 저자들은 실험적으로 높은 TFR 이 학습 후 해로움 감소와 단조적으로 상관관계가 있음을 입증하여, TFR 이 컨텍스트 선택을 위한 신뢰할 수 있는 기준임을 검증했습니다.

주요 기여

1. 안전 세금의 기작적 진단: 본 논문은 오프-폴리시 학습 불일치를 안전 세금의 두 번째 원인으로 규명합니다. 토큰 단위 분석은 안전 수정이 초기 위치와 특정 토큰에 매우 집중되어 있음을 보여주며, 이는 분포 내 데이터가 있더라도 표준 SFT 가 효과적으로 타격하지 못함을 드러냅니다.
2. OPSA 프레임워크: 학생이 샘플링한 롤아웃에 대한 밀집 토큰 단위 KL 감독을 사용하는 온-폴리시 안전 정렬 프레임워크를 도입했습니다. 이 접근법은 모델의 자체 생성 경로에 모델을 정렬시켜 안전 - 추론 트레이드오프를 개선합니다.
3. TFR 를 통한 컨텍스트 선택: 효과적인 안전 교사를 구축하기 위한 방법으로서 교사 전환율을 제안했습니다. 이는 특권 컨텍스트가 단순히 안전해 보이는 시연을 유도하는 것이 아니라 의미 있는 잠재적 안전 추론을 활성화하도록 보장합니다.

실험 결과

저자들은 두 가지 추론 모델 계열 (Qwen3 및 DeepSeek-R1-Distill) 과 다섯 가지 파라미터 규모 (0.6B 에서 8B) 에 걸쳐 OPSA 를 평가했습니다.

• 안전 - 추론 트레이드오프: 매칭된 프롬프트와 전체 파라미터 미세 조정 하에서 OPSA 는 ThinkSafe 및 SafeChain을 포함한 오프-폴리시 베이스라인보다 일관되게 우월한 성능을 보였습니다.
  • 안전: OPSA 는 ThinkSafe 대비 평균 복합 안전 점수 +4.00 점 향상을 달성했습니다.
  • 추론: OPSA 는 추론 능력을 보존하고 개선하여, 추론 벤치마크 (GSM8K, MATH500, GPQA, HumanEval, MBPP) 에서 평균 +3.04 점의 향상을 보였습니다.
  • 규모 민감성: 가장 큰 향상은 작은 모델에서 관찰되었습니다 (예: R1-Distill-1.5B 에서 +8.85 점, Qwen3-0.6B 에서 +5.49 점).
• 적응형 재일브랙 robustness: OPSA 는 특히 초기 응답 토큰에 개입하는 Prefilling 공격에 대해 적응형 재일브랙 공격에 대한 우수한 견고성을 보여주었습니다. Qwen3-1.7B 와 Qwen3-8B 에서 OPSA 는 Prefilling 공격 성공률을 0 으로 낮췄습니다. 그러나 논문은 완전히 적응적인 검색 공격 (PAIR) 은 여전히 한계이며 모델 간 결과가 혼재되어 있다고 지적합니다.
• 데이터 효율성: OPSA 의 성능 향상은 다양한 학습 세트 크기와 유익 - 해로운 데이터 비율에서 지속되어, 데이터 부족 및 구성 변화에 대한 방법의 견고성을 나타냅니다.

중요성과 주장

본 논문은 안전 세금을 감소시키려면 어떤 시연이 감독을 제공하는지뿐만 아니라, 그 감독이 어디에 그리고 누구의 궤적에 적용되는지도 통제해야 한다고 주장합니다. 고정된 흔적에 대한 오프-폴리시 모방에서 모델의 자체 생성 경로에 대한 온-폴리시 밀집 감독으로 전환함으로써, OPSA 는 안전 정렬의 특정 구조적 불일치를 해결합니다.

저자들은 겸손하게도 그들의 발견이 안전 정렬이 근본적으로 모델의 자체 궤적에 대한 국소적 수정 문제임을 시사한다고 주장합니다. OPSA 는 초기 응답 토큰을 대상으로 하는 공격에 대한 견고성을 크게 개선하지만, 논문은 완전히 적응적인 반복 검색 공격은 여전히 과제이며 밀집 온-폴리시 감독이 모든 적대적 시나리오에 대한 만능 해결책이 아님을 인정합니다. 이 작업은 효과적인 안전 정렬은 모델이 자신의 추론 분포와 정렬되면서 동시에 특권 컨텍스트를 통해 잠재적 안전 능력을 활성화해야 함을 강조합니다.