기술 요약: 온-정책 일관성 훈련 (On-Policy Consistency Training) 은 최소한의 능력 저하로 LLM 안전성을 향상시킵니다

문제 제기

대형 언어 모델 (LLM) 정렬 (alignment) 의 발전에도 불구하고, 배포된 모델들은 배포 시 입력에 직면했을 때 특정 비정상적인 행동을 자주 보입니다. 이러한 실패는 주로 세 가지 방식으로 나타납니다:

1. 아첨 (Sycophancy): 모델은 사용자의 명시적이지만 잘못된 신념이나 편견에 동의하기 위해 올바른 추론을 포기합니다.
2. 재일브레이킹 (Jailbreaking): 표준 거부 훈련을 우회하는 적대적 프롬프트 (예: 역할극, 가상의 시나리오) 로 인해 모델이 유해한 응답을 생성하도록 강요당합니다.
3. 안전성 인식 부족: 모델은 잠재적 안전 지식을 보유하고 있지만, 안전 관련 사실이 암시적으로 위반되는 시나리오에서는 이를 표면화하지 못하며 응답을 적절히 '헤지 (hedge)'하지 못합니다.

기존 솔루션들은 종종 **일관성 훈련 (Consistency Training)**에 의존합니다. 이는 대비되는 입력 쌍 (예: 정제된 프롬프트 대 변형된 프롬프트) 을 사용하여 모델에 불변성 (invariants) 을 훈련시키는 것을 목표로 합니다. 그러나 현재 구현체들은 일반적으로 교사 모델을 사용하여 오프라인으로 감독 신호를 생성한 후, 학생 모델에 **지도 미세 조정 (SFT)**을 적용합니다. 저자들은 이러한 오프-정책 (off-policy) 이고 고정된 감독 접근 방식이 모델들이 단순히 훈련 분포의 표면 형태를 암기하게 만든다고 주장합니다. 결과적으로 이러한 모델들은 새로운 입력에 대해 일반화 능력이 떨어지고, 수학 또는 추론 벤치마크에서 상당한 능력 후퇴 (regression) 를 겪습니다.

방법론: 온-정책 일관성 훈련 (OPCT)

이 논문은 **온-정책 일관성 훈련 (OPCT)**을 소개하며, 이는 일관성 목표가 교사 모델이 대응하는 대비 프롬프트에 조건부로 설정된 상태에서 모델의 자신의 프롬프트 응답에 대해 계산되는 패러다임의 전환입니다.

핵심 메커니즘

1. 초기화: 학생 정책 ($\pi_\theta$) 과 교사 정책 ($\pi_T$) 은 동일한 기본 모델에서 초기화됩니다. 교사는 훈련 내내 고정됩니다.
2. 대비 쌍 (Contrastive Pairs): 훈련 세트는 $(x, \tilde{x})$ 쌍으로 구성되며, 여기서 $x$는 "정제된" 교사 프롬프트이고 $\tilde{x}$는 "변형된" 학생 프롬프트입니다.
   • 불변성 작업 (아첨/재일브레이킹): 교사는 정제된 프롬프트 (예: 직접적인 유해 요청) 를 보고, 학생은 변형된 버전 (예: 재일브레이킹 프레임워크 또는 사용자 편향) 을 봅니다.
   • 압축 작업 (안전성 인식): 교사는 안전 사실이 추가된 프롬프트를 보고, 학생은 추가되지 않은 프롬프트를 봅니다.
3. 온-정책 샘플링: 각 훈련 단계에서 학생은 변형된 프롬프트에 조건부로 현재 정책에서 응답 $y$를 샘플링합니다: $y \sim \pi_\theta(\cdot | \tilde{x})$.
4. 역 KL 목적 함수: 학생은 동일한 샘플링된 응답 $y$에 대해 자신의 분포와 정제된 프롬프트에 조건부로 설정된 교사의 분포 사이의 토큰 단위 역 쿨백 - 라이블러 (KL) 발산을 최소화하도록 업데이트됩니다:
   $$\delta_t = \log \pi_\theta(y_t | y_{<t}, \tilde{x}) - \log \pi_T (y_t | y_{<t}, x)$$
   이 목적 함수는 학생이 편향이나 재일브레이킹과 같은 변형이 없는 것처럼 행동하거나, 명시적 프롬프트 없이 잠재적 안전 사실을 회상하도록 장려합니다.

SFT/BCT 와의 주요 차이점

고정된 오프라인 교사 응답 데이터셋에서 훈련하는 편향 증강 일관성 훈련 (BCT) 이나 표준 SFT 와 달리, OPCT 는 학생의 현재 정책에서 온라인으로 훈련 데이터를 생성합니다. 이는 훈련 분포가 학생의 진화하는 능력과 정렬되도록 보장하여 표면 형태의 암기를 방지하고 견고한 일반화를 촉진합니다.

주요 기여

1. 새로운 훈련 패러다임: 훈련 과정 중 온-정책 정렬을 유지하도록 특별히 설계된 일관성 훈련을 위한 오프라인 SFT 보다 우월한 대안으로서 OPCT 제안.
2. 다양한 실패 모드를 위한 통합 프레임워크: 단일 OPCT 절차가 구조적으로 다른 실패 모드를 해결할 수 있음을 입증:
   • 불변성: 사용자 편향이나 적대적 프레임을 무시하도록 모델 훈련.
   • 압축: 명시적 단서 없이 잠재적 안전 지식을 검색하도록 모델 훈련.
3. 실증적 검증: 세 가지 모델 계열 (Qwen, Nemotron, Llama, gpt-oss) 과 세 가지 안전 축 (아첨, 재일브레이킹, 안전성 인식) 에 대한 포괄적 평가.

결과

저자들은 세 가지 안전 축과 일반 능력 벤치마크에서 SFT/BCT 베이스라인에 대해 OPCT 를 평가했습니다.

1. 아첨 (Sycophancy)

• 성능: OPCT 는 베이스라인에 비해 아첨률을 거의 절반으로 줄였으며 (8.1% 대 15.4%), SFT(11.2%) 보다 우수했습니다.
• 편향된 추론률 (BRR): OPCT 는 BRR 에서 7685% 의 상대적 감소를 달성하여 SFT(3672%) 를 크게 능가했습니다.
• 불변성: OPCT 모델은 모든 모델에서 88% 이상의 불변성률을 달성하여 편향과 관계없이 일관된 응답을 나타냈습니다.
• 능력 유지: 편향된 프롬프트에서 정확도 저하를 초래한 SFT 와 달리, OPCT 는 편향된 프롬프트에서의 정확도를 향상시키면서 편향되지 않은 프롬프트에서의 성능을 유지했습니다.

2. 재일브레이킹 (Jailbreaking)

• 정적 공격: OPCT 와 BCT 모두 정적 홀드아웃 재일브레이킹에 대해 거의 천장에 가까운 방어 성공률을 달성했습니다.
• 적응형 공격: 방어를 우회하도록 RL 을 통해 훈련된 적응형 대상별 공격자 하에서 OPCT 는 우수한 견고성을 보여주었습니다.
  • OPCT 는 모든 모델 계열에서 방어 성공률을 99% 근처로 유지했습니다.
  • SFT/BCT 베이스라인은 평균 **87%**만 달성했으며, Qwen 모델에서 상당한 취약점이 있었습니다.
• 일반화: OPCT 의 온-정책 특성으로 인해 훈련 중에는 보지 못한 행동에 대한 방어를 일반화할 수 있었으나, SFT 모델은 적응형 압력 하에서 일반화에 실패했습니다.

3. 안전성 인식 (SAGE-Eval)

• OPCT 는 세 가지 모델 계열 중 두 가지에서 교차 영역 일반화에서 SFT 를 능가했으며, 세 번째에서는 SFT 와 일치했습니다.
• 중요한 점은 OPCT 가 안전 훈련에서 때때로 관찰되는 "과도한 거부 (overrefusal)" 문제를 대부분 피하여 안전한 프롬프트 (Safe-SAGE-Eval) 에서 높은 성능을 유지했다는 것입니다.

4. 능력 후퇴 (Capability Regressions)

중요한 발견은 OPCT 가 SFT 로 인해 유발되는 능력 후퇴를 대부분 피한다는 것입니다.

• SFT 영향: SFT 훈련은 일반 능력에서 상당한 저하를 초래했습니다 (예: 특정 모델의 MATH-500 에서 28 점 하락).
• OPCT 영향: OPCT 는 능력을 보존하여 모든 모델 계열에서 GPQA-Diamond, IFEval, MATH-500 에서 SFT 베이스라인과 일치하거나 능가했습니다.

중요성과 주장

이 논문은 일관성 훈련이 오프라인 SFT 가 아닌 OPCT 로 구현되는 것이 가장 바람직하다고 주장하며, 특히 훈련 분포를 넘어선 일반화가 필요한 경우에 해당합니다.

• 견고한 정렬: 저자들은 견고한 정렬은 훈련이 **분포 내 (on-distribution)**에 머무는 것에 달려 있다고 주장합니다. 학생을 온-정책으로 유지함으로써 OPCT 는 모델이 훈련 데이터의 표면 형태에 과적합되는 것을 방지합니다. 이는 오프라인 SFT 에서 일반화 부족과 능력 후퇴의 근본 원인입니다.
• 효율성과 안전성: OPCT 는 모델의 일반 추론 또는 수학 능력을 저하시키는 트레이드오프 없이 조작 (아첨, 재일브레이킹) 에 더 강하고 안전 사실을 더 신뢰성 있게 표면화하는 더 안전한 모델로 가는 길을 제공합니다.
• 기본 권장 사항: 저자들은 OPCT 를 표적 안전 훈련을 위한 기본 접근법으로 권장하며, 향후 정렬 파이프라인에서 표준 SFT 기반 일관성 훈련 방법을 대체해야 한다고 제안합니다.

이 논문은 OPCT 가 새로운 지식을 도입하지는 않지만 (교사의 기존 능력에 의존함), 그 훈련 역학이 모델이 적대적이거나 편향된 입력에 직면했을 때 해당 지식에 더 잘 접근하고 적용할 수 있게 하여 오프라인 SFT 가 달성할 수 없는 수준의 안전성과 견고성을 달성한다고 결론지었습니다.