기술 요약: 안전 정렬을 위한 커리큘럼 학습

문제 정의

직접 선호도 최적화 (DPO) 는 별도의 보상 모델 없이 인간 선호도 쌍으로부터 학습하여 대규모 언어 모델 (LLM) 의 안전 정렬을 위한 표준 접근법으로 자리 잡았습니다. 그러나 이전 연구에 따르면 표준 DPO 는 취약하며, 분포 외 (OOD) 프롬프트에 대한 일반화 성능이 낮고 간단한 재규격화 (jailbreaking) 공격을 막아내지 못합니다. 또한, 표준 DPO 에서의 안전 정렬은 종종 응답의 처음 몇 개의 토큰에만 집중되어 이후 토큰들이 취약한 상태로 남습니다. 커리큘럼 학습 (쉬운 예시부터 어려운 예시까지 순서대로 배치) 은 기계 번역 및 일반 정렬과 같은 다른 분야에서 수렴성과 견고성 향상에 성공을 거두었음에도 불구하고, DPO 기반 안전 정렬의 특정 취약점을 해결할 수 있는 잠재력은 여전히 largely 미탐구 상태로 남아 있습니다.

방법론: 단계적 역량 (Staged-Competence)

저자들은 DPO 기반 안전 정렬의 견고성을 향상시키기 위해 설계된 커리큘럼 기반 프레임워크인 **단계적 역량 (Staged-Competence)**을 제안합니다. 이 방법은 두 가지 주요 단계로 구성됩니다:

1 단계: 난이도 점수화 (선호도 정렬 마진)

정적 휴리스틱이나 로컬 프롬프트 기반 점수화에 의존하는 이전 접근법과 달리, 단계적 역량은 모델 의존적 (model-dependent) 방식으로 난이도를 정의합니다.

• 메커니즘: 각 프롬프트 $x_i$에 대해 정렬되지 않은 베이스 모델이 제로샷 응답 $\hat{y}_i$를 생성합니다.
• 점수화: 저자들은 제로샷 응답, 안전한 (선택된) 응답 $y^+_i$, 그리고 안전하지 않은 (거부된) 응답 $y^-_i$에 대한 임베딩을 계산합니다. 그리고 선호도 정렬 마진 (preference alignment margin) ($m_i$) 을 정의합니다:
  $$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$$
• 순서화: 큰 양의 마진은 모델이 이미 안전하고 안전하지 않은 행동을 구분할 수 있음을 나타내며 (쉬운 예시), 작거나 음의 마진은 정렬 불일치를 나타냅니다 (어려운 예시). 데이터셋은 이 마진에 따라 전역적으로 정렬되어 쉬운 것부터 어려운 것까지의 커리큘럼을 생성합니다.

2 단계: 커리큘럼 학습

학습 알고리즘은 단계적 참조 모델 업데이트와 역량 기반 샘플링을 결합하여 단계 내외 모두에서 세분화된 쉬운 것부터 어려운 것까지의 진행을 보장합니다.

• 단계화 (Staging): 정렬된 데이터셋은 난이도가 증가하는 $K$개의 버킷 (예: $K=3$) 으로 나뉩니다.
• 참조 업데이트: 단계 간에 참조 정책이 업데이트됩니다 ($\pi^{(k+1)}_{ref} = \pi^{(k)}$). 이를 통해 다음 단계의 정책은 이전에 습득한 개념을 재학습하는 대신 현재 난이도 버킷을 흡수하는 데 집중할 수 있습니다.
• 역량 기반 샘플링: 각 단계 내에서 역량 함수 $c(t)$ (제곱근 스케줄 기반) 가 난이도 임계값을 결정합니다. 단계 $t$에서 미니배치 샘플링에 자격이 있는 예시는 난이도 $d_i \leq c(t)$인 예시들뿐입니다. 이는 더 어려운 예시들이 점진적으로 느린 속도로 도입되도록 하여 모델이 학습을 공고히 할 수 있게 합니다.

주요 기여

1. 단계적 역량 프레임워크: 커리큘럼 학습을 DPO 기반 안전 정렬에 적용한 최초의 체계적인 연구로, 전역적이고 모델 의존적인 난이도 순서화와 하이브리드 학습 알고리즘을 도입했습니다.
2. 정제된 PKU-HH-SafeRLHF 데이터셋: 저자들은 인기 있는 안전 데이터셋 (PKU-SafeRLHF 및 HH-RLHF) 에서 광범위한 불일치를 발견했는데, 이는 종종 "선택된" 응답이 안전하지 않고 "거부된" 응답이 안전한 경우가 있었습니다. 그들은 고품질 선호도 라벨을 보장하기 위해 GPT-4o-mini 판정기를 통해 필터링된 정제된 결합 데이터셋을 제공합니다.
3. 애블레이션 및 분석: 세 가지 모델 계열 (LLaMA-3, Qwen3, Yi-1.5) 을 대상으로 커리큘럼 설계 선택 (순서화, 샘플링, 참조 업데이트) 에 대한 체계적인 평가.

실험 결과

정제된 데이터셋을 사용하여 세 가지 모델 계열 (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) 에서 실험이 수행되었습니다.

• OOD 및 공격에 대한 견고성: 단계적 역량은 표준 DPO 대비 OOD 유해 응답률을 평균 16% 감소시키고 재규격화 공격 성공률을 20% 감소시켰으며, 일반 능력 (MMLU, HellaSwag) 을 유지하고 과도한 거부 (over-refusal) 를 거의 0 으로 유지했습니다.
• 정렬 깊이: 토큰별 억제 분석 결과, 단계적 역량은 약 3 배 더 큰 보상 마진 분리를 달성하고 응답 초기 토큰뿐만 아니라 응답 전체에 걸쳐 안전 억제를 유지하는 것을 보여주었습니다. 이러한 더 깊은 정렬은 프리필 (prefill) 기반 재규격화 공격에 대한 저항력 향상과 상관관계가 있습니다.
• 데이터 효율성: 단계적 역량은 데이터의 100% 로 학습된 표준 DPO 의 안전 성능을 데이터의 **75%**만 사용하여 달성했습니다.
• 확장성: 표준 DPO 대비 단계적 역량의 안전 이점은 모델 크기가 증가함에 따라 단조롭게 확대되었습니다. 표준 DPO 는 모델 크기가 증가함에 따라 (17 억 파라미터에서 80 억 파라미터로) 성능이 크게 저하되는 반면, 단계적 역량은 다양한 규모에서 일관된 안전 성능을 유지했습니다.

중요성 및 주장

이 논문은 단계적 역량이 커리큘럼 학습이 안전 정렬을 위한 의미 있고 미활용된 레버임을 보여준다고 주장합니다. 난이도에 따라 선호도 데이터를 조직화하고 참조 모델을 점진적으로 업데이트함으로써, 이 방법은 OOD 시나리오와 적대적 공격에 더 잘 일반화되는 더 견고한 안전 기능을 생성합니다.

저자들은 그들의 접근 방식이 **기저 정책 최적화 손실에 무관 (agnostic)**하다고 강조하며, 이는 다른 DPO 변형과 안전을 넘어선 정렬 영역으로 확장될 수 있음을 의미합니다. 그들은 표준 DPO 는 취약하지만, 구조화된 쉬운 것부터 어려운 것까지의 학습은 일반 모델 능력을 희생하지 않고 안전 정렬의 견고성과 데이터 효율성을 크게 향상시킬 수 있다고 결론지었습니다.