기술 요약: BSO: 안전 정렬은 밀도 비율 매칭이다

문제 정의

대규모 언어 모델 (LLM) 의 정렬은 유용성(지시 따르기) 과 안전성(해로운 콘텐츠 회피) 사이의 근본적인 긴장 관계에 직면해 있습니다. 이 긴장 관계를 해결하려는 기존 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 상당한 단점을 가지고 있습니다:

1. 제약 최적화 (예: Safe RLHF): 이러한 방법들은 라그랑주 프레임워크 내에서 안전성을 제약 조건으로 공식화하여, 별도의 보상 및 비용 모델, 온라인 강화 학습 (RL), 그리고 원 - 쌍대 (primal-dual) 업데이트를 요구합니다. 원칙적이라는 점은 인정되지만, 이 파이프라인은 복잡하고 계산 비용이 많이 들며 여러 학습 단계 전반에 걸쳐 불안정성을 초래합니다.
2. 직접 선호도 최적화 (DPO) 확장: SACPO, CDPO, SafeDPO 와 같은 방법들은 온라인 RL 을 제거함으로써 학습을 단순화하려 시도합니다. 그러나 이들은 종종 **임의의 수정 (ad-hoc modifications)**에 의존하여 안전성을 통합합니다. 예를 들어, 다단계 순차 학습, 보조 모델, 또는 통합된 이론적 유도 없이 손실 함수에 추가된 휴리스틱 마진 항 등이 그 예입니다.

이 분야는 기존 휴리스틱이 왜 작동하는지 설명하고 원칙적인 대안을 제시하기 위해, 안전 인지 선호도 최적화를 첫 원리 (first principles) 에서 체계적으로 유도하는 이론적 프레임워크가 부족합니다.

방법론: 브레만 안전 최적화 (BSO)

저자들은 **브레만 안전 최적화 (Bregman Safety Optimization, BSO)**를 제안합니다. 이는 안전 정렬을 밀도 비율 매칭 문제로 재해석하는 통합 프레임워크입니다.

1. 이론적 기반

핵심 통찰은 최적 안전 정책 ($\pi^*_{safe}$) 의 가능도 비율에 대한 구조적 분해입니다. 저자들은 선호 응답 ($y_w$) 에 대한 최적 안전 정책과 비선호 응답 ($y_l$) 에 대한 최적 안전 정책의 비율이 세 가지 요인에 의해 결정된다는 폐쇄형 관계 (명제 1) 를 유도했습니다:

• 참조 모델 비율 ($\pi_{ref}$).
• 유용성 선호도 비율 (브래들리 - 테리 모델에서 유도됨).
• 이진 안전 레이블 ($s_w, s_l$) 과 벌칙 상수 $C$에 기반한 안전 보정 항.

구체적으로, 최적 비율은 다음과 같습니다:
$$\frac{\pi^*_{safe}(y_w | x)}{\pi^*_{safe}(y_l | x)} = \frac{\pi_{ref}(y_w | x)}{\pi_{ref}(y_l | x)} \cdot \left( \frac{p_{help}(y_w \succ y_l | x)}{p_{help}(y_w \prec y_l | x)} \right)^{1/\beta} \cdot e^{-C(s_w - s_l)/\beta}$$

이 분해는 모델의 가능도 비율을 이러한 구성 요소에서 유도된 목표 "데이터 비율"과 매칭함으로써 안전 정렬을 달성할 수 있음을 시사합니다.

2. BSO 프레임워크

BSO 는 목표 데이터 비율 ($R_{data}$) 과 모델 비율 ($R_\theta$) 사이의 **브레만 발산 (Bregman divergence)**을 최소화합니다.

• 손실 함수: 브레만 발산 $D_h(R_{data} \| R_\theta)$를 최소화함으로써, 저자들은 계산 가능한 단일 단계 손실 함수 $L^{BSO}_h$를 유도했습니다.
• 일반성: 이 프레임워크는 엄격하게 볼록한 생성 함수 $h$로 매개변수화됩니다. $h$의 다른 선택은 서로 다른 학습 알고리즘을 산출하며, 모두 충분한 모델 용량 하에서 최적 안전 정책으로 수렴함이 증명됩니다.
• SafeDPO 복원: 저자들은 SafeDPO가 생성기가 로지스틱 회귀에 해당하는 BSO 의 특수한 경우임을 보여줍니다. 중요한 점은 이 유도가 SafeDPO 의 "안전 마진"이 휴리스틱 추가가 아니라 안전 벌칙 보상 구조에서 자연스럽게 발생함을 보여준다는 것입니다.

3. 실용적 학습 전략

큰 안전 벌칙 ($C$) 으로 인한 수치적 불안정성을 해결하기 위해, 저자들은 데이터 변환 전략을 제안합니다:

• 스왑 (Swap): 선호 응답이 안전하지 않고 비선호 응답이 안전한 경우, 레이블을 교환합니다.
• 드롭 (Drop): 두 응답 모두 안전하지 않은 경우, 쌍을 제거합니다.
  이 변환은 손실 함수에 불안정한 지수 항을 도입하지 않고도 큰 $C$가 요구하는 선호도 반전을 효과적으로 구현하여, 적당하고 수치적으로 안정적인 $C$로 학습을 가능하게 합니다.

4. 생성기 설계 (SBA)

저자들은 다양한 생성기의 가중치 기울기 행동을 분석했습니다. 이상적인 안전 인지 생성기는 다음과 같아야 함을 확인했습니다:

1. 안전 레이블이 일치하는 일관된 쌍 (concordant pairs) 에 대해 안정적인 가중치를 유지합니다.
2. 안전한 응답이 선호되는 안전 - 승리 쌍 (safe-winner pairs) 에 대해 가중치를 증폭합니다.

저자들은 기본 선택으로 스케일드 바수 파워 발산 (Scaled Basu's Power Divergence, SBA) 생성기를 제안합니다. 로지스틱 또는 KLIEP 와 같은 다른 생성기와 달리, SBA 는 기준 가중치를 증폭률과 분리하여, 모델이 기본 유용성 신호를 왜곡하지 않으면서 안전 - 충돌 쌍을 강조할 수 있게 합니다.

주요 기여

1. 통합 프레임워크: BSO 는 브레만 발산 하의 밀도 비율 매칭에 기반한 안전 인지 선호도 최적화를 위한 최초의 통합적이고 원칙적인 프레임워크를 제공합니다.
2. 이론적 보장: 이 프레임워크는 유도된 비율 간의 브레만 발산을 최소화함으로써 최적 안전 정책을 복원함을 증명합니다.
3. 간단함과 효율성: BSO 는 보조 보상 또는 비용 모델이 필요 없으며, 단일 학습 단계에서 작동합니다. 표준 DPO 를 넘어선 하나의 하이퍼파라미터 (생성기 선택 또는 그 스케일링 매개변수) 만 도입합니다.
4. 기존 방법의 통합: 이 프레임워크는 SafeDPO 와 같은 기존 방법들을 특수한 경우로 이론적으로 복원하여, 비율 매칭의 관점에서 그 메커니즘을 설명합니다.
5. 실증적 검증: 광범위한 실험은 BSO, 특히 SBA 생성기를 사용한 경우가 다양한 모델 백본 (Qwen 2.5 0.5B 및 Llama 3.2 3B) 에서 베이스라인 (SafeRLHF, SACPO, SafeDPO) 보다 유용성과 안전성 간의 우월한 파레토 트레이드오프를 달성함을 보여줍니다.

실험 결과

• 안전성 - 유용성 트레이드오프: PKU-SafeRLHF-30K 벤치마크에서 BSO 는 일관되게 안전성 - 유용성 프론티어를 바깥쪽으로 이동시킵니다. 이는 유용성을 희생하지 않으면서 안전성 지표 (무해 비율) 를 개선하며, 많은 경우 두 가지를 동시에 개선합니다.
• 애블레이션 연구:
  • 안전 벌칙 ($C$): 저자들은 $C$에 대한 "적당한 영역"을 발견했습니다. $C$가 너무 작으면 안전성이 부족하고, 너무 크면 유용성 신호를 압도하여 성능이 저하됩니다.
  • 증폭 매개변수 ($\lambda$): SBA 생성기의 경우, 경미한 증폭 ($\lambda \approx 0.2$) 이 최고의 공동 성능을 냅니다. 공격적인 증폭 ($\lambda \ge 0.6$) 은 최적화를 불안정하게 만드는데, 이는 안전 - 충돌 쌍의 강조가 필요하지만 일관된 쌍이 유용성 안정화에 여전히 중요함을 시사합니다.
• 모델 평가: 결과는 모델 기반 평가 (Beaver-7B 보상/비용 모델 사용) 와 LLM 기반 평가 (DeepSeek-V4 를 판사로 사용) 모두에서 유효합니다.

중요성과 주장

이 논문은 안전 정렬이 휴리스틱 마진이나 복잡한 다단계 절차의 집합이 아니라 원칙적인 비율 매칭 문제로 다루어져야 한다고 주장합니다. 최적 정책의 구조적 속성에서 안전 인지 목적 함수를 유도함으로써, BSO 는 현재 최첨단 방법들보다 더 간단하고 견고하며 이론적으로 근거된 대안을 제공합니다. 저자들은 그들의 접근 방식이 비용 모델과 온라인 RL 의 필요성을 제거하여 엔지니어링 오버헤드를 줄이는 동시에 결과 정책의 더 강력한 이론적 보장을 제공한다고 강조합니다.

이 논문은 겸손하게 한계를 지적하며, 현재 분석은 이진 안전 레이블과 쌍별 선호도 데이터로 제한되어 있으며, 방법의 성능은 근본적인 안전 신호의 품질에 의존함을 인정합니다.