기술 요약: 균형 잡힌 안전 정렬을 위한 구성 가능한 보상 모델

문제 정의

대규모 언어 모델(LLM)을 안전 요구 사항에 정렬하는 작업은 중요한 과제에 직면해 있습니다. 즉, 안전은 문화적 규범, 법적 관할권, 조직 정책에 의해 형성되는 맥락 의존적 변수이지 보편적인 상수가 아니라는 점입니다. 현재의 정렬 패러다임, 특히 인간 피드백 기반 강화 학습(RLHF)은 안전 지식이 암시적으로 인코딩되어 배포 시점에 고정된 정적 보상 모델(RM)에 의존합니다. 이러한 경직성은 안전 정책이 진화할 때마다(예: 새로운 혐오 표현 규제 또는 도메인별 컴플라이언스) 비용이 많이 드는 전체 재학습 및 배포 주기를 필요로 합니다.

반대로, 기존의 "구성 가능한" 접근 방식들(예: Llama Guard, ShieldGemma와 같은 독립형 안전 분류기 또는 DynaGuard와 같은 프롬프트 조건부 추론 판사)은 추론 시점에 새로운 정책에 적응합니다. 그러나 이 모델들은 판별적 분류기나 추론 기반 판사로서 기능합니다. 이들의 출력은 강화 학습에 부적합한 보상 기하학(reward geometries)을 보이는 경우가 많습니다. 확률이 지나치게 뾰족하거나(이진 결정) 혹은 지나치게 평탄합니다(심사숙고적 판단). 결과적으로 이들은 정책 최적화를 위한 희소하고, 보정(calibration)이 잘 되지 않으며, 실질적으로 미분 불가능한 신호를 제공하여 빈번하게 과잉 거부(유익한 요청을 거부함)와 유용성 저하를 초러합니다.

현재의 파이프라인에는 누락된 구성 요소가 있습니다. 즉, 추론 시점에 구성 가능하면서도 동시에 정책의 내부 루프 최적화에 적합한 조밀하고 보정된 스칼라 보상을 생성할 수 있는 보상 모델이 필요합니다.

방법론

저자들은 추론 시점에 자연어 안전 구성을 조건으로 하여 RLHF를 위한 스칼라 보상을 출력하도록 설계된 프레임워크인 **구성 가능한 안전 보상 모델(Configurable Safety Reward Model, CSRM)**을 소개합니다. 이 방법론은 세 가지 핵심 구성 요소에 의존합니다.

1. 용어 및 입력 구조

안전 구성 $p$는 특정 카테고리에 대해 허용되는 콘텐츠와 허용되지 않는 콘텐츠를 구분하는 자연어 가이드라인을 포함하는 규칙 집합으로 정의됩니다. 모델은 튜플 $(x, r, p)$를 입력으로 받습니다. 여기서 $x$는 대화 기록, $r$은 에이전트의 응답, $p$는 안전 구성입니다. 모델은 레이블 $y \in \{\text{safe, unsafe}\}$와 보상 값 $c \in [0, 1]$을 출력합니다.

2. 타겟 데이터 증강

추가적인 인간 주석 없이 미학습 구성에 대한 일반화 능력을 부여하기 위해, 저자들은 두 가지 증강 전략을 제안합니다.

• 구성 가능한 안전 구성 증강: 주어진 대화와 구성에 대해, 추론 모델은 해당 대화를 안전하지 않게 만들 수 있는 "긍정적" 카테거리(현재 $p$에 없는 것)와 이를 안전하게 만들 수 있는 "부정적" 카테고리를 제안합니다. 구성은 기존 카테고리를 무작위로 삭제하고 선택적으로 이 새로운 카테고리들을 삽착함으로써 증강됩니다. 이러한 양방향 증강은 보상 분산을 높이고 쌍체 모델링(pairwise modeling)을 개선합니다.
• 엄격성 증강(Strictness Augmentation): 보상 기하학을 형성하고 위반 심각도를 반영하기 위해, 저자들은 부분 순서 집합(partially ordered sets) 형태의 가이드라인 설명을 구축합니다. 안전 카테고리 내의 하위 카테고리를 식별하고, 이를 추정된 심각도 순으로 정렬한 뒤, 이 정렬된 리스트의 접두사를 선택적으로 허용하거나 금지하도록 가이드라인을 재작성합니다. 신뢰성을 보장하기 위해, 저자들은 Clopper–Pearson 하한을 사용하는 **신뢰도 자격 검증 테스트(confidence-qualified dominance test)**를 채택합니다. $d$가 통계적으로 유의미하게 $d'$보다 엄격한 가이드라인 쌍 $(d, d')$만을 학습에 유지합니다. 이는 모델이 임의적인 이진 구분이 아닌, 보정된 심각도 스펙트럼을 학습하도록 보장합니다.

3. 결합된 판별-생성 학습

CSRM은 단일 생성 프레임워크 내에서 안전 분류와 보상 모델링을 통합합니다.

• 분류 손실(Classification Loss): 모델은 언어화된 토큰(예: "safe", "unsafe")을 사용하여 안전 레이블을 예측하도록 학습됩니다.
• 보상 손실(Reward Loss): 엄격성 증강된 쌍을 사용하여, 모델은 엄격한 구성과 완화된 구성 하에서의 safe vs unsafe 토큰의 로그 확률 간 마진을 최대화하도록 학습됩니다. 이는 Bradley–Terry 스타일의 선호도 손실로 공식화되며, 더 엄격한 가이드라인 하에서 더 안전한 응답에 더 높은 보상을 할당하도록 유도합니다Sc합니다.
• 보정(Calibration): 별도의 보정 손실을 사용하는 대신, 다양하고 통계적으로 검증된 심각도 쌍을 구축함으로써 학습 중에 보정을 유도합니다. 이는 랭킹 품질과 보정 사이의 경험적 연결을 활용합니다.

주요 기여

1. 구성 가능하고 보정된 안전 보상 모델링: CSRM은 추론 시점에 자연어 안전 구성에 직접적으로 조건화되어, 이진 판단이 아닌 조밀하고 보정된 스칼라 보상을 생성합니다. 이를 통해 재학습 없이도 미세한 안전 동작 제어가 가능하며, 경사 기반 정책 최적화와 호환성을 유지합니다.
2. 타겟 증강을 통한 결합 학습: CSRM은 안전 분류와 보상 모델링을 통합하며, 구성 타겟팅 및 엄격성 증강을 도입합니다. 이를 통해 모델이 경계선상의 위반과 심각한 위반을 구분할 수 있게 하며, 새로운 인간 주석 없이도 미학습 구성에 일반화할 수 있게 합니다.
3. 개선된 안전-유용성 트레이드오프: CSRM은 RL을 위한 더 정보가 풍부한 보상 신호를 제공하여, 과잉 거부를 피하면서도 강력한 안전 보장을 유지하는 정책을 생성함으로써, 안전과 유용성 사이의 파레토 프런티어(Pareto frontier)를 효과적으로 확장합니다.

실험 결과

저자들은 여러 벤치마크와 다운스트림 정렬 작업에서 CSRM을 평가했습니다.

• 안전 분류: BeaverTails, WildGuardMix, CoSApien, DynaBench를 포함한 벤치마크에서 CSRM은 최첨단 성능을 달しまいました. 특히, CoSApien에서 94.6% F1을 달성했으며, DynaBench에서는 75.8% F1을 기록하여 LlamaGuard-3-8B 및 ShieldGemma-9B와 같은 베이스라인을 능가했습니다. 또한 추론 기반 판사들에 비해 우수한 보정 성능(더 낮은 smECE)을 입증했습니다.
• 보상 모델링: 쌍체 보상 모델링 작업(BeaverTails-Aug, WildGuardMix-Aug)에서 CSRM은 위반 심각도에 따라 응답의 순서를 정하는 데 있어 가장 높은 정확도를 달성하며 베이스라인을 크게 앞질렀습니다.
• 과잉 거부: 과잉 거부 벤치마크(XSTest, OR-Bench)에서 CSRM은 가장 높은 F1을 기록하였는데, 이는 베이스라인 모델들에 비해 더 나은 보정 능력과 유익한 요청을 거부하는 경향이 낮음을 나타냅니다.
• 다운스트림 RL 정렬: 다섯 가지 도메인(예: Arab Publisher, Film Production)에 대해 보상 증류(Reward Distillation) 및 REINFORCE++를 사용하여 Mistral-7B-Instruct-v0.1을 정렬할 때, CSRM은 일관되게 최고의 CoSA 점수(안전 보상과 유용성 보상의 내적)를 달성했습니다. 여러 도메인에서 동일한 안전 수준에서 더 높은 유용성을 달성하여 우수한 트레이드오프를 보여주었습니다. 예를 들어, REINFORCE++를 사용한 Film Production 도메인에서 CSRM은 3.981의 CoSA 점수를 기록하여, LlamaGuard 베이스라인(3.391)과 인스트럭션 튜닝된 베이스라인(3.113)을 모두 능가했습니다.

의의 및 주장

본 논문은 CSRM이 현재의 안전 정렬이 가진 근본적인 한계, 즉 비용이 많이 드는 재학습 없이 진화하는 안전 요구 사항에 적응할 수 없으면서도 RL에 적합한 신호를 유지해야 하는 문제를 해결한다고 주장합니다. RLHF의 내부 루프 내에서 밀도 있고 구성 가능한 보상 신호로 기능함으로써, CSRM은 단순히 추론 시점에 출력을 감시하는 것을 넘어 본질적으로 더 안전한 모델을 훈련할 수 있게 합니다.

저자들은 CSRM이 추가적인 인간 주석 없이도 기존 데이터셋의 합성 증강을 통해 이러한 결과를 달성했음을 강조합니다. 이 연구는 보상 수준의 구성 가능성을 향한 실질적인 경로를 제시하며, 추론 시점에 명세를 업데이트함으로써 안전 동작을 적응시키면서도 훈련을 위한 최적화 가능한 신호를 유지할 수 있음을 보여줍니다.

저자가 언급한 한계점:

• 증강 파이프라인은 LLM 생성 제안에 의존하므로 제안 모델의 편향을 상속받을 수 있으나, 이는 통계적 필터링을 통해 완화되었습니다.
• 본 연구는 타겟팅된 보상 해킹(reward-hacking) 분석을 수행하지 않았으며, 장기 온라인 최적화 하에서의 전략적 착취는 향후 연구 과제로 남겨두었습니다.
• 주요 결과는 단일 베이스 아키텍처(Llama-3.1-8B)를 사용하였으나, Qwen3-2B에서도 경향성이 재현되었습니다. 더 넓은 백본 및 다국어 평가는 향후 과제로 남겨두었습니다.