기술 요약: 적응형 안전 컨텍스트 학습(ASCL)을 통한 LLM 정렬의 안전성-유용성 트레이드오프 완화

문제 정의

대규모 추론 모델(LRM)의 급격한 발전은 수학 및 코딩과 같은 복잡한 작업에서의 능력을 향상시켰으나, 동시에 안전성 리스크를 증폭시켰습니다. 안전 정렬의 핵심 과제는 안전성(유해한 출력을 방지하는 것)과 유용성(민감하지만 무해한 질의에 대해 과도하게 거절하는 것을 방지하는 것) 사이의 내재된 트레이드오프입니다.

기존의 정렬 전략은 일반적으로 명시적인 안전 규칙을 사고 사슬(Chain-of-Thought, CoT) 훈련 데이터에 직접 임베딩하는 **컨텍스트 증류(context distillation)**에 의존합니다. 이러한 방식은 안전 가이드라인을 내재화하지만, 본 논문은 이것이 규칙 암기와 거절 사이의 경직된 연관성을 생성한다고 주장합니다. 결과적으로, 모델은 안전 용어와 표면적으로 일치하는 무해한 프롬프트에 대해서도 과도하게 거절하는 경향을 보이며, 특정 질의가 실제로 거절을 요하는지 동적으로 평가하는 데 실패합니다. 이러한 "패턴 매칭" 동작은 모델의 추론 능력과 유용성을 저해합니다.

방법론

저자들은 안전 규칙을 모델의 추론 과정에서 분리하는 적응형 안전 컨텍스트 학습(Adaptive Safe Context Learning, ASCL) 프레임워크를 제안합니다. ASCL은 안전 규칙을 사고 사슬 내에 암기하는 대신, 안전 정렬을 다회차(multi-turn) 에이전트 방식의 도구 사용 프로세스로 취급합니다.

1. 적응형 안전 컨텍스트 학습 (ASCL)

• 메커니즘: 모델은 21개 카테고리에 걸친 107개의 특정 안전 용어를 포함하는 외부의 학습 가능한 안전 문서를 액세스할 수 있는 검색 도구(ReAct 스타일 루프 내의 MCP 도구로 모델링됨)를 갖춥니다.
• 프로세스: 질의를 접했을 때, 모델은 검색 도구를 호출할지 여부를 자율적으로 결정합니다.
  • 질의가 모호하거나 잠재적으로 위험한 경우, 모델은 관련 정책을 검색하고 이를 분석한 다음 응답을 생성합니다.
  • 질의가 무해한 경우, 모델은 검색을 건너뛰고 직접 답변합니다.
• 목표: 규칙의 경직된 암기에서 탈피하여, 모델이 리스크를 숙고하고 필요할 때만 선택적으로 컨텍스트를 호출하는 적응형 추론으로 패러다임을 전환하는 것입니다.

2. 사후 훈련 파이프라인 (Post-Training Pipeline)

모델의 의사결정을 정교화하기 위해 저자들은 두 단계의 사후 훈련 접근 방식을 채택합니다.

• 행동 복제 (Behavior Cloning, BC): 모델은 더 큰 전문가 모델(Qwen3-235B-A22B)에 의해 생성된 큐레이션된 데이터셋을 통해 감독 학습을 받습니다. 이 데이터셋에는 다음이 포함됩니다:
  • 규칙 검색과 거절이 필요한 유해한 질의.
  • 모델이 규칙을 올바르게 검색했으나 위반 사항이 없다고 판단하거나, 검색 없이 답변하는 민감한(무해한) 질의.
  • 환각(hallucination)과 중복된 추론을 제거하는 데이터 정제 과정.
• 강화 학습 (Reinforcement Learning, RL): 모델은 안전성, 준수성(과도한 거절 방지), 그리고 환각 또는 포맷 오류에 대한 페널티 사이의 균형을 맞추는 보상 함수를 사용하여 추가 최적화됩니다.

3. 역빈도 정책 최적화 (Inverse Frequency Policy Optimization, IFPO)

RL 과정에서 관찰된 결정적인 한계는 과도한 규칙 호출 편향(모델이 도구에 지나치게 의존하는 현상)이었습니다. 표준 정책 경사법은 롤아웃 배치 내에서의 빈도에 따라 행동을 강화하므로, 검색이 기본 동작이 되는 왜곡된 분포를 초래합니다.

이를 해결하기 위해 저자들은 IFPO를 도입했습니다:

• 개념: IFPO는 롤아웃 그룹 내 샘플링 빈도에 따라 행동의 어드밴티지(advantage) 추정치를 동적으로 재가중치화합니다.
• 구현: 모델은 과소 대표된 행동(예: 직접 답변)의 어드밴티지는 높이고, 과다 대표된 행동(예: 도구 호출)의 어드밴티지는 낮춥니다.
• 공식: 그룹 $G$ 내에서 샘ming된 샘플 $i$의 가중치 $w_i$는 다음과 같이 계산됩니다:
  $$w_i = \text{clip}\left( \frac{(|G|/N_{m_i})^\tau}{\sum_j (|G|/N_{m_j})^\tau}, w_{\min}, w_{\max} \right)$$
• 효과: 이는 정책 업데이트의 크기를 샘플링 빈도로부터 분리하여, 정책이 고빈도 패턴으로 붕괴되는 것을 방지하고 균형 잡힌 전략을 장려합니다.

주요 기여

1. ASCL 프레임워크: 안전 규칙을 추론에서 분리하여, 모델이 경직된 거절 패턴을 암기하는 대신 리스크를 동적으로 숙고하고 외부 가이드라인을 선택적으로 검색할 수 있게 하는 새로운 접근 방식입니다.
2. 컨텍스트 학습의 경험적 검증: 체계적인 실험을 통해 ASCL이 프롬프트 엔지니어링 베이스라인에 비해 제로샷 설정에서 우수한 안전성-유용성 트레이드오프를 달면다는 것을 입증하였으며, 상세한 규칙을 훈련 데이터에 직접 임베딩하는 것이 무익함을 보여주었습니다.
3. IFPO 알고리즘: 훈련 중 발생하는 규칙 검색 편향을 완화하는 강화 학습 최적화 기술로, 표준 GRPO에 비해 안전성과 유용성 사이의 더 나은 균형을 달 수 있게 합니다.

실험 결과

이 프레임워크는 안전 벤치마크(예: WildJailbreak, StrongReject)와 과도한 거절 벤치마크(예: XSTest, OR-Bench-Hard) 전반에 걸쳐 Qwen3 모델(4B, 8B, 14B)을 대상으로 평가되었습니다.

• 안전성-유용성 트레이드오프: IFPO를 적용한 ASCL 프레임워크는 SafeChain, STAR-1 및 표준 프롬프트 엔지니어링 변형과 같은 베이스라인을 크게 상회하는 선도적인 성능을 달성했습니다.
  • 안전성: 유해한 프롬프트에 대해 거의 완벽한 방어율(예: 4B 모델 기준 평균 약 98.87%)을 달성했습니다.
  • 유용성: BC-only 및 RL 베이스라인에 비해 과도한 거절률을 획기적으로 줄여, 민감한 프롬프트에 대한 준수율을 "Pure"(미정렬) 모델의 성능에 가깝게 끌어올렸습니다.
• 일반 추론: 일반 추론 작업(MATH-500, GSM8K, GPQA-Diamond 등)에 대한 실험 결과, ASCL 프레임워크가 일반적인 추론 능력을 크게 저하시키지는 않았으나, 이러한 작업에 대한 일반화 성능 향상을 보여주지도 않았습니다. 저자들은 구조화된 안전 훈련 데이터와 일반 추론 작업 간의 분포 차이로 인해 약간의 성능 편차가 발생할 수 있다고 언급했습니다.
• 절제 연구 (Ablation Studies):
  • ASCL을 "대리(Surrogate)" CoT 데이터셋(실제 도구 사용 없이 검색을 시뮬레이션함)으로 대체했을 때, 안전 성능이 저하되고 추론 능력이 떨어졌으며, 이는 분리된 도구 사용 메커니즘의 필요성을 확인시켜 주었습니다.
  • IFPO를 단순한 규칙 사용 페널티와 비교했을 때, 페널티 방식은 규칙 검색의 완전한 회피를 초래한 반면, IFPO는 상담 비율을 최적의 수준으로 안정화하는 데 성공했습니다.

의의 및 주장

본 논문은 모델이 경직된 규칙을 무차별적으로 암기하는 대신, 핵심 추론 능력에 집중하고 적절한 안전 컨텍스트를 선택적으로 호출할 때 효과적인 안전 정렬이 나타난다고 주장합니다.

안전 정렬을 규칙이 내부적 제약이 아닌 외부 도구인 동적 다단계 추론 프로세스로 취급함으로써, 저자들은 안전성-유용성 트레이드오프를 깨뜨리는 것이 가능하다는 것을 입증했습니다. 이 연구는 안전 정렬에서의 "추론 능력"이 단순히 정형화된 거절 패턴을 기계적으로 매칭하는 능력이 아니라, 원칙을 참조할지 여부를 판단하고 위반 사항을 분석하는 능력으로 정의되어야 함을 시사합니다. 저자들은 이 접근 방식이 더욱 신뢰할 수 있고 유용한 대규모 추론 모델을 향한 단계라고 위치 지었습니다.