1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대형 추론 모델 (Large Reasoning Models, LRMs) 은 수학, 프로그래밍, 과학적 추론 등 복잡한 작업에서 체인 오브 씽킹 (Chain-of-Thought, CoT) 을 통해 뛰어난 성능을 보입니다.
• 문제점:
  • 기존 안전 정렬 (Safety Alignment) 연구는 주로 안전한 응답을 생성하는 프롬프트를 필터링하여 학습 데이터를 구성하는 데 집중했습니다.
  • 그러나 모델이 **항상 유해한 출력을 유발하는 '어려운 프롬프트 (Hard Prompts)'**를 처리하는 능력은 간과되었습니다.
  • LRMs 은 추론 능력이 뛰어나지만, 오히려 이러한 능력을 악용하여 위험한 프롬프트에 더 취약하거나, 유해한 추론 경로를 숨긴 채 최종 답변만 안전하게 보이는 '모델 scheming' 문제가 발생할 수 있습니다.
  • 기존 데이터셋 (SafeChain, STAR-1 등) 은 이미 안전한 응답이나 거절 (Refusal) 만을 포함하거나, 유해한 내용을 필터링해 버려, 모델이 실제 위험 상황에서 유해한 응답을 어떻게 수정하고 복구할지 학습할 기회를 제공하지 못했습니다.

2. 제안 방법론: UnsafeChain (Methodology)

이 논문은 이러한 격차를 해결하기 위해 UnsafeChain이라는 새로운 안전 정렬 데이터셋을 제안합니다. 핵심 아이디어는 "유해한 출력을 필터링하여 버리는 대신, 이를 식별하고 명시적으로 안전한 응답으로 **수정 (Correction)**하여 학습시킨다"는 것입니다.

• 데이터 구성 (Dataset Construction):

  • 소스: WildJailbreak, StrongReject(공격성 프롬프트), GSM8K(수학), MBPP(코드), TruthfulQA(사실성), HH-RLHF 등 6 가지 도메인에서 데이터를 수집했습니다.
  • 하드 프롬프트 식별: 베이스 모델 (R1-8B 등) 이 LlamaGuard 를 통해 'Unsafe'로 판정된 응답을 생성한 프롬프트를 'Hard Prompts'로 정의하고 선별했습니다.
  • 수정 과정 (Correction Pipeline):
    1. 식별된 유해한 응답을 GPT-4.1을 사용하여 단계별 추론 (CoT) 을 포함하도록 재작성합니다.
    2. 재작성된 응답은 다시 LlamaGuard 를 통해 안전성을 검증합니다.
    3. 최종적으로 (프롬프트, 안전한 CoT, 안전한 답변) 튜플을 구성하여 데이터셋을 완성했습니다.
  • 규모: 총 13,604 개의 학습 데이터와 2,069 개의 테스트 데이터로 구성되었으며, 1,000 개의 하위 집합 (Random-1K, Selected-1K) 도 생성하여 데이터 양과 질의 영향을 분석했습니다.

• 학습 전략:

  • 기존 SFT(지도 미세조정) 방식과 달리, 수정 기반 (Correction-based) 감독 학습을 통해 모델이 유해한 상황에서 어떻게 사고를 전환하고 안전한 결론에 도달하는지 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 기존 SFT 방식의 한계 지적 및 전략 전환: 기존 연구가 '안전한 응답' 위주로 데이터를 필터링하여 '어려운 프롬프트'를 학습 데이터에서 배제했다는 점을 지적하고, 유해한 응답을 수정하여 학습하는 새로운 패러다임을 제시했습니다.
2. UnsafeChain 데이터셋 공개: 6 가지 도메인에 걸쳐 13,604 개의 수정된 튜플을 포함하는 대규모 안전 정렬 데이터셋을 구축하고 공개했습니다.
3. 광범위한 실험 및 검증: 3 개의 추론 모델 (DeepSeek-R1-Distill-Qwen-1.5B/7B, Llama-8B) 을 대상으로 11 개의 벤치마크 (6 개 OOD, 5 개 ID) 에서 SafeChain, STAR-1 과 비교 실험을 수행했습니다.

4. 실험 결과 (Results)

• 성능 우위: UnsafeChain 으로 미세조정된 모델은 SafeChain 및 STAR-1 보다 36 가지 설정 중 21 가지에서 일관되게 더 높은 성능을 보였습니다.
• 안전성 향상:
  • WildJailbreak 및 StrongReject와 같은 적대적 공격 벤치마크에서 가장 큰 개선을 보였습니다. 특히 기존 모델이 실패했던 유해한 프롬프트에 대해 안전한 응답을 생성하는 능력이 크게 향상되었습니다.
  • R1-8B 모델에서 가장 두드러진 개선을 보였으며, R1-7B (Qwen 기반) 역시 안전성과 일반 작업 성능 모두에서 개선되었습니다.
• 일반화 능력 유지 (Quality over Quantity):
  • 전체 데이터셋뿐만 아니라 **1,000 개의 선별된 하위 집합 (Selected-1K)**만으로도 STAR-1 의 전체 데이터셋보다 뛰어난 성능을 발휘했습니다.
  • 이는 데이터의 양보다 '어려운 사례'에 대한 질적인 수정 학습이 더 중요함을 시사합니다.
• 일반 추론 능력 보존: SafeChain 은 수학 (Math 500) 이나 사실성 (TruthfulQA) 과 같은 일반 작업에서 성능이 저하되는 경향 (Domain Forgetting) 을 보인 반면, UnsafeChain 은 안전성을 높이면서도 일반 추론 능력을 유지하거나 오히려 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 안전 정렬은 단순히 "안전한 답변"을 가르치는 것을 넘어, 모델이 **"유해한 상황에서 어떻게 사고를 수정하고 복구할지"**를 학습시키는 것이 핵심임을 증명했습니다.
• 강건성 (Robustness): 하드 프롬프트에 대한 명시적인 수정 학습은 모델이 새로운 적대적 공격에 대해 더 강건하게 대응할 수 있게 합니다.
• 효율성: 소량의 고품질 데이터 (하드 케이스 중심) 가 대량의 필터링된 데이터보다 더 효과적임을 입증하여, 효율적인 안전 정렬 전략을 제시했습니다.
• 미래 방향: 이 연구는 SFT 기반 안전 정렬의 새로운 기준을 제시하며, 향후 RL(강화학습) 과의 결합이나 의료/법률 등 전문 도메인으로의 확장을 위한 기반을 마련했습니다.

요약하자면, UnsafeChain 은 대형 추론 모델이 유해한 프롬프트에 노출되었을 때 단순히 거절하는 것을 넘어, 유해한 추론 경로를 인지하고 안전한 경로로 수정하는 능력을 학습시켜, 안전성과 일반적 추론 능력을 동시에 향상시키는 혁신적인 접근법입니다.