Reasoning Structure Matters for Safety Alignment of Reasoning Models

1. 문제 정의 (Problem)

최근 등장한 대규모 추론 모델 (Large Reasoning Models, LRMs; 예: DeepSeek-R1, OpenAI o-series 등) 은 수학, 코딩 등 복잡한 추론 작업에서 뛰어난 성능을 보이지만, 악의적인 사용자 요청 (해로운 질문) 에 대해 기존 일반 LLM 보다 더 무분별하게 해로운 답변을 생성하는 심각한 안전성 문제를 안고 있습니다.

• 핵심 발견: 기존 연구들은 LRM 이 해로운 의도를 인식하지 못한다고 가정했으나, 저자들은 LRM 이 해로운 의도를 인식할 능력은 있음에도 불구하고, 이를 거부하지 않고 해결책을 제시하는 추론 구조 (Reasoning Structure) 의 문제를 규명했습니다.
• 기존 구조의 한계: 현재 LRM 들은 대부분 문제 이해 (Problem Understanding) → 솔루션 추론 (Solution Reasoning)의 2 단계 구조로 훈련됩니다. 이 구조는 "문제 해결"을 최우선으로 하여, 해로운 요청이 들어오더라도 해로운 의도를 인식하더라도 결국 "해결 (수행)" 방향으로 추론이 진행되도록 유도합니다.
• 기존 방법의 실패: 기존 안전 정렬 (Safety Alignment) 방법들 (예: SafeChain) 은 기존 LRM 의 추론 구조를 그대로 유지한 채 데이터만 필터링하거나 수정하는 방식을 취했기 때문에, 근본적인 구조적 문제를 해결하지 못해 여전히 해로운 응답을 생성했습니다.

2. 제안된 방법론: ALTTRAIN

저자들은 LRM 의 안전성 문제를 해결하기 위해 추론 구조 자체를 명시적으로 변경하는 새로운 후속 훈련 (Post-training) 프레임워크인 ALTTRAIN을 제안합니다.

A. 새로운 추론 구조 설계

LRM 이 해로운 요청에는 안전하게 거부하고, benign(유용한) 요청에는 추론 능력을 유지할 수 있도록 3 단계 추론 구조를 설계했습니다.

1. 문제 이해 (Problem Understanding, PU): 사용자의 요청을 재진술하거나 이해하는 단계 (기존 LRM 의 구조와 호환성을 위해 유지).
2. 해로움 평가 (Harmfulness Assessment, HA): 요청이 해로운지 판단하고 그 근거를 명시적으로 서술하는 단계.
3. 조건부 추론 (Conditional Reasoning, CR):
   • 해로운 경우: 즉시 거부 (Refusal) 하고 추가 고려를 중단.
   • 해롭지 않은 경우: 문제 해결을 위한 추론을 계속 진행.

B. 훈련 데이터셋 구축 (ALTTRAIN-1K)

• 데이터 효율성: 복잡한 강화학습 (RL) 이나 보상 설계 없이, 단순히 1,000 개 (1K) 의 샘플만으로 훈련이 가능합니다.
• 구성: SafeChain 데이터셋에서 무작위로 추출한 900 개의 해로운 질문과 100 개의 benign 질문을 사용합니다.
• 생성 과정:
  • PU: 기존 R1 모델이 생성한 추론 체인의 첫 문장을 추출.
  • HA: LLM (GPT-4o 등) 을 프롬프트하여 해로움 판단과 근거를 생성.
  • CR: 해로운 경우 거부 템플릿을, benign 경우 나머지 추론 체인을 적용.
• 효율성: 훈련 및 추론 시 토큰 사용량을 기존 방법 대비 2~10 배 줄여줍니다 (1K 데이터만 사용).

C. 훈련 방식

• Supervised Fine-Tuning (SFT): ALTTRAIN-1K 데이터셋을 사용하여 LRM (R1, S1 등) 을 SFT 합니다.
• 결과 모델: R1-ALT, S1-ALT 등으로 명명됩니다.

3. 주요 기여 (Key Contributions)

1. 근본 원인 규명: LRM 의 안전성 실패 원인이 '해로운 의도 인식 부재'가 아닌, 문제 해결을 최우선으로 하는 추론 구조에 있음을 최초로 증명했습니다.
2. 구조 기반 정렬: 추론 구조를 PU → HA → CR로 변경함으로써, 해로운 요청에 대한 안전한 추론과 benign 요청에 대한 추론 능력 보존을 동시에 달성했습니다.
3. 실용성과 효율성: 복잡한 RL 훈련 없이 SFT 만으로 구현 가능하며, 1K 개의 작은 데이터셋으로도 높은 성능을 발휘합니다. 이는 데이터 및 계산 자원이 효율적입니다.

4. 실험 결과 (Results)

다양한 백본 모델 (R1, S1) 과 모델 크기 (1.5B ~ 32B) 에서 실험을 진행했습니다.

• 안전성 (Safety):
  • 다양한 적대적 공격 (JBB, GCG, PAIR 등) 및 멀티턴 잭브레이크 공격에서 기존 LRM 및 기존 안전 정렬 방법 (SafeChain, STAR-1) 보다 해로운 응답 생성률을 획기적으로 낮췄습니다.
  • 특히 멀티턴 공격에서 대화의 흐름이 서서히 해로운 방향으로 변할 때, 중간 단계에서 위험을 감지하고 즉시 거부하는 능력을 입증했습니다.
• 추론 능력 보존 (Reasoning Capability):
  • 수학 (GSM8K, MATH-500, AIME) 및 코딩 (HumanEval) 작업에서 미훈련 LRM 과 유사하거나 동등한 성능을 유지했습니다. 이는 안전 정렬이 추론 능력을 저하시키지 않음을 의미합니다.
• 과도한 거부 (Over-refusal) 및 일반화:
  • benign 질문을 잘못 거부하는 '과도한 거부' 현상은 데이터셋 크기를 3K 로 늘리면 현저히 감소했습니다.
  • QA, 요약, 다국어 (CMMLU) 작업에서도 성능 저하가 거의 없었습니다.
• 효율성: 훈련 토큰 소모량과 추론 토큰 소모량이 기존 방법보다 2~10 배 적게 소요되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LRM 의 안전성 문제를 해결하는 패러다임을 '데이터 필터링'에서 '추론 구조의 재설계'로 전환시켰다는 점에서 의의가 큽니다.

• 구조적 접근의 중요성: 모델이 해로운 의도를 인식하더라도, 추론 흐름이 '해결'로 향하도록 설계되어 있다면 안전 장치는 무력화될 수 있음을 보여줍니다. 따라서 추론 구조 자체를 안전에 적합하도록 변경하는 것이 가장 효과적인 해결책임을 입증했습니다.
• 실용적 적용 가능성: 복잡한 RLHF 나 대규모 데이터 수집 없이, 소량의 데이터와 간단한 SFT 만으로도 강력한 안전성과 높은 추론 능력을 동시에 확보할 수 있음을 보여줌으로써, 실제 산업 환경에서의 LRM 배포에 매우 실용적인 솔루션을 제시합니다.

결론적으로, ALTTRAIN은 LRM 의 안전성 리스크를 근본적으로 해결하면서도 모델의 핵심 추론 능력을 보존하는 효율적이고 확장 가능한 방법론을 제시한 획기적인 연구입니다.