기술 요약: 검증을 통한 대규모 추론 모델의 안전성 이해 내재화

1. 문제 제기

대규모 추론 모델 (LRMs) 은 명시적인 사고의 연쇄 (Chain-of-Thought, CoT) 를 활용하여 추론 능력을 향상시키지만, 최종 답변과 추론을 결합함으로써 실제 세계의 안전 위험 가능성을 증폭시킵니다. 현재의 정렬 (alignment) 패러다임은 주로 답변 중심으로, 전문가가 선별한 안전한 궤적에 대한 지도 미세 조정 (SFT) 이나 검증 가능한 안전 보상을 활용한 강화 학습 (RL) 에 의존합니다. 이러한 방법들은 모델이 최종 답변이 외부 안전 규정을 준수하도록 최적화합니다.

그러나 저자들은 이러한 접근법이 여전히 주로 행동적이며 피상적이라고 주장합니다. 이는 모델의 내재적 안전 이해를 형성하지 않은 채 준수만을 최적화합니다. 결과적으로 겉보기에 정렬된 모델들은 종종 출력물이 안전 규정을 만족하는지 여부와 그 이유를 검증할 능력을 결여합니다. 이 격차는 두 가지 치명적인 실패로 나타납니다:

1. 취약성: 모델은 안전성을 유도하는 CoT 를 유발하는 적대적 탈옥 (jailbreak) 공격에 의해 장악당할 수 있으며, 이는 해로운 답변을 유도하면서도 프롬프트를 "안전"하다고 표시하도록 모델을 유도합니다.
2. 낮은 일반화 능력: 모델들은 안전의 근본 개념을 학습하지 않고 안전한 행동을 모방할 뿐이므로, 도메인 외 (OOD) 및 추론 특화 탈옥 공격에 대한 취약한 방어를 보입니다.

실증 분석에 따르면, 표준 정렬은 검증 기술을 신뢰할 수 있게 산출하지 못합니다. 어떤 경우에는 정렬된 모델이 이진 안전 검증 작업에서 무작위 기준선보다 더 낮은 성능을 보이기도 합니다.

2. 방법론: 안전성 내재화 (Safety Internal, SInternal)

안전 생성과 안전 이해의 분리를 해결하기 위해, 저자들은 LRMs 를 안전 검증 작업에만 훈련시킴으로써 안전 규정을 내재화하도록 설계된 안전성 내재화 (SInternal) 프레임워크를 제안합니다.

핵심 철학

모델에게 무엇을 출력할지 (안전한 궤적을 모방) 가르치는 대신, SInternal 은 모델이 자신의 출력을 어떻게 평가할지 가르칩니다. 핵심 가설은 검증하는 법을 학습하는 것이 응답 안전성에 대한 강력한 일반화를 유도하여, 단순한 행동 모방보다 더 견고한 정렬의 기반을 만든다는 것입니다.

프레임워크 구성 요소

이 방법론은 두 가지 주요 단계로 구성됩니다:

A. 검증을 통한 안전성 내재화

1. 자기 응답 생성: 각 안전 관련 프롬프트 $x$에 대해 정책 모델 $\pi_\theta$는 (잠재적으로 안전하지 않은 것들을 포함하여) 자신의 응답을 샘플링합니다. 이를 통해 모델은 실제 출력 분포와 관련된 안전 경계를 학습합니다.
2. 전문가 검증 궤적 구성: 전문가 모델 (예: Claude-4-Sonnet) 은 안전 규정 $S$에 따라 샘플링된 응답들을 평가합니다. 이는 다음으로 구성된 검증 궤적 $c_k$를 생성합니다:
   • 비판적 추론 ($z_{ver,k}$): 잠재적 안전 위반에 대한 상세 분석.
   • 이진 판단 ($v_k$): 최종 안전 라벨 (안전/위험).
3. 지도 미세 조정 (SFT): 정책 모델은 이러한 전문가 검증 궤적에 대해 지도 학습을 통해 훈련됩니다. 목적은 프롬프트, 모델의 자체 응답, 그리고 안전 규정을 조건으로 검증 추론과 판단을 생성할 확률을 최대화하는 것입니다:
   $$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$$
   이는 모델이 왜 답변이 위험한지에 대한 논리를 내재화하도록 강제합니다.

B. 검증 가능한 보상을 활용한 강화 학습 (RLVR)

SInternal 초기화를 바탕으로, 프레임워크는 그룹 상대 정책 최적화 (GRPO) 를 사용하여 모델을 추가로 최적화합니다.

• 보상 설계: 모델은 응답 그룹을 생성합니다. 외부 검증기는 응답이 안전한지 ($V_{safe}$) 그리고 거절인지 ($V_{refuse}$) 에 따라 이진 보상을 제공합니다.
• 목적: 모델은 내재화된 안전 이해를 활용하여 보상 신호를 더 일관되게 해석하고 더 높은 정렬 한계를 달성하기 위해 기대 그룹 상대 보상을 최대화합니다.

3. 주요 기여

1. 검증 격차의 식별: 이 논문은 답변 중심 정렬이 내재적 안전 검증 능력을 향상시키지 못하며, 종종 모델이 자신이 생성한 위험한 출력을 올바르게 식별하지 못하게 만든다는 실증적 증거를 제시합니다.
2. SInternal 프레임워크: 안전한 답변 생성에서 검증으로 초점을 이동시키는 새로운 훈련 패러다임입니다. 모델의 자체 생성물에서 파생된 검증 궤적에만 훈련함으로써, 이 방법은 안전 규정을 내재적 추론 능력으로 내재화합니다.
3. RL 을 위한 우수한 초기화: 이 연구는 SInternal 이 표준 SFT 에 비해 강화 학습을 위한 우수한 초기화 역할을 한다는 것을 보여줍니다. SInternal 로 초기화된 모델들은 RL 최적화 후 적대적 공격에 대해 훨씬 더 높은 견고성을 달성합니다.
4. 메커니즘 분석: 저자들은 SInternal 이 추론 과정에서 적극적 검증을 유발함을 보여줍니다. 모델은 최종 답변을 확정하기 전에 잠재적 행동의 안전성을 자발적으로 검토하여 더 깊은 정렬을 이끕니다.

4. 실험 결과

실험은 안전성, 과도한 거절, 일반 추론 벤치마크에 걸쳐 세 가지 오픈소스 LRM (DeepSeek-R1-Distill-Qwen-7B/14B 및 DeepSeek-R1-Distill-Llama-8B) 에서 수행되었습니다.

• 탈옥 공격에 대한 견고성: SInternal 은 도메인 외 (OOD) 및 추론 특화 탈옥 벤치마크 (WildJailbreak, Fortress, HCoT 등) 에서 베이스라인 (SafeChain, STAR-1) 을 크게 능가합니다. 특히, SInternal 과 RL 의 결합은 추론 흔적을 악용하는 최첨단 탈옥인 HCoT (Hijacking CoT) 에 효과적으로 대응하는 유일한 방법입니다.
• 검증 능력: SInternal 로 훈련된 모델들은 안전 검증 F1 점수에서 상당한 향상을 보입니다 (예: DS-7B 에서 약 48% 에서 약 86% 로 상승). 반면, 답변 중심 베이스라인들은 거의 개선되지 않거나 전혀 개선되지 않았습니다.
• 일반화: 이 방법은 보이지 않는 탈옥 공격에 대한 강력한 일반화를 보여주며, 거절 패턴을 암기하는 것보다 안전 검증의 원리를 학습하는 것이 더 효과적임을 시사합니다.
• 유용성 보존: SInternal 은 일반 추론 벤치마크 (MATH, AIME) 에서 경쟁력 있는 성능을 유지하며 과도한 거절 (XSTest 로 측정) 을 피하여 안전성과 유용성 사이의 균형을 유지합니다.
• 데이터 효율성: SInternal 은 SFT 베이스라인이 요구하는 훈련 데이터의 50% 만으로도 더 높은 안전 성능을 달성하여, 출력물을 모방하는 것보다 추론 논리를 내재화하는 것이 더 데이터 효율적임을 나타냅니다.

5. 중요성과 주장

이 논문은 AI 안전 정렬의 패러다임 전환을 주장합니다: 안전한 행동을 모방하는 답변 중심 정렬에서 안전 원칙에 대해 명시적으로 추론하는 내재적 안전 이해로의 전환입니다.

• 근본적 견고성: 저자들은 안전한 행동을 단순히 모방하는 것보다 안전 이해를 내재화하는 것이 정렬을 위한 더 견고한 기반을 만든다고 주장합니다. 이는 모델이 추론 과정에서 자발적으로 검증을 유발하고 적대적 CoT 장악에 대한 우수한 저항력을 보인다는 사실로 입증됩니다.
• 생성과 검증의 분리: 이 연구는 안전한 생성이 자연스럽게 안전 이해로 이어지지 않는다는 점을 강조합니다. 따라서 이 격차를 메우기 위해 검증에 대한 명시적 훈련이 필요합니다.
• 미래 방향: 현재 프레임워크는 생성 후 검증에 초점을 맞추고 있지만, 저자들은 이 능력을 추론 중 동적 자기 검증으로 확장하는 것이 중요한 미래 방향이라고 제안합니다. 모델들이 더 깊은 내재적 안전 이해를 발전시킴에 따라, 그들의 내재적 검증 논리가 인간 가치와 정렬되도록 보장하는 것이 책임 있는 거버넌스를 위해 가장 중요합니다.

이 논문은 LRMs 에 자신이 생성한 답변의 안전성을 검토할 수 있는 능력을 부여하는 것이, 특히 견고성이 필수불가결한 고위험 환경에서 내재적 안전을 달성하기 위한 의미 있는 단계라고 결론짓습니다.