기술 요약: 안전한 데이터를 넘어: 정규 안전 성찰을 통한 사전 학습 단계의 정렬 (Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection)

1. 문제 정의

현재 대규모 언어 모델(LLM)의 안전성 정렬은 주로 사후 학습(post-training) 단계(예: 지도 미세 조정(SFT), 인간/AI 피드로백을 통한 강화 학습(RLHF))에서 수행됩니다. 저자들은 이러한 접근 방식이 본질적으로 피상적이고 취약하다고 주장합니다. 실증적 증거에 따르면, 사후 학습을 통해 습득된 안전 가드레일은 입력 프롬프트 조작(탈옥, jailbreaking)이나 심지어 유해한 행동을 의도치 않게 유발할 수 있는 양호한 미세 조정에 의해 쉽게 무너질 수 있습니다.

데이터 필터링(안전하지 않은 토큰/문서 제거)이나 데이터 재작성(안전하지 않은 콘텐츠의 재구성)과 같은 기존의 사전 학습 단계 개입의 결정적인 한계는, 이를 '내용 제어(content control)'의 문제로 취급한다는 점입니다. 본 논문은 사전 학습 데이터가 완전히 안전하더라도, 모델이 추론과 구성을 통해 유해한 행동을 일반화하는 능력을 습득할 수 있다고 가정합니다. 예를 들어, 안전한 의학 지식만을 학습한 모델이라도 양호한 사실들을 새로운 방식으로 결합함으로써 해를 끼칠 수 있는 실행 가능한 방법을 추론해낼 수 있습니다.

2. 방법론: 안전 성찰 사전 학습 (Safety Reflection Pretraining, SRP)

데이터 중심의 필터링 한계를 해결하기 위해, 저자들은 **안전 성찰 사전 학습(SRP)**을 제안합니다. 이 방법은 사전 학습 과정 중 언어 모델링 목적 함수에 "안전 성찰(safety reflections)"을 정기적으로 삽입함으로써 자기 모니터링을 직접 통합합니다.

핵심 메커니즘

1. 텍스트 분할 (Text Segmentation): 의미적 일관성을 유지하기 위해 문장 인식 전략을 사용하여 사전 학습 코퍼스를 세그먼트(예: 수백 개의 토큰) 단위로 분할합니다.
2. 성찰 생성 (Reflection Generation): 각 세그먼트 이후, 안전 분류기(특히 Qwen3Guard-Gen-0.6B)가 짧은 성찰을 생성합니다. 이 성찰은 다음으로 구성됩니다:
   • 판결 토큰: "Safe"(안전) 또는 "Unsafe"(안전하지 않음).
   • 카테고리 토큰 (안전하지 않은 경우): 유해 유형 명시 (예: "Violent").
   • EOS 토큰 (안전하지 않은 경우): 안전하지 않은 콘텐츠를 감지했을 때 모델의 생성을 중단하도록 신호를 보냄.
3. 증강된 코퍼스 (Augmented Corpus): 이러한 성찰을 사전 학습 텍스트에 직접 삽입하여, 모델이 다음 토큰 예측 작업의 일부로서 자신의 이전 생성물의 안전성을 판단하는 법을 배우도록 강제합니다.
4. 사후 학습 호환성 (Post-Training Compatibility): 학습된 행동이 배포 시에도 전이될 수 있도록, 저자들은 SFT 데이터 또한 유사한 성찰 패턴으로 증강하는 호환 가능한 사후 학습 설계를 채택했습니다. 이는 사전 학습에서 학습된 성찰 행동을 강화합니다.

합성 환경: MedSafetyWorld

모델이 안전한 데이터로부터 유해한 행동을 일반화할 수 있다는 가설을 엄격하게 테스트하기 위해, 저자들은 완전히 통제된 합성 환경인 MedSafetyWorld를 구축했습니다.

• 구조: 엔티티(화합물, 매개체, 결과)와 인과 관계를 정의합니다.
• 안전 정의: 네 가지 데이터 범주를 구분합니다:
  • Forward-Safe/Unsafe: 화합물이 무엇을 초래하는지 설명 (결과가 안전하지 않더라도 사용자에게 경고하는 데 도움이 되므로 모델에게는 양호함).
  • Reverse-Safe: 무엇이 안전한 결과를 초래하는지 설명.
  • Reverse-Unsafe: 무엇이 안전하지 않은 결과를 초래하는지 설명 (실행 가능한 해를 가르치므로 유일하게 진정으로 유해한 범주임).
• 목표: "Reverse-Unsafe" 사례를 제외하고 학습된 모델이 여전히 추론을 통해 어떻게 해를 끼칠 수 있는지 알아낼 수 있는지 관찰하는 것입니다.

3. 주요 기여

1. 행동 형성(Behavioral Shaping)에 대한 논거: 본 논문은 사전 학습 정렬이 단순히 안전하지 않은 데이터를 필터링하는 것을 넘어, 모델의 내부 추론 과정을 능동적으로 형성해야 한다고 주장합니다. 이는 안전한 데이터만으로는 유해한 능력의 일반화를 방지하기에 불충분함을 입증합니다.
2. 안전 성찰 사전 학습 (SRP): 사전 학습 텍스트에 안전 판단을 끼워 넣어, 모델이 지속적인 자기 모니터링을 수행하도록 훈련시키는 새로운 방법론입니다.
3. MedSafetyWorld: 안전한 사전 학습 데이터로부터 유해한 행동의 일반화를 격리하여 연구할 수 있도록 설계된 새로운 합성 벤치마크로, 안전 및 추론 구조에 대한 명확한 정의를 제공합니다.
4. 실증적 검증: SRP가 일반적인 유용성을 유지하면서도 유해한 일반화를 방지하는 데 있어 데이터 필터링 및 재작성보다 우수함을 보여주는 종합적인 실험을 수행했습니다.

4. 실험 결과

합성 실험 (MedSafetyWorld)

• 필터링의 일반화 실패: "Filtering"(Reverse-Unsafe 데이터 제거)으로 학습된 모델은 여전히 높은 탈옥률(prefill ASR 30.60%, fine-tuning ASR 43.20%)을 보였으며, 이는 모델이 안전한 데이터로부터 유해한 행동을 일반화했음을 증명합니다.
• 재작성의 비효效성: 단순한 데이터 재작성은 유해한 일반화를 제거하는 데 실패했으며, 높은 탈옥률(prefill ASR 43.00%)을 기록했습니다.
• 유용성 vs. 안전성 트레이드오프: "Filtering-plus"(안전하지 않은 결과가 포함된 모든 데이터를 제거)는 탈옥률을 거의 0에 가깝게 낮추었으나, 필수적인 지식을 제거함으로써 일반 성능을 심각하게 저하시켰습니다 (~73%에서 ~54%로 하락).
• SRP 성능: SRP는 높은 일반 성능(75.00%)을 유지하면서도 탈옥률을 prefill 7.60%, fine-tuning 2.20%로 낮추어 탁월한 트레이드오프를 달eric했습니다.

실제 환경 실험 (FineWeb-Edu 기반 1.7B 모델)

• 추론 단계의 견고성: SRP 모델은 적대적 공격(Prefill, GCG, AutoDAN)에 대해 Baseline 및 SafeLM(최첨단 안전 사전 학습 모델)에 비해 현저히 낮은 공격 성공률(ASR)을 보였습니다. 예를 들어, GCG(AdvBench)에서 SRP는 1.33%(LLM judge 기준)의 ASR을 기록한 반면, SafeLM은 24.89%를 기록했습니다.
• 미세 조정 견고성: SRP 모델은 성찰 패턴이 미세 조정 중에 유지되는 경우(데이터 증강 또는 혼합을 통해), 양호한 미세 조정과 적대적 미세 조정 모두에서 견고함을 유지했습니다. 반면, 사전 학습 성찰이 없거나 호환되지 않는 사후 학습 설계를 가진 모델은 안전 정렬을 빠르게 상실했습니다.
• 일반 능력: SRP 모델은 일반 이해(ARC, CommonsenseQA 등) 및 지시 이행(AlpacaEval, IFEval)에서 Baseline과 대등한 성능을 유지하여, 안전 개입이 유용성을 훼손하지 않음을 입증했습니다. SafeLM은 (더 큰 사전 학습 규모 덕분에) 더 높은 일반 점수를 보였으나 과도한 거부(over-refusal) 문제를 겪었습니다.

5. 의의 및 주장

본 논문은 사전 학습 단계의 정렬이 단순히 학습 데이터를 안전하게 만드는 것이 아니라, 모델이 안전한 데이터로부터 습득하는 행동을 형성해야 한다고 주장합니다.

• 심층적 정렬 (Deep Alignment): 사전 학습 목적 함수에 안전 성찰을 통합함으로써, SRP는 사후 학습 정렬의 전형적인 피상적인 토큰 수준 조정을 넘어 더 강력한 자기 모니터링의 기초 능력을 구축합니다.
• 상호 보완성 (Complementarity): 저자들은 SRP가 사후 학습을 대체하는 것이 아니라 필수적인 토대임을 강조합니다. 효과를 위해서는 사전 학습과 사후 학습 간의 성찰 형식이 일관되어야 하며, 어느 한 단계에서라도 이를 제거하면 성능이 저하됩니다.
• 향ance 방향: 이 연구는 향atu 연구가 사전 학습 단계의 정렬을 사후 학습 수정에도 견고하게 만드는 데 집중해야 함을 시사하며, 최종 사용자가 임의의 미세 조정을 수행하더라도 온전하게 유지되는 안전 기반을 목표로 해야 한다고 제안합니다.

저자들은 현재의 구현 방식이 견고함을 유지하기 위해 호환 가능한 사후 학습을 필요로 하지만, "유해한 자기 모니터링 행동을 유도하는 것이 심층적 안전 정렬을 위해 중요하다"는 핵심 통찰은 현재의 데이터 필터링 패러다임을 뛰어넘는 중요한 진전이라고 결론짓습니다.