기술 요약: DT-Guard

문제 정의

오픈 월드 애플리케이션에 배포된 대규모 언어 모델(LLM)은 복잡한 위험에 대한 견고함과 저지연 런타임 모더레이션에 필요한 효율성 사이의 균형을 맞추는 안전 가드레일이 필요합니다. 기존 솔루션들은 다음과 같은 실질적인 트레이드오프에 직면해 있습니다:

• 분류 기반 가드레일은 효율적이지만, 복잡한 판단을 평면적인 레이블 예측으로 압축하기 때문에 은폐된 의도, 모호한 의미론, 경계선상의 안전 결정에 대해 실패하는 경우가 많습니다.
• 추론 기반 가드-레일은 명시적인 사고 사슬(Chain-of-Thought, CoT) 흔적을 생성하여 판단 품질을 개선하지만, 상당한 토큰 생성 오버헤드와 추론 지연 시간을 초래하여 고처리량 산업 시스템에는 부적합합니다.

따라서 훈련 중에는 추론 감독의 품질을 활용하면서, 배포 시에는 추론이 없는 효율성을 유지할 수 있는 패러다임이 필요합니다.

방법론

저자들은 추론 활성 훈련, 추론 프리 추론(Reasoning-Active Training, Reasoning-Free Inference) 패러다임에 기반한 콘텐츠 안전 가드레일 모델인 DT-Guard를 제안합니다. 핵심 아이디어는 훈련 중에 추론 궤적을 감독 신호로 사용하되, 추론 시에는 구조화된 안전 레이블만을 출력하는 것입니다.

1. 의도 중심 안전 프레임워크 (Intent-Driven Safety Framework)

DT-Guard는 안전 판단을 **의도(Intent) → 카테고리(Category) → 안전(Safety)**의 점진적 결정 프로세스로 정식화합니다.

• 의도(Intent): 근본적인 상호작용 동기(예: 선의적인 문의 vs. 적대적 공격)를 식별합니다.
• 카테고리(Category): 관련 위험 유형을 속성화합니다.
• 안전(Safety): 최종 안전 수준(Safe, Unsafe, 또는 Borderline)을 예측합니다.
  이 구조는 표면적인 단서가 신뢰할 수 없는 까다로운 사례들에 대해 더 명확한 중간 감독을 제공합니다.

2. 데이터 구축

저자들은 프롬프트 측(입력) 및 응답 측(출력) 위험을 모두 다루는 811,897개의 샘플로 구성된 의도 중심 안전 코퍼스를 구축했습니다.

• 출처: 6가지 안전 도메인(레드팀, 탈옥, 정렬, 독성, 편향 등)에서 수집되었습니다.
• 처리: GLM-5.1을 이용한 LLM 기반 증류(Distillation)와 전문가 검증을 포함한 다회차 투표를 거치는 2단계 파이프라인을 사용했습니다.
• 주석(Annotation): 샘플에는 CoT, 의도 레이블, 위험 카테고리, 안전 레이블이 풍부하게 포함되었습니다. 모호성을 처리하기 위해 경계선(Borderline) 사례들이 명시적으로 식별되었습니다.
• 균형: 데이터셋은 안전 수준(Safe:Unsafe:Borderline ≈ 5.5:4:0.5)과 위험 카테고리에 걸쳐 균형을 맞추어 빈번한 위험과 롱테일 위험을 모두 커버하도록 설계되었습니다.

3. 롤아웃 가이드 점진적 난제 최적화 (Rollout-Guided Progressive Hard-Case Optimization, RG-PHO)

추론 과정에 추론을 강제하지 않으면서 이를 내재화하기 위해, DT-Guard는 3단계 훈련 파이프라인을 채택합니다:

• 1단계: 의도 가이드 혼합 모드 SFT. 모델은 CoT 출력(경계선/세밀한 사례용)과 압축된 구조화 레이블(명확한 사례용)을 혼합하여 Intent → Category → Safety 구조를 학습합니다. 이는 훈련-테스트 간의 포맷 불일치를 만들지 않으면서 추론 감독을 주입합니다.
• 2단계: 실패 기반 난제 SFT. **다중 롤아웃 일관성(Multi-rollout consistency)**을 사용하여, 모델이 모든 롤아웃에서 올바르게 예측하는 데 실패하는 "지속적 실패" 샘플을 식별합니다. 이 샘플들은 체계적인 실패를 수정하기 위해 CoT를 포함한 타겟팅된 지도 학습 교정 과정을 거칩니다.
• 3단계: 롤아웃 대조 난제 DPO. 모델이 올로바른 롤아웃과 틀린 롤아웃을 모두 생성하는 "선호도 불안정" 샘플을 식별하여 선택-거절 쌍을 구성합니다. 직접 선호도 최적화(DPO)를 적용하여 모델의 선택 동작을 교정하고, 올바른 추론 경로와 안전 결정을 강화합니다.

4. 추론 프리 추론 (Reasoning-Free Inference)

배포 시 DT-Guard는 명시적인 추론 흔적을 생성하지 않고 오직 구조화된 레이블(Intent, Category, Safety)만을 생성합니다. 추론 능력은 훈련 중에 내재화되었으므로 저지연 판별이 가능합니다.

주요 기여

1. DT-Guard 모델: 훈련 중에는 복잡한 안전 추론을 내재화하면서 추론 시에는 추론이 없는 효율성을 유지하여, 추론 품질과 추론 지연 시간을 효과적으로 분리하는 안전 가드레일입니다.
2. 의도 중심 프레임워크 및 데이터셋: 구조화된 결정 경로(Intent → Category → Safety)와 의도, 카테고리, CoT 주석이 포함된 약 81.2만 개의 큐레이션된 데이터셋을 제공합니다.
3. RG-PHO 전략: 롤아웃 일관성에 따라 난제를 계층화하고, 타겟팅된 난제 SFT(지속적 실패용) 및 난제 DPO(선호도 불안정성용)를 적용하는 점진적 최적화 방법을 제시합니다.
4. 효율성-성능 균형: 더 작은 모델 크기로 높은 성능을 달성하며 추론 능력과 배포 효율성 사이의 균형을 맞추는 훈련 경로를 입증했습니다.

실험 결과

4B 파라미터 백본(Qwen3-4B)을 사용하여 10개의 프롬프트 측 및 7개의 응답 측 안전 벤치마크에서 실험을 수행했습니다.

• 프롬프트 측 성능: DT-Guard는 평균 F1 점수 0.886을 기록하여, 8B 베이스라인인 Qwen3Guard-8B-Gen(0.852)과 YuFeng-XGuard-Reason-8B(0.849)를 각각 3.4포인트와 3.7포인트 차이로 앞질렀습니다.
• 응답 측 성능: DT-Guard는 평균 F1 점수 0.870을 달성하여, Qwen3Guard-8B-Gen(0.863)과 YuFeng-XGuard-Reason-8B(0.841)를 능가했습니다.
• 전체 성능: 단 4B 백본만으로 DT-Guard는 양측 평균 F1 점수 0.878에 도달하여 강력한 8B 가드레일 베이스라인들을 능가했습니다.

어블레이션(Ablation) 통찰:

• 의도 감독: 의도 레이블을 추가했을 때 프롬프트 측 F1이 0.8포인트 향상되었습니다.
• CoT 할당: 전체 CoT 훈련은 추론 프리 추론 환경에서 성능을 저하시켰습니다(F1 0.828로 하락). 선택적 CoT 훈련(경계선 샘플에 집중)이 가장 좋은 결과(0.860)를 냈습니다.
• RG-PHO 단계: 난제 SFT는 +1.3 F1 이득을 제공했고, 난제 DPO는 +2.7 F1이라는 가장 큰 단일 단계 이득을 제공했습니다.

의의

본 논문은 추론 감독이 훈련 중에 효과적으로 내재화될 수 있으며, 추론 시에는 효율적인 안전 판별으로 전환될 수 있다는 가설을 DT-Guard를 통해 검증합니다. 추론 과정(감독용)과 출력 형식(구조화된 레이블)을 분리함으로써, 모델은 추론 흔적 생성에 따른 지연 시간 페널티 없이 추론 강화형 가드의 견고함을 달성합니다. 이러한 접근 방식은 4B 모델이 더 큰 8B 베이스라인을 능가할 수 있게 하여, 실제 애플리케மான 환경에서 저지연 안전 모더레이션을 위한 확장 가능한 솔루션을 제공합니다.