Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 신뢰성 (Trustworthiness) 을 확보하기 위해 기존에 사용되던 Guardian(가디언) 모델은 다음과 같은 구조적 한계를 가지고 있습니다.

• 경직된 차단 (Hard-gating) 의 부작용: 기존 가디언 모델은 위험을 감지하면 생성을 강제로 차단하거나 거부 템플릿 (Refusal Template) 을 출력하는 '하드 게이트' 방식을 사용합니다. 이는 모델의 원래 사양 (Model Spec) 과 충돌하여, 실제로는 안전하지만 유용한 요청까지 과도하게 거부 (Over-refusal) 하거나, 모델의 창의적 기능을 제한하는 문제가 발생합니다.
• 신뢰성 평가의 한계: 기존 분류 체계는 주로 '안전성 (Safety, 예: 독성, 프라이버시)'에 집중하여, **강건성 (Robustness, 노이즈에 대한 견고함)**과 **정직성 (Honesty, 모델의 한계 인식)**과 같은 신뢰성의 핵심 요소를 간과합니다.
• 유용성 저하: 안전성만 강조한 결과, 실제 배포 환경에서는 "안전하지만 쓸모없는" 시스템이 만들어지는 모순이 발생합니다.

2. 제안 방법론: Guardian-as-an-Advisor (GaaA)

이 논문은 기존 '차단' 중심의 패러다임을 '자문 (Advisor)' 중심의 '소프트 게이트 (Soft-gating)' 방식으로 전환하는 새로운 프레임워크를 제안합니다.

핵심 메커니즘

1. 자문형 구조: 가디언 모델이 입력 쿼리를 분석하여 이진 라벨 (Harmful/Harmless) 과 함께 **자연어 설명 (Explanation)**을 생성합니다.
2. 프롬프트 증강 (Prompt Augmentation): 생성된 라벨과 설명을 원본 사용자 쿼리에 **접두사 (Prepend)**로 추가하여, 배포된 LLM 이 다시 추론 (Re-inference) 하도록 합니다.
   • 수식: $\tilde{x} = [\text{Risk}=c; \text{Explanation}=e] \parallel x$
3. 모델 자율성 유지: 생성을 차단하지 않고, 모델이 자신의 사양 (Spec) 내에서 위험을 인지하고 스스로 조절하도록 유도합니다. 이를 통해 안전성을 유지하면서도 유용성을 극대화합니다.

데이터셋: GuardSet

GaaA 를 학습 및 평가하기 위해 GuardSet이라는 대규모 데이터셋을 구축했습니다.

• 규모: 208,000 개 이상의 다중 도메인 데이터 (유해 및 무해 사례 통합).
• 범위: 기존 유해 데이터 (Jailbreak, Toxicity, Privacy) 에 더해, **정직성 (Honesty)**과 **강건성 (Robustness)**을 위한 타겟팅된 무해 데이터 슬라이스를 포함합니다.
• 구성: 이진 라벨 (Harmful/Harmless) 과 미세한 추론을 담은 자연어 설명 쌍으로 구성됩니다.

모델 학습: GuardAdvisor

GuardSet 을 기반으로 GuardAdvisor 모델을 학습시켰습니다.

1. 지도 미세 조정 (SFT): 구조화된 출력 (라벨 + 설명) 을 모방하도록 학습.
2. 강화 학습 (RL, GRPO): LLM-as-a-Judge 를 통해 라벨과 설명 간의 **의미적 일관성 (Semantic Consistency)**을 보장하는 보상을 설계하여 학습합니다.
   • 주의: 단순 키워드 매칭 보상은 모델이 설명과 라벨이 모순되더라도 점수를 높이는 '보상 해킹 (Reward Hacking)'을 유발하므로, LLM 판사 기반의 엄격한 보상을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환 (GaaA): 거부 (Refusal) 중심의 하드 게이트 대신, 명시적인 위험 라벨과 자연어 가이드를 통해 모델을 유도하는 소프트 게이트 아키텍처를 제안했습니다.
2. 대규모 데이터셋 (GuardSet): 안전성뿐만 아니라 정직성과 강건성을 포괄하는 20 만 개 이상의 다중 도메인 데이터셋을 공개했습니다.
3. 성능 입증 모델 (GuardAdvisor): SFT 와 RL 을 결합하여 라벨 - 설명 일관성을 갖춘 모델을 개발했으며, 이는 기존 상용 모델 (GPT-4o 등) 과 경쟁력 있는 성능을 보이면서도 불필요한 거부를 크게 줄였습니다.

4. 실험 결과 (Results)

• 검출 정확도: GuardAdvisor 는 폐쇄형 상용 모델 (GPT-4o-mini 등) 과 유사한 수준의 검출 정확도 (평균 90.52%) 를 달성했습니다. 특히 무해 데이터에 대한 정직성/강건성 분류에서 우수한 성능을 보였습니다.
• 응답 품질 향상: GaaA 방식 (설명 추가) 을 적용했을 때, 베이스 모델의 응답 품질이 크게 개선되었습니다.
  • 강건성 (Robustness): GPT-4o-mini 대비 승률 63.11% (기존 34.29% 대비 대폭 향상).
  • 정직성 (Honesty): GPT-4o-mini 대비 승률 68.79% (기존 28.03% 대비 대폭 향상).
  • 이는 구조화된 위험 가이드가 모델의 행동을 효과적으로 조정함을 의미합니다.
• 지연 시간 (Latency) 분석:
  • GuardAdvisor 추론은 베이스 모델의 5% 미만의 연산량을 사용합니다.
  • 실제 유해 입력 비율이 낮은 환경 (대부분의 실제 시나리오) 에서 전체 시스템 지연 시간은 2~10% 이내로 증가하여 매우 경량화되었습니다.
  • 병렬 처리 전략: 가디언 분석과 베이스 모델 추론을 병렬로 수행하여, 유해 입력이 감지될 때만 재추론을 수행하는 방식으로 지연을 최소화했습니다.
• 과도한 거부 감소: 창의적인 요청이나 교육적 맥락의 민감한 질문에서 기존 하드 게이트 방식이 거부했던 경우를, GaaA 는 모델 사양에 맞춰 안전하고 유용한 답변을 생성하도록 유도했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 신뢰성 보장을 위한 새로운 방향성을 제시합니다.

• 안전성과 유용성의 균형: "안전하지만 쓸모없는" 시스템을 탈피하여, 모델의 원래 사양을 준수하면서도 안전성을 유지하는 '안전 - 유용성 트레이드오프'를 해결했습니다.
• 해석 가능성 (Interpretability): 단순한 '차단'이 아닌 '이유와 설명'을 통해 모델이 왜 위험한지, 어떻게 대응해야 하는지 학습하게 함으로써 투명성을 높였습니다.
• 실용성: 낮은 지연 시간과 기존 모델 재학습 없이 적용 가능한 아키텍처로, 실제 산업 환경에 즉시 도입 가능한 솔루션을 제공합니다.

결론적으로, Guardian-as-an-Advisor는 LLM 의 신뢰성을 높이기 위해 모델의 자율성을 존중하면서 위험을 명시적으로 전달하는 차세대 가디언 모델의 표준을 제시합니다.