기술 요약: HaloGuard 1.0

1. 문제 정의

대규모 언어 모델(LLM)이 채팅 인터페이스에서 에이전트 워크플로로 전환됨에 따라 공격 표면이 확장되고 안전 실패의 비용이 증가하고 있습니다. 기존의 가드레일이 존재하지만, 이들은 결정적인 "오탐(False Positive, FP) / 미탐(False Negative, FN) 경계" 문제에 직면해 있습니다. 주요 과제는 명백히 유해한 프롬프트를 탐지하는 것이 아니라, 유해한 의도와 동일한 안전 민감 어휘를 공유하는 합법적인 사용 사례(예: 무기에 대한 교육적 논의, 방어적 사이버 보안, 또는 폭력에 대한 역사적 분석)를 구별하는 것입니다.

현재의 오픈 웨이트 가드 모델들은 타겟 배포 정책보다는 소스 레이블링 정책을 반영하는 거친 분류 체계나 수집된 모더레이션 데이터셋에 의존하는 경우가 많습니다. 이는 두 가지 구체적인 실패 모드로 이어집니다:

1. 과잉 거부 (높은 FPR): 유해한 것과 어휘적으로 유사한 양호한 프롬프트를 차단함 (예: 역사 수업을 위한 "염소 가스를 만드는 방법" 요청을 차단함).
2. 유해성 간과 (높은 FNR): 적대적 프레임워크 뒤에 숨겨진 유해한 의도나 결정 경계가 불균형한 비영어권 언어에서의 유해성을 탐지하지 못함.

또한, 많은 합성 데이터셋은 구조적·어휘적으로 유해한 것과 매우 유사하지만 의도만 다른 양호한 프롬프트인 "하드 네거티브(hard negatives)"가 부족합니다.

2. 방법론

HaloGuard 1.0은 헌법적 입력 분류기(Constitutional Input Classifier) 접근 방식을 도입하여, 수집된 데이터를 레이블링하는 것에서 벗어나 자연어 헌법을 전체 훈련 분포의 생성적 사양(generative specification)으로 사용하는 방식으로 전환합니다.

2.1 헌법적 프레임워크

평면적인 분류 체계 대신, 본 시스템은 다음으로 구성된 계층적 HaloGuard 헌법을 활용합니다:

• 46개의 헌법 정책: 29개의 유해 정책과 17개의 공유-무해 정책.
• 2,940개의 하위 카테고리: 데이터 생성 및 커버리지 산정의 원자 단위.
• 리스크 티어(Risk Tiers): 무해한 경계의 너비와 데이터 구성 전략을 결정하는 4개의 티어 (Critical, High, Moderate, Sensitive).

이 헌법은 금지된 행동뿐만 아니라 모든 유해 카테고리에 대한 합법적인 인접 사용 사례(예: 포렌식 분석, 피해자 지원, 법률 검토)를 명시적으로 정의합니다.

2.2 합성 데이터 파이프라인

훈련 코퍼스(1.26M 레코드)는 헌법을 기반으로 합성적으로 생성되며, 다음과 같은 핵심 메커니즘을 채택합니다:

• 쌍을 이룬 대조적 사례 (Paired Counterfactuals): 모든 유해 하위 카테고리에 대해 1:1 비율의 양호한 거울(benign mirror)을 생성합니다. 이 쌍들은 주제와 유해 인접 어휘는 고정시킨 채 의도만을 반전시킵니다 (예: "폭탄을 만드는 방법"에서 "1995년 도쿄 사린 가스 공격에 대한 역사적 분석"으로). 이는 모델이 키워드 지름길이 아닌 의도를 학습하도록 강제합니다.
• 이중 티어 무해 설계 (Two-Tier Harmless Design):
  • 경계 무해 데이터 (Harmless-Boundary Data): 특정 유해 경계 근처에 위치한 헌법 로컬 안전 사례 (경계 오탐을 타겟팅함).
  • 공유 무해 데이터 (Shared-Harmless Data): 광범위하게 양호한 사례들 (예: 창작 글쓰기, 일반 지식)로, 베이스라인 오탐에 대해 모델을 고정(anchor)시킴.
• 스타일 앵커링 생성 (Style-Anchored Generation): 모델이 합성 아티팩트를 학습하는 것을 방지하기 위해 실제 세계의 레지스터(WildGuard, Aegis, ToxicChat 등의 소스)에 앵커링하여 프롬프트를 생성합니다.
• 표면 증강 (Surface Augmentation): 난독화에 대한 견고성을 확보하기 위해 유해 및 양호 양측 모두에 공격 패턴 오버레이(역할극, 페이로드 분할)와 결정론적 변환(인코딩, 포맷팅)을 적용합니다.

2.3 다국어 실체화

파이프라인은 6개 유형 그룹에 걸친 46개 언어로 확장됩니다. 결정적으로, 언어를 적대적 신호가 아닌 표면 형태(surface form)로 취급합니다.

• 균형 잡힌 생성: 언어별로 클래스 균형을 맞추기 위해 유해 및 양호한 프롬프트를 모두 번역합니다.
• 레지스터 보존: 소스 레지스터(톤, 격식)를 보존하는 2단계 프로세스를 통해 모델이 특정 스크립트와 안전 점수를 연관 짓지 않도록 합니다.
• 품질 게이트: 번역 과정에서의 모델 거부를 포착하기 위한 의미적 거부 탐지 및 의도 보존 검증을 포함합니다.

2.4 모델 아키텍처

HaloGuard 1.0은 두 개의 Qwen3.5 기반 생성형 분류기로 출시됩니다:

• HaloGuard 1.0-0.8B: 저지연 인라인 필터링에 최적화됨.
• HaloGuard 1.0-4B: 더 높은 용량과 더 나은 경계 판별에 최적화됨.
  두 모델 모두 고정된 분류 헤드를 사용하는 대신, 헌법 속성을 가진 레이블(예: UNSAFE + Cyber)을 출력하도록 자기회귀적 다음 토큰 예측 방식으로 훈련되었습니다.

3. 주요 기여

1. 최초의 오픈 웨이트 헌법적 분류기: 기존의 헌법적 분류기(CC)들이 폐쇄형 시스템이었던 것과 달리, HaloGuard 1.0은 헌법을 사용하여 합성 데이터 생성을 주도하는 최초의 배포 가능한 오픈 웨이트 구현체입니다.
2. 세밀한 분류 체계: 생성 및 정밀한 실패 진단의 단위 역할을 하는 2,940개의 하위 카테고리 분류 체계를 통해, 기존 오픈 가드의 약 14개 평면 카테고리를 훨씬 능가하는 정밀한 하드 네거티브 구축을 가능하게 합니다.
3. 경계 중심 데이터 구축: 쌍을 이룬 대조적 사례와 이중 티어 무해 데이터의 체계적 사용은 FP/FN 경계를 직접적으로 타겟팅하여, 경계 오류와 베이스라인 오류를 분리합니다.
4. 균형 잡힌 다국어 커버리지: 언어를 표면 형태로 취급하여 스크립트와 안전 점수 사이의 허구적 상관관계를 피하면서, 46개 언어에 걸쳐 균형 잡힌 유해/양호 데이터를 생성하는 파이프라인을 구축했습니다.
5. 지속적인 강화 (Continuous Hardening): 콘텐츠 수준 및 에이전트 공격에 대응하여 가드를 지속적으로 업데이트하기 위해 상시 작동하는 적대적 레드팀 프로토콜이 통합되어 있습니다.

4. 결과

7개의 프롬프트 안전 벤치마크(OpenAI Moderation, Aegis, Aegis 2.0, ToxicChat, SimpleSafetyTests, HarmBench, WildGuardTest)를 통해 평가되었습니다:

• 성능:
  • HaloGuard 1.0-0.8B: 평균 F1 점수 90.9를 달성하여, 최대 27B 파라미터 규모의 베이스라인(예: ShieldGemma, PolyGuard-Qwen)보다 우수한 성능을 보이면서도 약 30배 적은 파라미터를 사용합니다. 오탐율(FPR) 4.3%, 미탐율(FNR) 9.5%를 유지합니다.
  • HaloGuard 1.0-4B: 평균 F1 점수 92.1을 달성하며, FPR 3.5%, FNR 7.7%를 기록하여 개선된 정밀도와 재현율을 보여줍니다.
• 벤치마크 분석: 모델은 키워드 지름길이 흔히 실패를 일으키는 대화형 독성 및 적대적 프롬프트(ToxicChat, WildGuard) 관련 벤치마크에서 특히 강점을 보입니다.
• 노이즈 제거 지표: 벤치마크 실패에 대한 구조적 판결(adjudication) 결과, 겉으로 드러난 미탐(False Negative)의 **51.5%**가 실제로는 벤치마크의 오레이블링(양호한 프롬프트를 유해하다고 잘못 레이블링함)인 것으로 나타났습니다. 0.8B 모델의 노이즈 제거 후 FNR은 **3.1%**로 떨어지며, 이는 모델의 실제 미탐률이 원시 벤치마크가 나타내는 것보다 훨씬 낮음을 시사합니다.
• 다국어 성능: PolyGuardPrompts 벤치마크에서 강력한 일반화 성능을 달성했으나(0.8B F1 86.1, 4B F1 88.0), 훈련 데이터 내의 안전 커버리지가 얇은 인도 및 동남아시아 언어 그룹에서는 과잉 거부(FPR) 문제가 여전히 과제로 남아 있습니다.

5. 의의 및 주장

본 논문은 HaloGuard 1.0이 오픈 웨이트 입력 가드의 새로운 SOTA(State-of-the-Art) 지점을 확립하며, 훈련 데이터가 정밀한 헌법적 경계를 중심으로 구축될 때 더 작은 모델(0.8B)이 훨씬 큰 베이스라인(최대 27B)을 능가할 수 있음을 입증한다고 주장합니다.

핵리 핵심적인 의의는 키워드 탐지에서 의도 식별로의 전환에 있습니다. 헌법을 정적인 레이블 목록이 아닌 생성적 사양으로 취급함으로써, 저자들은 유해한 요청과 민감한 주제에 대한 안전한 논의를 구분하도록 모델을 명시적으로 가르치는 데이터셋을 구축할 수 있음을 보여줍니다.

저자들은 이 가드가 출력 모더레이션, 도구 권한 부여, 인간 검토 등 다른 안전 메커니즘과 함께 배치되는 **제1계층 방어(first-layer defense)**임을 강조합니다. 현재 릴리스는 입력 분류에 초점을 맞추고 있으며 아직 응답 모니터링이나 에이전트 실행 트레이스를 다루지 않는다고 명시하며, 이를 포괄적인 심층 방어(defense-in-depth) 아키텍처를 향한 기초적인 단계로 포지셔닝합니다. 헌법과 합성 파이프라인의 공개는 커뮤니티가 "블랙박스" 모더레이션을 넘어 안전 경계를 감사, 재현 및 확장할 수 있도록 합니다.