기술 요약: Opir – 효율적인 다중 작업 안전 분류

문제 제기

챗, 에이전트, 미들웨어 환경에서 대규모 언어 모델 (LLM) 을 배포할 때, 안전하지 않은 프롬프트, 유해한 언어, 탈옥 시도, 유해한 응답을 탐지하기 위한 실시간 안전 필터링이 필수적입니다. 현재 최첨단 가드레일 시스템 (예: Llama Guard, WildGuard, ShieldGemma, PolyGuard) 은 주로 대규모 자기회귀 디코더 모델 (7B~22B 파라미터) 에 의존합니다. 이러한 모델은 효과적이지만, 모든 보호된 상호작용에 하나 이상의 추가 LLM 순전파가 필요하므로 상당한 계산 비용과 지연 시간을 초래합니다. 또한, 많은 기존 시스템은 이진 안전/불안전 결정을 우선시하여 실제 세계의 유해성, 탈옥, 특정 유해 콘텐츠 도메인 전반에 걸친 세분화된 분류에 필요한 정밀도가 부족합니다. 따라서 배포 시 footprint 가 현저히 작고 지연 시간이 낮은 상태에서 은밀한 유해 콘텐츠와 benign 민감 텍스트를 구별할 수 있는 분류기가 절실히 필요합니다.

방법론

Opir 는 GLiClass 아키텍처를 기반으로 한 인코더 기반 가드레일 모델 계열을 도입함으로써 이러한 과제를 해결합니다. 구조화된 판정을 자기회귀적으로 생성하는 디코더 기반 접근법과 달리, Opir 는 양방향 인코더를 사용하여 입력 텍스트와 후보 레이블을 공동으로 인코딩합니다. 이를 통해 생성 모델의 비용의 일부만으로 제로샷 다중 레이블 분류가 가능해집니다.

핵심 구성 요소

1. 아키텍처: Opir 는 시퀀스 분류를 위해 GLiNER 아키텍처를 확장한 GLiClass 를 활용합니다. 이는 평균, 첫 번째 토큰 등 구성 가능한 풀링과 도트곱, 이선형, 또는 학습된 헤드와 같은 스코어링 메커니즘을 갖춘 유니-인코더를 사용합니다.

   • 다중 작업 변형: 포괄적인 안전, 유해성, 탈옥 및 제로샷 분류를 위해 DeBERTaV3-large 및 mDeBERTaV3-base 를 기반으로 구축되었습니다.
   • 에지 변형: 1 억 개 미만의 파라미터를 가진 소형 인코더 (Ettin-encoder-32m 및 mmBERT-small) 를 기반으로 구축되어 에지 장치에서 이진 안전/불안전 분류에 최적화되었습니다.

2. 안전 분류 체계: 모델은 996 개 레이블로 구성된 3 단계 분류 체계로 훈련됩니다.

   • 1 단계: 16 개의 최상위 카테고리 (예: 유해성, 폭력, 자해, AI 시스템 보안).
   • 2 단계: 126 개의 중간 수준 카테고리.
   • 3 단계: 854 개의 리프 레이블.
   • 특히, 이 분류 체계는 엄격한 정책 기반 가드레일에서 흔히 발생하는 "과도한 거부 (over-refusal)" 실패 모드를 완화하기 위해 반유익하고 안전을 유지하는 카테고리(예: 반박, 방어적 사이버 보안, 적절한 거절) 를 포함합니다.

3. 데이터 구축: 훈련 데이터셋은 다음과 같은 요소들의 합성으로 구성됩니다.

   • 분류 체계 기반 생성: LLM-as-author 파이프라인을 통해 각 분류 체계 노드당 30 개의 안전하지 않은 프롬프트를 생성.
   • 적대적 마이닝: 기존 안전 모델을 우회하도록 진화시킨 하드 네거티브 (레드팀링 파이프라인에서 영감).
   • 반유익 대비 예시: 민감한 컨텍스트에서의 오탐지를 줄이기 위한 안전 관련이지만 안전한 텍스트.
   • 응답 생성: 파인튜닝된 Qwen3-4B 모델이 생성한 응답을 LLM-as-a-judge 패널이 검증.
   • 다국어 번역: DeepSeek-V3.1 을 사용하여 23 개 언어로 번역된 데이터.
   • 오픈 하위 집합: Aegis2 및 WildGuardMix 훈련 데이터의 일부.

4. 훈련 전략: 훈련은 주 데이터셋에 대한 초기 훈련을 followed by 증강 데이터 (10% 샘플) 에 대한 후속 훈련으로 이루어지는 2 단계 프로세스를 포함합니다. 증강 기법에는 라벨 드롭아웃, 프롬프트 교란, 프롬프트 주입 및 지시 계층 위반에 대한 견고성을 향상시키기 위해 안전해 보이는 방해 지시문 삽입이 포함됩니다. 시스템은 지속적 학습을 위한 탄성 가중치 통합 (EWC) 을 지원합니다.

주요 기여

1. 포괄적인 안전 분류 체계: 일반 유해성, LLM 특화 공격 (간접 프롬프트 주입 및 지시 계층 위반 포함), 그리고 반유익한 민감 컨텍스트를 아우르는 3 단계, 996 개 레이블 분류 체계.
2. GLiClass 기반 모델 계열: 23 개 언어에 걸쳐 이진 분류, 다중 레이블 유해성/탈옥 탐지, 제로샷 분류를 지원하는 Opir 변형 (다중 작업 및 에지 지향) 개발.
3. 합성 및 오픈 데이터 레시피: 분류 체계 기반 생성, 적대적 하드 네거티브 마이닝, 다국어 번역을 결합한 재현 가능한 파이프라인.
4. 멀티뷰 평가 하네스: 12 개 안전 데이터셋과 17 개 분류 분할에 걸쳐 이진 안전, 유해성, 탈옥, 하위 카테고리 뷰를 포괄하는 GLiClass, GLiNER2, 디코더 기반 백엔드 (vLLM) 를 지원하는 오픈소스 평가 스위트.
5. 광범위한 벤치마킹: 8 개의 현대적 가드레일 시스템 (GLiNER2 기반 및 생성 모델 포함) 에 대한 비교 분석으로, 현저히 감소된 지연 시간과 경쟁력 있는 정확도를 입증.

결과

본 논문은 12 개 이진 안전 데이터셋과 17 개 분류 작업에 걸쳐 8 개의 현대적 가드레일 시스템 (GLiGuard, Gliner-Guard-Omni, WildGuard, Nemotron Safety Guard, PolyGuard, Qwen3Guard 포함) 과 Opir 를 비교 평가합니다.

• 정확도:

  • 이진 안전: Opir-multitask-large 는 11 개 시스템 중 2 번째로 높은 행 평균 매크로 F1 점수 (0.8045) 를 기록했으며, 8B 파라미터 Nemotron Safety Guard v3(0.8061) 에 이어 2 위를 차지했고 평균적으로 다른 디코더 기반 모델보다 우수한 성능을 보였습니다. WildGuard 프롬프트 안전 및 JBB-Behaviors 안전 등 2 개 개별 데이터셋에서 1 위를 차지했습니다.
  • 에지 성능: Opir-edge-multilang(1 억 개 미만의 파라미터) 은 Aegis 프롬프트 안전 (0.9321) 과 WildGuard 응답 안전 (0.9321) 에서 1 위를 차지했습니다.
  • 분류: Opir-multitask-large 는 17 개 분류 데이터셋에서 평균 정확도 (0.5432) 가 가장 높았으며, 17 개 행 중 11 개에서 1 위를 차지했습니다. Aegis 카테고리, HarmBench 프롬프트, WildGuard 하위 카테고리에서 베이스라인 대비 상당한 마진을 보였습니다.
  • 한계: 모델은 과도한 거부 탐지 (over-refusal probes) 인 OR-Bench 계열에서 어려움을 겪었으며, 이 경우 GLiGuard-300M 이 Opir 보다 우수한 성능을 보였습니다. 저자들은 이를 Opir 의 분류 체계가 이러한 프롬프트를 더 넓은 반유익 카테고리로 매핑하여 거절률이 높아지는 보정 문제 때문이라고 분석했습니다.

• 지연 시간 및 처리량:

  • 1024 토큰 기준 Opir-multitask-large 는 p50 지연 시간 25.65ms 로 초당 50.51 샘플을 처리했습니다.
  • 에지 변형은 뛰어난 효율성을 입증했습니다: Opir-edge 는 p50 지연 시간 9.25ms로 초당 499.49 샘플을 처리했습니다.
  • 가장 강력한 디코더 기반 베이스라인 (Nemotron Safety Guard v3, p50 97.63ms) 과 비교할 때, Opir 변형은 10~33 배 더 빠르며, 추론 비용의 일부로 동등한 안전 정확도를 제공합니다.

중요성 및 주장

본 논문은 Opir 를 현재 LLM 가드레일의 지연 시간 및 비용 병목 현상에 대한 해결책으로 제시합니다. 인코더 기반 아키텍처를 활용함으로써 Opir 는 7B~22B 디코더 모델에 비해 수십 배의 지연 시간 감소를 달성하면서도 경쟁력 있는 정확도를 유지합니다. 저자들은 Opir 변형이 "대부분의 벤치마크 데이터셋에서 가장 강력한 오픈 가중치 베이스라인과 경쟁하거나 앞서며, 훨씬 작은 배포 footprint 로 작동한다"고 주장합니다.

반유익한 민감 카테고리를 포함시킨 것은 엄격한 안전 필터에서 알려진 실패 모드인 과도한 거부에 대한 구체적인 완화 조치로 강조됩니다. 저자들은 Opir 가 실시간 모더레이션, 안전 라우팅, 오프라인 분석을 위해 설계되었지만, 고영향 결정 (법적, 고용 등) 의 유일한 근거나 인간 검토 및 정책 설계의 대체물로 사용되어서는 안 된다고 명시합니다. 이 연구는 생성형 가드레일의 계산 오버헤드 없이 효율적인 인코더 기반 모델이 복잡한 다중 작업 안전 분류를 효과적으로 처리할 수 있음을 입증합니다.