기술 요약: 인코더만으로 충분한가? LLM 적대적 평가를 위한 인코더 및 디코더 안전 판별기의 체계적 비교

문제 정의

대규모 언어 모델(LLM)이 금융, 항공 서비스와 같은 중요한 고객 접점 애플리케이션에 점점 더 많이 배치됨에 따라, 효과적이고 저지연이며 비용 효율적인 안전 가드레일의 필요성이 매우 중요해졌습니다. 현재의 안전 평가 패러다임은 "LLM-as-a-judge" 프롬프트로 사용되는 대규모 자기회귀 모델이나 LlamaGuard와 같이 미세 조정된 디코더 분류기에 크게 의존합니다. 이러한 방식은 효과적이기는 하지만, 높은 추론 비용, 상당한 지연 시간, 그리고 분포 변화(distribution shifts)나 새로운 공격 패턴 하에서의 잠재적인 성능 저하 문제를 안고 있습니다. 또한, 디코더는 입력을 순차적으로(좌-우 방향) 처리하므로, 양방향 아키텍처와 비교했을 때 전체 문맥에 걸친 유해한 의도를 포착하는 능력이 제한될 수 있습니다.

본 논문은 현대적인 인코더 분류기(특히 Ettin과 같은 ModernBERT 계열)가 적대적 시나리오에서 유해한 LLM 출력을 식별하기 위한 신뢰할 수 있고 비용 효율적인 대안이 될 수 있는지 조사합니다.

방법론

데이터셋 구축 및 분할

본 연구는 9,968개의 소스 프롬프트와 563,216개의 (프롬프트, 응답) 쌍을 포함하는 14개의 소스 데이터셋을 집계한 학습 코퍼스를 활용했습니다. 소스에는 표준 벤치마크(HarmBench, SafetyBench), 실제 상호작용(ToxicChat, WildJailbreak), 그리고 합성된 도메인 특화 데이터(의료, 금융)가 포함되었습니다.

• 데이터 누수 방지: 특정 질문에 대한 모델의 응답이 테스트 시 동일한 질문에 영향을 미치는 데이터 누수를 방지하기 위해, 저자들은 **질문 그룹 분할 전략(question-group partitioning strategy)**을 채택했습니다. 동일한 질문 텍스트를 공유하는 모든 행은 대상 모델이나 공격 기법에 관계없이 동일한 파티션(학습 또는 테스트)에 할당되었습니다.
• 홀드아웃 세트: JailbreakBench와 AILuminate로부터 추출된 42,899개의 사례로 구성된 엄격한 분포 외(OOD) 홀드아웃 세트를 구축하였으며, 이를 네 가지 프런티어 모델(Claude Sonnet 4.5, Gemini 3.1 Pro, GPT-5.4, GPT-OSS 120B)과 네 가지 공격 기법에 대해 평가했습니다.

안전 판별 패널 및 라벨 집계

학습 라벨을 생성하기 위해 저자들은 세 가지 카테고리에 걸친 7개의 안전 판별기 패널을 구성했습니다:

1. 오픈 웨이트 분류기: LlamaGuard 3 및 4.
2. 독점 LLM: Claude Judge, SorryBench, JailbreakBench Judge, AILuminate Judge.
3. 루브릭 기반 스코어러: StrongReject.

이진 라벨(유해함 vs 안전함)을 집계하기 위해 다수결 투표 전략이 사용되었습니다. 낮은 판별기 간 일치도(전체 데이터셋에서 Fleiss' $\kappa \approx 0.23$)를 해결하기 위해, 만장일치로 안전한 행과 강력한 다수결로 유해한 행($\ge$ 7표 중 5표 이상)만을 유지하는 고신뢰 필터링(High-Confidence Filtering) 전략을 적용했습니다. 이를 통해 데이터셋은 307K 행으로 줄어들었으나 일치도는 $\kappa \approx 0.805$로 증가했습니다.

공격 기법

평가는 네 가지 적대적 프롬프팅 기법을 다룹ers:

1. 단일 턴(Single-turn): 직접적인 적대적 프롬프트.
2. 분해(Decomposition): 유해한 요청을 무해한 하위 쿼리로 파편화함.
3. 에스컬레이션(Escalation): 대화 과정에서 요청의 민감도를 점진적으로 높임.
4. 문맥 조작(Context Manipulation): 유해한 요청을 무해한 프레이밍(예: 학술적 또는 허구적 서사) 내에 삽입함.

평가 대상 모델

• 인코더 분류기: Ettin-150M 및 Ettin-400M과 같이 집계된 판별기 라벨로 미세 조정된 ModernBERT 계열 모델.
• 베이스라인: LlamaGuard 3/4, Claude-as-a-judge, StrongReject, SorryBench, JailbreakBench, AILuminate.
• 대상 모델: 레거시 및 현대적 코호트를 아우르는 6개 제공업체(OpenAI, Anthropic, Meta, Mistral, Google, Amazon)의 16개 LLM.

주요 기여

1. 체계적 비교: 실제 ground-truth 홀드아웃 라벨을 사용하여 현대적인 인코더 분류기를 LLM-as-a-judge 시스템 및 미세 조정된 디코더 기반 안전 모델과 비교한 첫 번째 대규모 벤치마크입니다.
2. 비용-지연시간-성능 분석: 인코더가 디코더 기반 대안보다 상당한 효율성 이점을 제공함을 입증함으로써 생산 수준의 트레이드오프를 정량화했습니다.
3. 세밀한 공격 분석: 특정 공격 기법(단일 턴, 분해, 에스컬레이션, 문맥 조작)에 따른 분류기 성능을 분석하여 인코더와 디코더 판별기 간의 정렬 및 괴리 지점을 식별했습니다.

결과

OOD 홀드아웃 성능

• 인코더의 장점: 인코더 분류기는 디코더 판별기보다 더 안정적인 캘리브레이션(calibration)을 보여주었습니다. LlamaGuard-4는 유해성을 과소 예측(FNR = 0.658)한 반면, Claude 및 StrongReject와 같은 판별기들은 과잉 예측(유해율 > 25%)했습니다.
• Ettin 모델:
  • Ettin-150M: 균형 잡힌 프로필(F1 = 0.547, FNR = 0.422)을 달성했습니다.
  • Ettin-400M: 높은 재현율 탐지기(Recall = 0.854, FNR = 0.146)로 작동했으나, 더 높은 위양성률(false positive rate)을 보였습니다.
• 라벨 노이즈의 영향: 홀드아웃의 고신뢰도 서브셋(판별기들이 강력하게 일치한 부분)에서 Ettin-400M은 F1 점수 0.894를 달성했습니다. 이는 주석 노이즈가 모델 아키텍처보다 인코더 성능을 제한하는 주요 요인임을 시사합니다.

실패 모드

• 멀티 턴 공격: 인코더는 유해한 의도가 중간 단계들에 분산되어 있는 **분해 공격(decomposition attacks)**에서 가장 어려움을 겪었습니다. 인코더는 일반적으로 중간 턴의 추론 경로에 대한 명시적 접근 없이 최종 (질문, 응답) 쌍만을 평가하기 때문에, 분산된 유해 패턴을 놓쳤습니다.
• 모델 스케일링: 모델 크기를 150M에서 400M으로 늘림으로써 이 문제를 유의미하게 완화하여, 분해 공격에 대한 미검출률(FNR)을 50.6%에서 11.6%로 낮추었습니다.

비용 및 지연 시간

• 처리량(Throughput): Azure ML 인스턴스(8x V100 GPU)에서 Ettin-150은 배치 크기 8일 때 **244.8 CPS(초당 완료 횟수)**를 기록하여, LlamaGuard-4-12B(1.31 CPS) 대비 187배 향상된 성능을 보였습니다.
• 지연 시간: 중앙값 지연 시간이 약 718ms(LlamaGuard)에서 3.6ms(Ettin-150)로 감소했습니다.
• 비용 효율성: Ettin-150은 시간당 달러당 11.1 CPS를 달성하여, 0.06을 기록한 LlamaGuard-4-12B와 비교해 압도적인 효율을 보였습니다. 인코더는 저비용 CPU 인스턴스에서도 실행 가능하므로 배포 비용을 더욱 절감할 수 있습니다.

의의 및 주장

본 논문은 미세 조정된 인코더 분류기가 LLM 기반 평가의 비용 및 지연 시간 효율적인 대안이 될 수 있음을 결론짓습니다. 특히 1차 필터로서 유용합니다. 비록 심층적인 대화 이력에 대한 깊은 추론이 필요한 복잡한 멀티 턴 탈옥(jailbreak)에 대해서는 디코더 기반 판별기를 완전히 대체하지 못할 수도 있지만, 고용량 실시간 안전 필터링을 위한 실용적인 솔루션을 제공합니다.

저자들은 인코더의 진정한 성능 상한선을 제한했을 가능성이 높은 훈련 데이터의 낮은 판별기 간 일치도($\kappa \approx 0.23$)를 언급하며, 인코더가 언제 충분히 기능하는지에 대한 가이드를 제공한다는 점에서 신중한 주장을 펼칩니다. 성능을 추가로 검증하기 위해 인간이 큐레이션한 데이터셋에서 테스트하는 후속 연구를 제안합니다. 본 연구는 인코더가 보편적으로 우월하다고 주장하는 것이 아니라, 지연 시간과 비용이 임계적인 특정 생산 환경에서의 생존 가능성을 강조합니다.