A Lightweight Explainable Guardrail for Prompt Safety

본 논문은 다중 태스크 학습, 편향 완화 합성 데이터, 그리고 새로운 불확실성 가중 손실 함수를 활용하여 훨씬 더 작은 모델 크기로 최첨단 프롬프트 안전 분류 및 설명 성능을 달성하는 경량 설명 가능한 가드레일인 LEG를 소개합니다.

핵심

상상해 보세요. 매우 강력하고 창의적인 로봇 비서 (대규모 언어 모델, 또는 LLM) 가 있어 이야기를 쓰고, 수학 문제를 풀고, 당신과 대화할 수 있다고요. 하지만 어떤 강력한 도구든 그렇듯, 폭탄 제조법이나 혐오 확산 방법처럼 위험한 내용을 말하도록 속일 수도 있습니다.

이를 막기 위해 보통 로봇 앞에 '경비원'을 배치합니다. 누군가 나쁜 질문을 하면, 로봇이 듣기도 전에 경비원이 이를 막아섭니다.

현재의 경비원들이 가진 문제는 다음과 같습니다:

1. 너무 무겁고 느립니다: 모든 질문을 확인하는 데 오랜 시간이 걸리는 거대하고 느리게 움직이는 전차와 같습니다.
2. 침묵합니다: "아니오"라고 말하지만, 왜 거절했는지 설명하지는 못합니다. 어떤 규칙을 위반했는지 알려주지 않고 퇴장시키는 바운서와 같습니다.

이 논문은 LEG(Lightweight Explainable Guardrail, 경량 설명 가능 안전장치) 라는 새로운 유형의 경비원을 소개합니다. LEG 는 주머니에 들어갈 만큼 작지만, 문제를 파악하고 정확히 무엇이 잘못되었는지 설명할 만큼 똑똑한 예리한 눈과 빠른 사고력을 가진 보안 분석가로 생각하세요.

다음은 LEG 가 작동하는 방식을 간단한 부분으로 나누어 설명한 것입니다:

1. 2 인 1 역할 탐정 (다중 작업 학습)

대부분의 경비원은 한 가지 일만 합니다: 질문이 '안전'한지 '위험'한지 결정하는 것. LEG 는 동시에 두 가지 일을 합니다:

• 일 A: 질문이 안전한지 결정합니다.
• 일 B: 질문을 위험하게 만든 특정 단어를 가리킵니다.

비유: 선생님이 학생의 에세이를 채점한다고 상상해 보세요.

• 일반적인 경비원은 종이에 큰 빨간색 'F'만 찍습니다.
• LEG 는 빨간색 'F'를 찍을 뿐만 아니라 규칙을 위반한 특정 문장을 하이라이트하며, "이 세 단어를 사용했기 때문에 불합격입니다"라고 말합니다.

2. '악마의 변호인' 훈련 (합성 데이터)

LEG 에게 나쁜 단어를 식별하는 법을 가르치기 위해 연구자들은 많은 예시가 필요했습니다. 하지만 인간들은 바쁘고, 기존 데이터에는 LEG 를 가르치는 데 필요한 '하이라이트된 단어'가 없었습니다.

그래서 그들은 다른 AI 를 이용해 훈련 데이터를 생성하는 교묘한 수법을 사용했습니다. 그들은 훈련용 AI 에 대해 '악마의 변호인' 게임을 펼쳤습니다:

• AI 에게 물었습니다: "이 질문이 안전한 이유는 무엇입니까?" (실제로는 안전하지 않더라도).
• 그다음 물었습니다: "이 질문이 위험한 이유는 무엇입니까?"
• 수법: AI 가 자신의 편향에 혼란을 느껴 (질문이 안전한 이유를 물었기 때문에 질문이 안전하다고 생각함) 답변을 내놓으면, 연구자들은 그 답변을 폐기했습니다. 편향에 맞서 올바르게 논증한 답변만 유지했습니다.
• 결과: LEG 는 고품질의 '편향 반전' 예시들을 통해 학습하여, 단어 자체뿐만 아니라 단어의 맥락을 보도록 훈련되었습니다.

3. '집중' 메커니즘 (손실 함수)

LEG 가 학습할 때, 때로는 까다로운 예시들에 혼란을 겪기도 합니다. 연구자들은 LEG 에게 특별한 '집중' 도구를 제공했습니다.

• 비유: LEG 가 시험을 준비한다고 상상해 보세요. 쉬운 문제를 맞히면 다시 공부할 필요가 없습니다. 하지만 어려운 문제를 틀리면, LEG 는 그 특정 문제를 더 열심히 공부하도록 '부드러운 자극'을 받습니다.
• 이를 통해 LEG 는 쉬운 문제에 시간을 낭비하기보다 어렵고 혼란스러운 사례에 에너지를 집중하게 됩니다.

4. 왜 LEG 가 게임 체인저인가

이 논문은 LEG 가 기존 최고의 경비원들을 세 가지 주요 측면에서 능가한다고 주장합니다:

• 빠르고 가볍습니다: 다른 경비원들이 거대한 트럭처럼 많은 컴퓨터 메모리와 시간을 차지하는 반면, LEG 는 스쿠터와 같습니다. LEG 는 매우 작습니다 (일부 버전은 경쟁 제품보다 75 배 더 작음) 하지만 속도는 동일하거나 더 빠릅니다.
• 정직합니다 (Faithful): LEG 는 자신의 결정을 내리는 데 사용한 특정 단어를 하이라이트하므로, 단순히 추측하는 것이 아님을 알 수 있습니다. 연구자들은 LEG 가 하이라이트한 단어를 '무음 처리'하여 이를 테스트했습니다. 그랬을 때 LEG 는 혼란을 겪고 올바른 결정을 내리지 못했습니다. 이는 LEG 가 실제로 올바른 단서를 보고 있음을 증명합니다.
• 새로운 상황에서도 똑똑합니다: LEG 는 본 적 없는 질문들 (Out-of-Domain) 로 테스트되었습니다. 질문이 완전히 새로워도 LEG 는 거대하고 느린 경비원들만큼이나, 혹은 그보다 더 잘 수행했습니다.

요약

이 논문은 AI 를 위한 새롭고 작고 빠른 경비원인 LEG를 제시합니다. 현재는 느리고 침묵하는 경비원들과 달리, LEG 는 빠르게 반응하며 질문을 위험하게 만드는 단어를 정확히 가리킬 수 있습니다. LEG 는 다른 AI 들과 '악마의 변호인' 게임을 통해 자체 훈련 매뉴얼을 만들어 이 기술을 습득했으며, 거대한 컴퓨터 없이도 까다로운 상황을 처리할 수 있음을 입증했습니다.

기술 요약

이 Islam 과 Surdeanu 의 논문 "A Lightweight Explainable Guardrail for Prompt Safety"(LEG) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 의 배포는 유해하거나 불법적, 부적절한 콘텐츠 생성을 방지하기 위한 강력한 안전 메커니즘을 요구합니다. 기존 안전 솔루션은 세 가지 치명적인 한계에 직면해 있습니다:

• 설명 가능성 부족: 대부분의 안전 모델 (예: Llama Guard, ShieldGemma) 은 "블랙박스"처럼 작동하여, 해석 가능한 이유를 제시하거나 구체적인 문제 단어를 강조하지 않은 채 프롬프트를 안전하지 않다고 플래그합니다. 이는 투명성과 감사를 저해합니다.
• 높은 계산 오버헤드: 최첨단 가드레일은 종종 7B~8B 파라미터와 같은 대규모 LLM 에 의존하여 높은 추론 지연 시간과 메모리 사용량을 초래하며, 이는 실시간 애플리케이션에 적합하지 않습니다.
• 경직성: 정렬 기반 방법 (RLHF, DPO) 은 새로운 안전 문제를 해결하기 위해 기본 LLM 을 재학습해야 하므로 비용이 많이 들고 유연성이 떨어집니다.

저자들은 프롬프트 안전성을 분류하고 동시에 충실한 단어 수준의 설명을 제공하는 모듈식 저지연 솔루션인 LEG(Lightweight Explainable Guardrail) 를 제안합니다.

2. 방법론

LEG 는 프롬프트 분류와 설명 생성을 공동으로 최적화하도록 설계된 다중 작업 학습 (MTL) 아키텍처를 사용합니다.

A. 아키텍처

• 공유 인코더: 경량 Transformer 인코더 (DeBERTa-v3 기반) 가 백본으로 사용됩니다.
• 이중 헤드:
  1. 프롬프트 분류기: 전체 프롬프트에 대해 이진 레이블 (안전/불안전) 을 예측하는 선형 헤드.
  2. 설명 분류기: 입력의 각 단어에 이진 레이블 (안전/불안전) 을 할당하여 의사결정을 주도하는 특정 용어를 식별하는 토큰 수준의 선형 헤드.
• 효율성: 기존 가드레일 (종종 1B 파라미터 이상) 에 비해 모델 크기가 훨씬 작습니다 (22M~304M 파라미터).

B. 합성 데이터 생성 (데이터 부족 해결)

기존 데이터셋에는 단어 수준의 설명 레이블이 부족하므로, 저자들은 확인 편향 (confirmation bias) 을 완화하면서 LLM(GPT-4o-mini) 을 사용하여 합성 설명 데이터를 생성하는 새로운 전략을 도입합니다:

1. 적대적 쿼리: 주어진 프롬프트에 대해 LLM 에 상반된 가정으로 두 번 쿼리합니다:
   • 쿼리 1: "이 프롬프트가 안전한 이유는 무엇입니까? 단어를 나열하세요."
   • 쿼리 2: "이 프롬프트가 불안전한 이유는 무엇입니까? 단어를 나열하세요."
2. 일관성 확인: 시스템이 한 쿼리에서는 실제 레이블과 올바르게 정렬되고 다른 쿼리에서는 반대 가정을 반박하는지 확인합니다.
3. 레이블 추출: LLM 의 추론이 두 쿼리 모두에서 실제 레이블과 일관성이 있다면, 식별된 단어들의 교집합을 합성 레이블로 사용합니다. LLM 이 확인 편향에 굴복하는 경우 (예: 불안전한 프롬프트를 안전하다고 정당화하는 경우), 해당 인스턴스에 대한 단어 레이블은 생성되지 않습니다.

C. 공동 학습 및 손실 함수

모델은 강한 감독과 약한 감독을 결합한 새로운 공동 손실 함수 (Joint Loss Function) 를 사용하여 학습됩니다:
$$L = \frac{1}{2\sigma_1^2} L_{pc} + \frac{1}{2\sigma_2^2} L_{ec} + \log \sigma_1 + \log \sigma_2$$

• $L_{pc}$(프롬프트 분류 손실): 교차 엔트로피와 포커스 손실 (Focal Loss) 을 결합하며, 약한 감독 신호 ($\delta_p$) 로 조절됩니다. 이 신호는 전역 토큰 편향 통계에 기반하여 어렵거나 오분류된 인스턴스에 대한 손실 가중치를 높입니다.
• $L_{ec}$(설명 가능성 손실): 토큰 수준에서 마찬가지로 교차 엔트로피와 포커스 손실을 결합하며, 토큰 수준의 편향 신호 ($\delta_t$) 로 조절됩니다.
• 불확실성 가중치: 매개변수 $\sigma_1$과 $\sigma_2$는 학습 가능하며, 한 작업이 최적화를 지배하는 것을 방지하기 위해 두 작업을 동적으로 균형 잡습니다.

3. 주요 기여

1. 새로운 MTL 아키텍처: 안전 분류와 단어 수준 설명을 공동으로 학습하는 경량 모델로, 설명이 의사결정 과정에 충실하도록 보장합니다.
2. 편향 저항성 합성 데이터: LLM 의 확인 편향을 활용하고 상쇄하여 고품질 단어 수준 레이블을 생성하는 전략으로, 대규모 인간 주석 없이 설명 가능성에 대한 감독 학습을 가능하게 합니다.
3. 고급 손실 함수: 클래스 불균형과 어려운 사례를 효과적으로 처리하기 위해 불확실성 기반 가중치와 포커스 손실 변조를 통합한 공동 손실 함수.
4. 종합 평가: 도메인 내 및 도메인 외 (OOD) 시나리오에 걸친 엄격한 테스트를 통해 LEG 가 훨씬 더 큰 모델들을 능가하거나 동등한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 LEG 를 AEGIS2.0, WildGuardMix, ToxicChat0124 세 가지 데이터셋에서 평가했습니다.

• 프롬프트 분류 성능:
  • LEG(특히 304M "Large" 변형) 는 도메인 내 및 OOD 설정 모두에서 최첨단 (SOTA) 또는 SOTA 에 근접한 성능을 달성했습니다.
  • 이는 OpenAI Moderation API(ToxicChat OOD 에서 61.41% 대 69.98% F1) 보다 훨씬 우수했으며, 약 25 배 작은 크기임에도 불구하고 8B 파라미터 모델 (Llama Guard 3 등) 과 대등한 성능을 보였습니다.
• 설명 가능성 성능:
  • LEG 는 단어 수준 설명 분류에서 SOTA F1 점수를 달성하여, LIME 및 SHAP 같은 사후 (post-hoc) 방법과 독립 토큰 분류기를 크게 능가했습니다.
  • 충실도 평가: 단어 마스킹 교란 테스트는 LEG 가 "불안전"으로 식별한 단어를 마스킹하면 분류 정확도가 크게 떨어지는 것을 확인하여, 설명이 모델의 의사결인과 인과적으로 연결됨을 입증했습니다.
• 계산 효율성:
  • 추론 시간: LEG xs(22M 파라미터) 는 입력을 7.81ms에 처리하는 반면, GuardReasoner 는 26~36ms, Llama Guard 3 는 57ms 이상 소요됩니다.
  • 메모리: LEG 는 1.01GB의 GPU 메모리를 사용하는 반면, GuardReasoner 는 최대 78GB가 필요합니다.
• 강건성:
  • LEG 는 XSTest(유해한 키워드가 포함된 benign 프롬프트) 에서 강력한 성능을 유지하여, 피상적인 키워드 휴리스틱이 아닌 문맥에 의존함을 보여주었습니다.
  • 이는 보지 못한 위험 주제와 세분화된 안전 범주에도 잘 일반화되었습니다.

5. 의의

이 논문은 경량화되고 모듈화되며 설명 가능한 솔루션을 제공함으로써 LLM 안전 분야의 중요한 격차를 해소합니다.

• 실용적 배포: 낮은 지연 시간과 메모리 발자국으로 인해 기본 모델의 값비싼 재학습 없이도 다양한 LLM 파이프라인에 실시간으로 통합이 가능합니다.
• 신뢰와 투명성: 충실한 단어 수준 설명을 제공함으로써 안전 감사자와 개발자가 프롬프트가 차단된 이유를 이해할 수 있게 하여, 더 나은 정책 정렬과 디버깅을 촉진합니다.
• 방법론적 혁신: 확인 편향을 상쇄하여 합성 설명 데이터를 생성하는 접근 방식은 인간 주석이 부족한 설명 가능성 작업을 위한 감독 데이터셋 생성의 새로운 패러다임을 제시합니다.

요약하자면, LEG 는 고성능 설명 가능한 안전 가드레일이 막대한 계산 자원을 필요로 하지 않음을 보여주며, 안전성과 설명 가능성이 효율성의 대가로 제공되어야 한다는 지배적인 가정에 도전합니다.