🤖 AI

Exploring and Developing a Pre-Model Safeguard with Draft Models

본 논문은 대형 언어 모델에서 작은 드래프트 모델로 전이되는 재일브랙 공격의 전이성을 활용하여 드래프트 응답을 생성하는 사전 모델 보호 장치를 제안함으로써, 기존 보호 장치가 타겟 모델 추론 전에 안전하지 않은 프롬프트를 더 정확하게 탐지하면서도 사후 모델 감사의 높은 계산 비용을 회피할 수 있도록 합니다.

원저자: Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 간단한 언어와 창의적인 비유를 사용하여 해당 논문을 설명합니다.

문제: "경비원" 대 "변장 마스터"

이야기를 쓰고, 수학 문제를 풀며, 질문에 답할 수 있는 매우 강력하고 지능적인 로봇(대형 언어 모델, LLM)이 있다고 상상해 보세요. 이 로봇은 도움이 되면서도 안전해야 합니다. 즉, 증오 발언을 하거나 폭탄 제조 방법을 알려주거나 거짓말을 퍼뜨려서는 안 됩니다.

로봇을 안전하게 유지하기 위해, 사용자의 질문 (프롬프트) 을 로봇이 보기 전에 문 앞에 서서 확인하는 경비원(전모델 경비원) 을 고용합니다. 질문이 위험해 보이면 경비원은 이를 막습니다.

결함:
악의적인 행위자 (해커) 들은 위험한 질문을 innocently 해 보이는 옷으로 위장하는 법을 배웠습니다. 그들은 **"재일브레이크"**라고 불리는 교묘한 수법을 사용하여 경비원을 속입니다.

비유: 범죄자가 은행에 무기를 밀반입하려는 상황을 상상해 보세요. 총을 들고 가는 대신, "생일 케이크"라고 적힌 상자 안에 숨깁니다. 경비원은 "생일 케이크"를 보고 안전하다고 생각하여 통과시킵니다. 일단 안으로 들어가면 로봇은 상자를 열어 무기를 발견하고 해로운 행동을 저지릅니다.

이 논문은 이러한 "전모델 경비원"들이 로봇이 줄 수 있는 답변이 아닌 질문 자체만 보기 때문에, 위장된 공격들을 종종 놓친다고 지적합니다.

대안: "느리고 비싼" 검사

안전성을 확인하는 또 다른 방법이 있습니다. 로봇이 먼저 질문에 답하게 한 다음, 두 번째 경비원이 그 답변을 확인하는 것입니다.

비유: 로봇이 케이크를 굽게 한 후, 두 번째 경비원이 그 안에 독이 있는지 맛보게 하는 것입니다.
문제: 이는 매우 느리고 비용이 많이 듭니다. 로봇이 거대하다면 (예: 700 억 파라미터 모델), 케이크를 굽는 데는 오랜 시간이 걸리고 많은 전기가 소모됩니다. 두 번째 경비원이 "멈춰! 이건 독이야"라고 말하더라도, 이미 케이크를 굽는 데 들어간 모든 시간과 비용을 낭비한 것입니다.

새로운 해결책: "소형 초안 모델"

저자들은 교묘한 중간 지점을 제안합니다. 거대한 로봇이 질문을 보기 전에 "작고 빠른 로봇(소형 언어 모델, SLM)을 사용하여 "초안"이나 "테스트 실행"을 수행하는 것입니다.

새로운 시스템의 작동 방식은 다음과 같습니다.

1. "그림자" 테스트

사용자가 질문을 하면, 시스템은 이를 바로 거대한 로봇이 아닌 작은 로봇에게 먼저 보냅니다.

비유: 거대한 셰프가 복잡한 요리를 하기 전에, 작고 빠른 수셰프가 시험 주방에서 작고 거친 버전의 요리를 만들어 보는 것과 같습니다.

2. "전이성"의 마법

이 논문은 놀라운 사실을 발견했습니다. 거대한 로봇을 속이는 나쁜 질문은 작은 로봇도 속이는 경향이 있습니다.

발견: 해커가 거대한 로봇이 악한 말을 하도록 설계한 질문을 작성하면, 그 동일한 질문은 작은 로봇도 악한 말을 하도록 만드는 경우가 많습니다.
비유: 은행의 무겁고 비싼 정문을 여는 특정 열쇠 도구가 작동한다면, 같은 건물의 얇고 싼 뒷문에도 작동할 가능성이 높습니다. "약점"이 큰 문에서 작은 문으로 전이되는 것입니다.

3. "배치" 전략

시스템은 작은 로봇에게 한 번만 묻지 않습니다. 여러 번 (예: 20 개의 서로 다른 작은 로봇에게 같은 질문을 시도하게 함) 묻습니다.

비유: 20 명의 서로 다른 작은 수셰프에게 그 "생일 케이크"를 만들어 보라고 요청한다고 상상해 보세요. 케이크가 innocently 해 보일지라도, 20 명의 작은 셰프 중 5 명이 굽는 도중에 실수로 독을 흘린다면, 그 레시피는 위험하다는 것을 알 수 있습니다.

4. 결정

시스템은 작은 로봇들의 답변을 확인합니다.

작은 로봇들이 안전한 답변을 생성하면, 시스템은 질문이 안전하다고 가정하고 거대 로봇이 답변하도록 합니다.
작은 로봇들이 안전하지 않은 답변을 생성하면 (여러 개 중 단 하나라도), 시스템은 즉시 질문을 차단합니다. 거대 로봇은 이를 보지 못하므로 시간과 비용을 절약할 수 있습니다.

왜 이것이 더 나은가

이 논문은 기존 방법들과 비교하여 이 아이디어를 테스트한 결과 다음과 같은 사실을 발견했습니다.

더 많은 나쁜 행위자를 잡습니다: 기존 "경비원"(전모델) 은 위장된 공격의 약 32% 를 놓쳤습니다. 반면 이 새로운 "작은 로봇" 방법은 거의 모든 공격을 잡아냅니다. 작은 로봇이 질문 속에 숨겨진 위험을 드러내기 때문입니다.
훨씬 더 빠릅니다: "느리고 비싼" 방법 (후모델) 은 거대 로봇이 끝날 때까지 기다려야 하므로 시간이 오래 걸립니다. 반면 이 새로운 방법은 작은 로봇이 매우 빠르기 때문에 기존 경비원 방법과 거의 같은 속도를 냅니다.
- 결과: 느린 방법에 비해 안전한 답변을 얻는 데 걸리는 시간을 97% 단축했습니다.
좋은 사람들을 막지 않습니다: "샌드위치를 만드는 방법"과 같은 일반적이고 안전한 질문의 경우, 작은 로봇은 거대한 로봇과 똑같이 행동합니다. 시스템은 innocently 한 질문을 거의 차단하지 않아 일반 사용자에게 매끄러운 경험을 제공합니다.

요약

이 논문은 질문이 위험한지 예측하기 위해 **작고 빠른 "테스트 로봇"**을 사용하는 보안 시스템을 소개합니다. 나쁜 질문은 작은 로봇과 거대한 로봇 모두를 무너뜨리는 경향이 있기 때문에, 작은 로봇은 민감한 "석탄 광산의 카나리아" 역할을 합니다. 작은 로봇이 혼란스러워하거나 나쁜 말을 하면, 그 질문이 함정임을 알 수 있으며, 비싸고 거대한 로봇이 시도하기 전에 이를 차단합니다. 이는 AI 를 속도를 늦추지 않으면서 더 안전하게 만듭니다.

기술 요약: 드래프트 모델을 활용한 사전 모델 보호 장치 탐구 및 개발

문제 정의

대형 언어 모델 (LLM) 은 여전히 윤리적 및 운영 지침을 위반하는 안전하지 않거나 해로운 응답을 유도하도록 설계된 재브레이크 공격에 취약합니다. 현재 방어 메커니즘은 일반적으로 두 가지 범주로 나뉘며, 각각 중요한 한계가 있습니다:

사전 모델 가드 (Pre-model guards): 이러한 가드는 목표 LLM 에 도달하기 전에 프롬프트를 감사합니다. 계산적으로 효율적이지만, 모델이 생성한 응답의 맥락이 부족하기 때문에 높은 위음성 (false-negative) 비율을 보입니다. 예를 들어, 사전 모델 모드에서 LlamaGuard 2 는 Llama-3-70B 에 대한 AutoDAN 공격으로 생성된 적대적 프롬프트 중 71.6% 만 탐지합니다.
사후 모델 가드 (Post-model guards): 이러한 가드는 프롬프트와 생성된 응답 모두를 감사합니다. 응답 맥락을 활용하여 탐지 정확도가 더 높지만, 가드가 개입하기 전에 목표 모델이 응답을 완전히 생성해야 하므로 높은 계산 비용 (증가된 토큰 사용량 및 지연 시간) 이 발생합니다.

핵심 과제는 사후 모델 가드의 높은 탐지율을 달성하면서도 그 계산 오버헤드는 발생시키지 않고, 동시에 사전 모델 가드의 탐지율을 개선하는 방어 시스템을 설계하는 것입니다.

방법론

저자들은 대형 언어 모델 (LLM) 에서 소형 언어 모델 (SLM) 로의 재브레이크 공격 전이성 (transferability) 을 활용하는 보호 장치 설계를 제안합니다. 핵심 가설은 대형 목표 모델을 위해 고안된 재브레이크 프롬프트가 종종 더 작은 '드래프트' 모델에서도 안전하지 않은 응답을 유발한다는 것입니다. 이러한 드래프트 모델을 사용하여 추측적 응답을 생성함으로써, 시스템은 비용이 많이 드는 목표 모델을 호출하기 전에 프롬프트의 안전성을 평가할 수 있습니다.

설계의 주요 구성 요소

전이성에 대한 체계적 연구:
- 저자들은 LLM(예: Llama-3-70B, Qwen1.5-72B, Phi-3) 에서 SLM(예: OPT-125M, SmolLM-135M, Qwen2.5-0.5B) 으로 재브레이크 프롬프트가 전이되는지에 대한 경험적 조사를 수행했습니다.
- GCG, AutoDAN, PAIR 등 세 가지 재브레이크 생성 시스템을 평가했습니다.
- 주요 발견: 원시 전이율 (raw transferability rates) 은 다양하지만, 안전하지 않은 응답 비율의 분포는 구별 가능합니다. benign(악의적이지 않은) 프롬프트는 SLM 에서 안전하지 않은 응답 비율이 0 에 가깝게 나타나지만, 악성 프롬프트는 0 이 아닌 안전하지 않은 비율을 가진 '롱테일 (long-tail)' 분포를 유발합니다. 이러한 통계적 간격이 방어 신호로 작용합니다.
추측적 추론 보호 장치 (Speculative Inference Safeguard):
제안된 시스템은 두 단계로 작동합니다:
- 단계 A: 추측적 추론 (사전 목표):
  - 응답 생성: 프롬프트를 받으면 작은 드래프트 모델이 확률적 샘플링 (빔 서치 및 top-p) 을 사용하여 $b$ 개의 드래프트 응답 (예: $b=20$ ) 을 배치로 생성합니다.
  - 분류: 이러한 드래프트 응답과 원래 프롬프트는 기존 안전 분류기 (예: 사후 모델 모드에서 LlamaGuard) 에 입력됩니다.
  - 집계: 시스템은 분류 레이블을 집계합니다. 드래프트 응답 중 안전하지 않다고 표시된 비율이 임계값 $\tau$ 를 초과하면 프롬프트는 악성으로 간주되어 거절 응답이 반환됩니다.
- 단계 B: 목표 모델 추론:
  - 프롬프트가 추측적 검사를 통과하면 최종 생성을 위해 목표 LLM 으로 전달됩니다. 통과된 프롬프트의 경우 사후 모델 가드가 필요하지 않습니다.

주요 기여

경험적 조사: 이 논문은 LLM 에서 SLM 으로 재브레이크 전이성에 대한 체계적 연구를 제공하며, 전이성이 완벽하지는 않지만 악성 프롬프트에 대한 안전하지 않은 응답의 분포가 benign 프롬프트와 통계적으로 구별 가능함을 규명했습니다.
새로운 방어 아키텍처: 저자들은 SLM 을 사용한 추측적 추론을 활용하는 사전 모델 방어 메커니즘을 도입했습니다. 이 접근법은 전이성을 공격 벡터가 아닌 방어 자산으로 변환합니다.
성능 최적화: 이 설계는 기존 사후 모델 가드에 비해 낮은 방어 실패율 (DFR) 을 달성하고 프롬프트부터 응답까지의 시간을 크게 단축하면서도 benign 프롬프트에서 높은 정확도를 유지합니다.
오픈 소스: 보호 장치 설계와 코드는 공개 검증을 위해 제공됩니다.

실험 결과

평가 세 가지 재브레이크 시스템 (GCG, AutoDAN, PAIR) 과 세 가지 목표 모델 (Llama-3-70B, Qwen1.5-72B, Phi-3) 을 대상으로 수행되었으며, 제안된 설계 (드래프트 모델로 OPT-125M 또는 SmolLM-135M 사용) 를 LlamaGuard 2(사전 및 사후 모델 모드) 및 PerplexityGuard 와 비교했습니다.

방어 실패율 (DFR):
- 사전 모델 가드와 비교할 때, 제안된 설계는 DFR 을 평균 32.4% (OPT 기반 버전의 경우 구체적으로 32.37%) 감소시켰습니다.
- 사후 모델 가드와 비교할 때, 제안된 설계는 DFR 을 평균 17.38% 감소시켰습니다.
효율성 (프롬프트부터 응답까지의 시간):
- 사후 모델 가드에 비해 제안된 설계는 공격을 탐지하고 차단하는 데 필요한 시간을 97.07% 단축했습니다 (예: Llama-3 에 대한 AutoDAN 공격 탐지 시간을 약 101 초에서 1 초 미만으로 감소).
- 사전 모델 가드에 비해 시간 오버헤드는 미미하여 **0.59%**만 증가했습니다.
Benign 정확도:
- 이 보호 장치는 benign 프롬프트에서 **98%**의 정확도를 유지하여 사전 및 사후 모델 가드 기준선과 동등한 성능을 보였습니다.
- 반면, PerplexityGuard 는 benign 프롬프트에서 더 낮은 정확도 (0.88) 를 보여주었습니다.

중요성 및 주장

이 논문은 재브레이크 공격의 전이성이 전통적으로 서로 다른 모델 간 안전 필터를 우회할 수 있게 하는 취약점으로 간주되어 왔으나, 이를 효과적으로 방어 메커니즘으로 재사용할 수 있다고 주장합니다. 더 작고 빠른 모델을 사용하여 추측적 추론을 통해 프롬프트의 안전성을 '탐지'함으로써, 제안된 보호 장치는 사전 모델 가드의 효율성과 사후 모델 가드의 정확성 사이의 간격을 연결하는 실용적인 해결책을 제공합니다.

저자들은 드래프트 모델이 완벽한 탐지기일 필요는 없다고 강조합니다. 대신 안전하지 않은 응답 분포의 통계적 구별 가능성에 의존합니다. 이는 모든 요청에 대해 전체 목표 모델 추론과 관련된 prohibitive(막대한) 계산 비용 없이 해로운 콘텐츠 생성 위험을 크게 낮추는 견고한 방어 시스템을 가능하게 합니다. 이 연구는 향후 방어 전략이 단순한 프롬프트 분석을 넘어 안전성 정렬을 강화하기 위해 경량화된 추측적 응답 생성을 포함하도록 발전할 수 있음을 시사합니다.