💬 NLP

Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models

본 논문은 알려진 공격 사례 데이터베이스를 활용하여 악의적인 탈옥 전략을 탐지하고 추론함으로써, 대규모 언어 모델(LLM)에 대한 적응형 보호와 제어 가능한 안전성-유용성 트레이드오프를 제공하는 훈련이 필요 없는 프레임워크인 검색 증강 방어(Retrieval-Augmented Defense, RAD)를 제안한다.

원저자: Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도서관이라고 상상해 보세요. 그곳의 가장 새롭고 똑똑한 사서들은 인공지능(AI)입니다. 시를 쓰고, 수학 문제를 풀고, 당신이 상상할 수 있는 무엇이든 대해 대화할 수 있는 이 AI 사서들은 '거대 언어 모델(LLM)'로 알려져 있습니다. 이들은 믿을 수 없을 정도로 유능하지만, 엄격한 규칙을 가지고 있습니다. 폭탄을 만드는 법이나 타인의 신원을 도용하는 법과 같이 위험한 지침을 절대 제공하지 않도록 프로그래밍되어 있다는 점입니다. 하지만 영리한 아이가 교묘한 방식으로 질문을 던져 엄격한 선생님을 속일 수 있듯이, 악의적인 사용자들은 이 AI 사서들을 '탈옥(jailbreak)'시키는 방법을 찾아냈습니다. 이들은 위험한 요청을 영화 대본을 쓰는 척하거나 역할극을 하는 것처럼 화려한 의상으로 감싸서, AI가 규칙을 잊고 비밀을 누설하도록 속입니다. 큰 문제는 AI 시스템을 만드는 사람들이 새로운 규칙을 가르치는 속도보다 이러한 '속임수'가 변하는 속도가 더 빠르다는 것입니다. 구멍 하나를 메울 때마다 새로운 구멍이 나타나며, AI에게 이 모든 새로운 기술을 배우도록 가르치는 데는 보통 방대하고 비용이 많이 들며 느린 재학습 과정이 필요합니다.

여기서 캠브리지 대학교 연구진이 제안한 **검색 증강 방어(Retrieval-Augmented Defense, RAD)**라는 새로운 아이디어가 등장합니다. RAD를 모든 속임수를 암기하려고 노력하는 선생님이 아니라, 끝없이 업데이트되는 최신 '지명 수배자' 사진첩을 가진 초스마트 보안 요원이라고 생각해 보세요. 사용자의 질문에 대해 AI가 자신의 성격 전체를 새로 배우게 하는 대신, RAD는 문 앞에 서 있는 탐정처럼 행동합니다. 사용자가 질문을 던지면, RAD는 단순히 단어만 보는 것이 아니라 현재의 질문이 변장을 하고 있는지 확인하기 위해 자신의 속임수 사례 사진첩을 빠르게 넘겨봅니다. 만약 일치하는 것을 발견하면, RAD는 그 의상의 가면을 벗겨 그 아래에 숨겨진 진짜 위험한 의도를 드러냅니다. 만약 의도가 나쁘다면, 보안 요원은 그 요청을 차단합니다. 만약 무해한 질문이라면, 보안 요원은 통과시켜 AI 사서가 본연의 업무를 수행할 수 있도록 합니다.

연구진은 이 '사진첩' 방식이 게임 체인저라는 것을 발견했습니다. 테스트에서 RAD는 AI 모델을 속이는 데 주로 사용되는 'PAIR'나 'PAP'와 같은 강력한 새로운 탈옥 공격들을, AI를 전혀 재학습시키지 않고도 막아낼 수 있음을 보여주었습니다. 이는 마치 오늘 새로운 범죄자의 사진을 보안 요원의 사진첩에 추가하면, 보안 요원이 내일 바로 그를 잡을 준비가 되는 것과 같습니다. 훨씬 더 좋은 점은 이 시스템이 조절 가능하다는 것입니다. AI를 운영하는 사람들은 보안 요원이 얼마나 엄격해야 하는지 결정할 수 있습니다. 보안 요원을 매우 신중하게 설정할 수도 있고(거의 모든 나쁜 놈을 잡지만 가끔 무고한 사람도 막을 수 있음), 혹은 더 느긋하게 설정할 수도 있습니다(더 많은 사람을 통과시키지만 나쁜 놈을 잡는 수는 적어짐). 이 균란은 매우 중요한데, 왜냐하면 "날씨가 어때요?"와 같은 간단한 질문에도 답하기를 거부할 정도로 너무 엄격한 보안 시스템을 원하지는 않기 때문입니다.

이 논문은 이 방법이 AI를 유용하게 유지하면서도 안전하게 지키는 데 매우 효과적이라고 제안합니다. 실험에서 RAD는 이러한 교묘한 공격의 성공률을 극적으로 낮추어 많은 경우 거의 제로에 가깝게 줄였으며, 그러면서도 AI가 일반적인 질문에는 여전히 올바르게 답할 수 있게 했습니다. 또한 연구진은 사진첩에 새로운 공격 사례를 추가할수록, 시스템이 기존의 기술을 잊지 않으면서도 그 특정 새로운 기술들을 잡아내는 능력이 향상된다는 것을 보여주었습니다. 이는 단순히 사진첩에 새로운 사진을 추가하는 것만으로도 더 똑똑해지는, 유연하고 '학습이 필요 없는(training-free)' 방패로서, 악의적인 행위자들이 규칙을 우회하는 새로운 방법을 끊임없이 만들어내는 세상에서 우리의 AI 조력자들을 안전하고 유용하게 지켜줄 유망한 방법을 제시합니다.

기술 요약: 검색 증강 방어 (Retrieval-Augmented Defense, RAD)

문제 정의

대규모 언어 모델(LLM)은 악의적인 행위자가 유해하거나 비윤리적인 응답을 유도하기 위해 입력을 수정하는 탈옥(jailbreak) 공격에 여전히 취약합니다. 기존의 방어 메커니즘은 두 가지 주요 과제에 직면해 있습니다:

적응성: 다양하고 진화하는 공격 전략의 급격한 출현으로 인해, 비용이 많이 드는 모델 재학습 없이 방어 시스템을 업데이트하는 것이 어렵습니다.
안전성-유용성 트레이드오프 (Safety-Utility Trade-off): 공격적인 방어 전략은 높은 오탐 거부율(정상적인 쿼리를 차단함)을 초래하는 반면, 관대한 전략은 유해한 콘텐츠를 차단하지 못합니다. 따라서 특정 배포 요구 사항 및 위험 허용 범위에 따라 이 트레이드오프를 제어할 수 있는 메커니즘이 필요합니다.

방법론: 검색 증강 방어 (RAD)

저자들은 검색 증강 생성(RAG)과 앙상블 분류를 사용하여 탈옥 시도를 탐지하는 훈련 불필요(training-free) 프레임워크인 **검색 증강 방어(RAD)**를 제안합니다. 기존의 RAG 기반 방어와 달리, RAD는 응답 생성에 간섭하지 않고 독립적인 탐지 시스템으로서 작동합니다.

핵심 구성 요소

RAD 파이프라인은 오프라인 데이터베이스 구축 단계와 5단계의 온라인 처리 단계로 구성됩니다.

데이터베이스 구축:
- 데이터베이스는 원래의 사용자 쿼리( $q_i$ )와 그에 대응하는 탈옥 프롬프트( $x_i$ ) 쌍을 포함하도록 구축됩니다.
- LLM을 사용하여 시스템은 각 항목에 대해 기저에 깔린 탈옥 전략( $\tilde{S}_i$ )과 추출 가이드( $\tilde{G}_i$ )를 추론합니다.
- 탈옥 프롬프트 $x_i$ 는 밀집 텍ền 임베딩 검색(dense text embedding retrieval)을 위한 키 역할을 합니다.
온라인 탐지 파이프라인:
- 검색 (Retrieve): 새로운 입력 프롬프트 $x$ 가 주어지면, 시스템은 코사인 유사도를 사용하여 데이터베이스에서 가장 유사한 상위- $K$ 개의 탈옥 사례를 검색합니다.
- 재순위화 (Rerank): 검색된 집합은 추론된 전략의 관련성을 보장하기 위해 재순위화됩니다. 두 가지 스코어링 방법이 제안됩니다:
  - PMI 스코어링: 전략과 입력 사이의 연관성을 측정하기 위해 상호 정보량(Pointwise Mutual Information)을 사용합니다.
  - 전략 가능성 스코어링 (Strategy Likelihood Scoring): 입력이 주어졌을 때 해당 전략이 나타날 확률을 사용합니다.
  - 정상적인 쿼리를 처리하기 위해 "전략 없음(no strategy)" 요소가 포함됩니다.
- 추출 (Extract): 상위 순위의 전략-가이드 쌍에 대해, LLM은 입력 프롬프트로부터 후보 원본 사용자 쿼리( $\bar{q}_j$ )를 추출하며, 이는 실질적으로 공격 변환을 역전시키려는 시도입니다.
- 분류 (Classify): 시스템은 추출된 각 쿼리에 대해 쿼리, 전략 및 원본 입력을 조건으로 하는 유해성 확률( $P_j$ )을 계산합니다.
- 투표 (Vote): 개별 확률은 다수결 투표(평균) 또는 가중 투표(결합 사후 확률에 따른 가중치 적용)를 통해 최종 유해성 확률 $P(\text{harmful}|x)$ 를 산출하기 위해 집계됩니다.
의사 결정 및 제어:
- 최종 확률을 조절 가능한 임계값 $\tau$ 와 비교합니다. 만약 $P(\text{harmful}|x) \ge \tau$ 이면, 시스템은 강제 거부(hard refusal)를 수행하고, 그렇지 않으면 프롬프트를 대상 LLM으로 전달합니다.
- $\tau$ 를 조정함으로써 운영자는 안전성(유해한 프롬프트 차단)과 유용성(정상적인 응답 보존) 사이의 균형을 명시적으로 제어할 수 있습니다.

주요 기여

훈련 불필요 적응성: RAD는 새로운 공격 사례를 데이터베이스에 추가하는 것만으로 지속적인 업데이트를 가능하게 합니다. 이를 통해 모델을 재학습시키지 않고도 새롭게 등장하는 탈옥 전략(예: 새로운 PAIR 또는 PAP 변형)에 대응할 수 있습니다.
강력한 방어 성능: RAD는 여러 대상 모델(Qwen, GPT-4o, Llama)에 대해 강력한 탈옥 공격(PAP, PAIR, Template 공격 포함)의 효과를 실질적으로 감소시킵니다.
제어 가능한 안전성-유용성 트레이드오프: 저자들은 운영 곡선(Operating Curves) (방어 점수 vs. 오탐 거부 예산)에 기반한 평가 체계를 도입했습니다. RAD는 견고한 파레토 프런티어(Pareto frontier)를 보여주며, 사용자가 특정 애플리케전의 위험 허용 범위에 맞는 운영 지점을 선택할 수 있게 합니다.
유용성 보존: 탐지만 수행하는 시스템으로서, RAD는 다른 방어 방식(예: 의도 분석 또는 안전 컨텍스트 검색)에서 요구되는 프롬프트 수정을 피함으로써 일반적인 QA 작업(AlpacaEval 2.0, MMLU)에 대한 대상 모델의 성능을 보존합니다.

실험 결과

실험은 StrongREJECT 벤치마크와 일반 QA 데이터셋을 대상으로 수행되었습니다:

공격 완화: RAD는 StrongREJECT에서의 공격 점수를 크게 낮췄습니다. 예를 들어, Qwen-2.5-14B-Instruct에 대한 PAP 공격에 대해, RAD-Base-14B는 공격 점수를 방어 전 81.51에서 30.91로 감소시켰습니다. Template 및 DAN 공격에 대해서는 거의 0에 가까운 공격 점수를 달성했습니다.
적응성: 새로운 공격 사례(예: ReNeLLM, SATA)를 데이터베이스에 추가했을 때, RAD는 이전에 본 공격에 대한 성능을 저하시키지 않으면서(파괴적 망각이 없음을 입증) 해당 특정 새로운 공격에 대한 성능이 크게 향상되었습니다.
유용성: RAD는 AlpacaEval 2.0에서의 승률과 MMLU에서의 정확도를 방어되지 않은 베이스라인과 거의 동일하게 유지한 반면, 다른 방법들(예: 의도 분석)은 모델 유용성을 크게 저하시켰습니다.
확장성: 시스템은 데이터베이스를 500,000개 이상의 사례로 확장하더라도 안정적이고 효과적으로 유지되었습니다.

의의 및 주장

본 논문은 RAD가 현재의 방어 메커니즘의 한계를 해결하는 실용적이고 확장 가능한 LLM 안전 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

방어와 훈련의 분리: 검색 기반 접근 방식을 활용함으로써 새로운 위협에 적응하기 위한 비용이 많이 드는 재학습 주기를 제거합니다.
명시적 제어: 운영자가 안전성-유용성 트레이드오프를 튜닝할 수 있는 메커니즘을 제공하여, 서로 다른 배포 시나리오가 서로 다른 수준의 엄격함을 필요로 한다는 점을 인정합니다.
일반화: 공격 패밀리 내에서의 강력한 일반화(예: PAIR-1 사례만을 사용하여 PAIR-5를 방어) 및 다양한 대상 모델 간의 일반화 능력을 입증합니다.

저자들은 텍스트 전용 입력에 초점을 맞추고 있다는 점(아직 멀티모달 설정으로 확장되지 않음)과 StrongREJECT 벤치마크에서 발견되는 특정 유해성 정의에 의존한다는 점을 포함한 한계점을 언급했습니다. 또한, 시스템은 오직 탐지만을 위해 설계되었으며, 탈옥 사례 데이터베이스는 오용을 방지하기 위해 권한이 있는 연구자에게만 제한된다는 점을 강조합니다.