Peering Behind the Shield: Guardrail Identification in Large Language Models

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 기반의 대화형 AI 에이전트가 널리 배포되면서, 해로운 콘텐츠를 차단하기 위해 '가드레일 (Guardrails)'이 입력 및 출력 단계에 통합되고 있습니다. 이러한 가드레일은 LlamaGuard, WildGuard, ShieldGemma 등 오픈소스 모델 기반으로 구축되는 경우가 많습니다.
• 핵심 문제: 공격자는 AI 에이전트 내부에 어떤 가드레일이 배포되어 있는지 알 수 없습니다 (블랙박스 환경). 하지만 특정 가드레일의 정체성을 파악하면, 해당 가드레일에 특화된 공격 (예: 특정 모델의 취약점을 노린 조브레이크) 을 설계하여 기존 블랙박스 방법보다 훨씬 효과적인 공격이 가능해집니다.
• 기존 방법의 한계:
  • C1 (출력 공간의 제한): 가드레일의 출력은 주로 '안전/위험'과 같은 이진법 (Binary) 으로 제한되어 있어, 특정 모델에 고유한 반응을 유도하기 어렵습니다.
  • C2 (안전 정렬 및 중첩): 안전 정렬된 LLM 이나 다른 가드레일이 존재하면 후보 가드레일의 존재를 가릴 수 있습니다.
  • C3 (배포 단계 불명): 가드레일이 입력 단계인지 출력 단계인지, 혹은 둘 다인지 알 수 없으며, 출력 가드레일의 경우 LLM 의 생성된 응답을 입력으로 받기 때문에 직접적인 테스트가 어렵습니다.
  • C4 (결정 기준 부재): 기존 LLM 식별 방법들은 임의의 임계값 (Threshold) 에 의존하여 신뢰성이 낮습니다.

2. 제안 방법: AP-Test

저자들은 AP-Test (Adversarial Prompts to Test) 라는 새로운 접근법을 제안했습니다. 이는 블랙박스 AI 에이전트에서 배포된 가드레일의 정체를 식별하기 위해 가드레일 특화 적대적 프롬프트 (Guard-specific Adversarial Prompts) 를 활용합니다.

2.1. 적대적 프롬프트 최적화 (Adversarial Prompt Optimization)

목표는 후보 가드레일 ($G_t$) 에만 '위험 (Unsafe)'으로 오인식되도록 유도하면서, 다른 모든 가드레일과 안전 정렬된 LLM 에서는 '안전 (Safe)'으로 분류되도록 프롬프트를 생성하는 것입니다.

• 구성: 최적화된 적대적 접두사 ($x_a$) 와 일반 질문 ($x_q$) 을 결합합니다.
• 손실 함수 (Loss Function):
  • $L_1, L_2$ (후보 가드레일 적대 손실): 후보 가드레일이 입력을 '위험'으로 분류하도록 유도합니다.
  • $L_3$ (크로스 가드레일 호환성 손실): 안전 스코어 (Safety Scorer) 를 사용하여 다른 가드레일들이 입력을 '안전'으로 분류하도록 강제합니다. 이는 공격의 특이성을 높입니다.
  • 최종 손실: $L = L_1 + \alpha \cdot L_2 + \beta \cdot L_3$
  • 최적화 전략: GCG (Greedy Coordinate Gradient) 전략을 사용하여 토큰 임베딩에 대한 그래디언트를 기반으로 접두사를 업데이트합니다.

2.2. 적대적 프롬프트 테스트 (Adversarial Prompt Test)

최적화된 프롬프트를 사용하여 두 가지 전략으로 가드레일의 존재를 확인합니다.

1. 입력 가드 테스트 (Input Guard Test):
   • 생성된 적대적 프롬프트를 AI 에이전트에게 직접 입력합니다.
   • 에이전트가 거절 (Refuse) 한다면, 해당 가드레일이 입력 단계에 존재할 가능성이 높습니다.
2. 출력 가드 테스트 (Output Guard Test):
   • 출력 가드레일은 LLM 의 응답을 입력으로 받기 때문에, 에이전트에게 "적대적 프롬프트를 반복해 주세요" 라는 템플릿을 사용하여 LLM 이 프롬프트를 그대로 출력하도록 유도합니다.
   • 이렇게 생성된 응답이 출력 가드레일에 의해 차단되는지 확인합니다.

2.3. 새로운 지표: 매치 점수 (Match Score)

임계값 설정의 어려움을 해결하기 위해 매치 점수 (Match Score, MS) 를 도입했습니다.

• 정의: 에이전트의 거절률 ($r$) 과 후보 가드레일 자체의 거절률 ($r_t$) 을 비교합니다.
  $$MS = \frac{|min(r, r_t)|^\lambda}{|r_t|^\lambda}$$
• 판단 기준: $MS > 0.5$일 경우, 해당 에이전트에 후보 가드레일이 배포되었다고 판단합니다. 이는 추가적인 보조 모델 없이 후보 모델 자체만으로 식별이 가능하게 합니다.

3. 주요 실험 결과 (Results)

• 실험 설정: 4 가지 후보 가드레일 (WildGuard, LlamaGuard, LlamaGuard2, LlamaGuard3) 과 10 가지 다양한 가드레일/모델 (Aegis, ShieldGemma, GPT-4o 등) 을 대상으로 Llama3.1 과 GPT-4o 기반 에이전트에서 테스트했습니다.
• 정확도:
  • 입력 가드 테스트: 모든 시나리오에서 100% (Acc = 1.00) 의 분류 정확도를 달성했습니다. ROC 곡선의 AUC 역시 1.00 으로 임계값 선택에 민감하지 않음을 보였습니다.
  • 출력 가드 테스트: 역시 100% 의 정확도를 달성했습니다. 다만, LLM 이 프롬프트를 반복하는 과정에서 정보 손실이 발생할 경우 성능이 약간 저하될 수 있음을 확인했습니다.
• 복잡한 시나리오: 입력과 출력 단계에 동시에 두 가지 다른 가드레일이 배포된 경우에도 AP-Test 는 각 가드레일을 정확하게 식별했습니다.
• Ablation Study (성분 분석):
  • 손실 함수 ($L_2, L_3$): $L_3$(안전 스코어) 가 없으면 다른 가드레일이 있는 에이전트에서도 오인식 (False Positive) 이 발생했습니다.
  • 쿼리 세트 (Query Set): 일반 질문 ($x_q$) 이 없으면 적대적 프롬프트가 과도하게 거부되어 다른 가드레일까지 차단하는 등 식별 성능이 크게 저하되었습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 가드레일 식별 방법론: 블랙박스 AI 에이전트에서 가드레일의 정체를 식별하는 첫 번째 방법인 AP-Test를 제안했습니다.
2. 핵심 문제 해결: 가드레일의 제한된 출력 공간, 안전 정렬 LLM 의 간섭, 배포 단계 불명, 임계값 설정 문제 등 4 가지 주요 과제를 해결했습니다.
3. 강건한 성능: 다양한 오픈소스 가드레일과 LLM 조합에서 완벽한 분류 정확도를 입증했습니다.
4. 실용적 통찰: 가드레일 식별이 공격자의 표적 공격을 가능하게 할 수 있음을 보여주었으며, 동시에 모델 소유자가 저작권 침해 (타사 가드레일의 무단 사용) 를 탐지하는 데에도 활용 가능함을 시사했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • AI 시스템의 보안 취약점을 이해하고 방어 체계를 강화하는 데 필수적인 단계인 '가드레일 식별' 문제를 체계적으로 다뤘습니다.
  • 공격과 방어의 선순환 (Attack-Defense Cycle) 을 촉진하여, 더 견고한 가드레일 개발과 AI 에이전트의 안전성 설명 가능성 (Explainability) 향상에 기여합니다.
• 한계:
  • 현재는 모델 기반 가드레일 (Model-based) 에만 초점을 맞췄으며, 규칙 기반 필터나 외부 중재 시스템 (예: GPT-4o 의 시스템 프롬프트) 은 포함하지 않았습니다.
  • 완전히 독점적인 (Proprietary) 폐쇄형 소스 가드레일 식별은 별도의 과제로 남았습니다.

이 논문은 AI 에이전트의 내부 보안 메커니즘을 투명하게 분석할 수 있는 새로운 패러다임을 제시하며, 향후 AI 안전성 연구의 중요한 기초가 될 것으로 기대됩니다.