기술 요약: STACK: LLM 안전 가드레일 파이프라인에 대한 적대적 공격

문제 정의

프런티어 AI 개발자들은 대규모 언어 모델(LLM)의 치명적인 오용을 방지하기 위해 입력 분류기, 생성 모델, 출력 분류기로 구성된 계층적 시스템인 "방어 심층 방어(defense-in-depth)" 파이프라인에 점점 더 의존하고 있습니다. Anthropic과 OpenAI 같은 기업들이 Opus 4 및 GPT-5와 같은 모델을 위해 이러한 파이프라인을 배포했지만, 이러한 다단계 방어 체계의 보안성은 여전히 불분명합니다. 기존 연구들은 주로 단일 모델 시스템을 대상으로 설계된 비적응형(non-adaptive) 공격을 사용하여 이러한 파이프라인를 평가해 왔으며, 이는 방어 성능을 과대평가할 가능성이 있습니다. 공격자가 개별 구성 요소에 직접 접근할 수는 없지만 어떤 단계에서 쿼리가 차단되었는지 추론할 수 있는 현실적인 블랙박스 위협 모델에서, 단계적 공격(staged attacks)이 순차적 가드레일을 체계적으로 우회할 수 있는지에 대한 이해가 부족하다는 결정적인 격차가 존재합니다.

방법론

방어 파이프라인 구축

저자들은 테스트베드로 사용하기 위해 오픈 소스 방어 심층 방어 파이프라인을 구축했습니다. 이 파이프라인은 대상 생성 모델($m$)을 두 개의 분류기로 감쌉니다:

1. 입력 분류기 ($f_q$): 사용자 쿼리를 평가합니다.
2. 출력 분류기 ($f_r$): 모델의 응답을 평가합니다.
   파이프라인은 특정 임계값을 초과하는 쿼리나 응답을 거부합니다. 저자들은 다양한 오픈 웨이트(open-weight) 안전 모델(예: Llama Guard, ShieldGemma)을 평가하였으며, ShieldGemma와 같은 특화된 가드 모델보다 성능이 뛰어난 Gemma 2 베이스 모델을 사용한 새로운 **퓨샷 프롬프트 기반 분류기(few-shot-prompted classifier)**를 도입했습니다.

STACK 공격

본 논문은 구성 요소를 하나씩 분해하여 방어 심층 방어 파이프라인을 무너뜨리기 위해 설계된 방법론인 **STaged AttaCK (STACK)**를 소개합니다. 공격은 세 단계로 진행됩니다:

1. 생성 모델 탈옥(Jailbreak): 비적응형 공격(예: 설득적 적대적 프롬프트, PAP)을 사용하여 유해한 쿼리를 대상 모델이 답변할 수 있는 형태로 변형합니다.
2. 입력 분류기 탈옥: 변형된 쿼리 앞에 붙였을 때 입력 필터를 우회할 수 있는 범용 적대적 문자열(입력 분류기 탈옥, ICJ)을 최적화합니다.
3. 출력 분류기 탈옥: 모델이 출력 시 반복하도록 지시할 범용 적대적 문자열(출력 분류기 탈옥, OCJ)을 최적화합니다. 이는 모델이 사용자의 쿼리에 답하기 전에 OCJ 문자열을 먼저 출력하도록 강제하는 프롬프트를 구성함으로써 달성됩니다.

최종 공격 페이로드는 ICJ, 반복 지시문, 그리고 변형된 쿼리를 결합하여 구성됩니다.

위협 모델

본 연구는 두 가지 주요 위협 모델 하에서 STACK을 평가합니다:

• 블랙박스 반-분리형(Black-Box Semi-Separable): 공격자는 전체 파이프라인에 대한 블랙박스 접근 권한을 가지지만, 어떤 구성 요소(입력 분류기, 모델, 또는 출력 분류기)가 쿼리를 거부했는지(예: 별도의 거절 메시지 또는 타이밍을 통해) 추론할 수 있습니다. 이는 현재의 API 동작 방식(예: Claude Opus 4)을 반영합니다.
• 전이(Transfer, 화이트박스 프록시에서 블랙박스 타겟으로): 공격자는 공격을 훈련하기 위해 프록시 파이프라인(다른 모델/분류기 구성)에 대한 완전한 화이트박스 접근 권한을 가지며, 그 후 직접적인 내부 가중치 접근 없이 결과적인 탈옥 기법을 타겟 파이프라인으로 전이시킵니다.

주요 기여

1. 오픈 소스 방어 파이프라인: 저자들은 최첨단 오픈 소스 파이프라인을 구축했습니다. 저자들은 단순한 퓨샷 프롬프트 기반의 Gemma2 분류기가 기존의 가드 모델(ShieldGemma 등)보다 성능이 뛰어나며, 표준 공격에 대해 ClearHarm 데이터셋에서의 공격 성공률(ASR)을 0%로 낮춘다는 것을 발견했습니다.
2. STACK 절차: 구성 요소를 단계별로 공격하는 방법론의 구체적인 구현을 개발했습니다.
   • 블랙박스 STACK: 강력한 Gemma2 파이프라인에 대해 ClearHarm 데이터셋에서 71%의 ASR을 달 {%} 달성하였으며, 이는 구성 요소를 순차적으로 공격할 경우 강력한 방어 체계도 무너질 수 있음을 입증합니다.
   • Transfer-STACK: 제로샷 전이 설정에서 33%의 ASR을 달성하여, 공격이 프록시를 대상으로 설계되어 직접적인 상호작용 없이도 타겟 파이프라인으로 성공적으로 전이될 수 있음을 증명했습니다.
3. 프런티어 모델 평가: 저자들은 Anthropic의 Opus 4와 OpenAI의 GPT-5에 STACK 방법론을 적용했습니다. 이들은 두 시스템 모두에서 취약점을 식별하였으며, 이는 구성 요소별 공격 방식이 프런티어 배포 모델에도 효과적임을 검증합니다.

결과

• 베이스라인 공격: 표준 블랙박스 공격(PAP, ReNeLLM, Best-of-N)은 ClearHarm 데이터셋에 대해 퓨샷 프롬프트 기반의 Gemma2 파이프라인을 통과하지 못했으며(ASR 0%), 이는 비적응형 위협에 대한 심층 방어 원칙의 효용성을 확인시켜 줍니다.
• STACK 성능:
  • Gemma2 파이프라인을 상대로 STACK은 방어 체계를 우회하여 71%의 AS를 달성했습니다.
  • 공격 비용은 블랙박스 버전의 경우 약 507 H100 GPU-시간, 전이 버전의 경우 15 H100 GPU-시간이 소요되었습니다.
  • 전이 공격은 공격자가 타겟 파이프라인의 구성 요소에 직접 접근할 수 없더라도, 충분히 유사한 프록시를 통해 훈련할 수 있다면 성공할 수 있음을 보여주었습니다.
• 프런티어 모델의 취약성: 저자들은 구성 요소별 공격의 변형(예: Opus 4의 출력 분류기를 우회하기 위한 ROT13 인코딩 및 GPT-5의 입력 분류기를 우회하기 위한 이미지 기반 입력 사용)을 사용하여 Opus 4와 GPT-5로부터 유해한 응답을 성공적으로 이끌어냈습니다. 공개 이후, 두 회사 모두 해당 조사 결과를 인정하고 완화 조치를 배포했습니다.

의의 및 주장

본 논문은 방어 심층 방어가 유효하고 필요한 전략이지만, 기존의 오픈 웨이트 가드 모델은 적응형 및 단계적 공격에 직면했을 때 불충분하다고 주장합니다. 저자들은 다음을 강조합니다:

• 심층 방어는 단순한 공격에는 효과적임: 퓨샷 프롬프트 기반 분류기는 모든 베이스라인 공격을 차단하는 데 성공하여 계층적 접근 방식의 유효성을 입증했습니다.
• 단계적 공격은 중대한 위협임: STACK 절차는 공격자가 차단되는 구성 요소를 식별하거나(반-분리형 접근) 프록시를 통해 훈련할 수 있다면, 가장 강력한 현재의 파이프라인조차 우회할 수 있음을 보여줍니다.
• 완화 조치는 가능함: 저자들은 다음과 같은 구체적인 대응책을 제안합니다:
  • 구성 요소의 정체 은닉: 입력 분류기, 모델, 또는 출력 분류기 중 무엇이 차단을 트리거했는지와 관계없이 거절 응답이 동일하게 보이도록 합니다.
  • 사이드 채널 제거: 초기 단계에서 거부되더라도 모든 파이프라인 단계를 거치게 하여 타이밍 기반 추론을 방지합니다.
  • 접근 제어: 실제 운영 환경에서 사용되는 독점적 가드레인과 너무 유사한 오픈 웨이트 모델의 공개를 피함으로써 전이 공격의 실현 가능성을 줄입니다.

결론적으로, 본 논문은 방어 심층 방어가 필수적이지만, 현재 이러한 파이프라인의 보안은 정교한 단계적 적대적 전략에 대해 취약하며, 더 강력한 분류기 설계와 엄격한 접근 제어가 필요하다고 밝히고 있습니다.