기술 요약: 제어된 방출 프롬프팅을 통한 프로덕션 환경의 프롬프트 가드 우회

문제 정의

최근 Ball 등[5]의 이론적 연구는 입력 필터링을 통한 AI 정렬(alignment)에 근본적인 장벽이 있음을 입증했다. 표준 암호학적 가정 하에서, 보호 대상 모델보다 유의미하게 빠르게 실행되는 필터는 적대적 프롬프트와 일반 프롬프트를 보편적으로 구별할 수 없다. 이 불가능성 결과는 "타임 락 퍼즐(Time-Lock Puzzles, TLPs)"에 의존하는데, 이는 해결을 위해 고정된 양의 순차적 계산을 요구하며, 이를 통해 자원이 제한된 필터에는 무해해 보이지만 더 강력한 모델에는 악의적인 내용을 드러내는 적대적 프롬프트를 생성한다.

본 논문에서 다루는 핵심 문제는 이러한 이론적 불가능성이 실제 배포된 대규모 언어 모델(LLM) 시스템에서 실질적인 취약점으로 변환되는지 여부이다. 구체적으로, 저자들은 경량화된 입력 필터(가드 모델)와 이들이 보호하는 메인 LLM 사이의 "자원 비대칭성(resource asymmetry)"이 타겟 모델을 수정하지 않고도 안전 메커니즘을 우회하는 데 악용될 수 있는지 조사한다.

방법론: 제어된 방출 프롬프팅 (Controlled-Release Prompting)

저자들은 자원 비대칭성을 악용하는 이론적 프레임워크의 실질적인 구현체인 제어된 방출 프롬프팅을 소개한다. 명시적인 암호 해독 서브루틴을 가진 모델을 구축해야 하는 이론적 구성과 달리, 이 공격은 수정되지 않은 프로덕션 모델을 대상으로 한다.

핵심 메커니로리즘

이 공격은 현대적 LLM이 다단계 추론을 통해 간단한 "의사-TLP(pseudo-TLPs)"를 해결할 수 있는 충분한 능력을 갖추고 있다는 관찰에 기반한다. 저자들은 의사-TLP 역할을 하는 간단한 인코딩(예: 치환 암호)을 활용한다:

1. 자원 비용: 디코딩은 순차적 추론 단계($n$ 길이의 프롬프트에 대해 $O(n)$)를 요구하며, 이는 경량 가드 모델에 할당된 계산 예산을 초과한다.
2. 해결 가능성: 메인 LLM은 기존의 추론 능력을 사용하여 이러한 인코딩을 풀 수 있다.

공격 프레임워크

공격은 2단계 구조를 따른다(논문의 그림 1 참조):

1. 주입 (1단계): 공격자는 인코딩된 악의적 프롬프트(예: "DAN" 또는 "YESMAN"과 같은 탈옥 템플릿과 유해한 의도를 결합한 형태)를 디코딩 지침과 함께 제출한다. 가드 모델은 이를 일반적인 인코딩/디코딩 작업으로 인식하여 차단하지 못하며, 이를 차단할 경우 광범위한 합법적 인코딩/디코딩 작업을 차단하게 된다. 메인 LLM은 디코딩을 수행하여 악의적인 프롬프트를 자신의 컨텍스트 안에 배치한다.
2. 활성화 (2단계): 공격자는 디코딩된 내용을 참조하며 실행을 요청한다. 악의적인 내용이 이제 대화 컨텍스트 내에 모델이 생성한 텍스트로서 포함되어 있고, 모델이 데이터와 지시를 구분하는 데 어려움을 겪기 때문에, 모델은 탈옥(jailbreak)을 실행한다.

변형 모델

저자들은 서로 다른 자원 제약을 악용하기 위해 두 가지 특정 변형을 구현했다:

• 타임 릴리스 공격 (Timed-Release Attacks): 치환 암호를 문자 단위로 적용하여 순차적 디코딩을 강제한다. 이는 추론 시간 제약을 악용하여 가드 모델의 예산을 초과하는 의사-TLP를 생성한다.
• 스페이스 릴리스 공격 (Spaced-Release Attacks): 문자를 장황한 설명 텍스트로 대체한다(예: "A"를 "알파벳의 첫 번째 글자"로 변경). 이는 프롬프트 길이를 극적으로 확장한다. 이는 긴 입력을 잘라내거나 청킹(chunking)하는 가드 모델의 컨텍스트 창 제한을 악용한다.

주요 기여

1. 이론적 불가능성의 실질적 구현: 본 논문은 Ball 등[5]의 이론적 결과와 실무 보안 사이의 간극을 메우며, 암호학적 TLP나 모델 수정 없이도 수정되지 않은 프로덕션 모델이 자원 비대칭 공격에 취약함을 입증했다.
2. 프로덕션 시스템 검증: 공격은 Google Gemini, DeepSeek Chat, xAI Grok, Mistral Le Chat의 4가지 주요 채팅 플랫폼에서 테스트되었다. 이 방식은 베이스라인 방법들(생(raw) 악의적 의도, 생(raw) 탈옥, 단순 인코딩 공격)이 실패한 지점에서 매우 높은 성공률(Gemini, DeepSeek, Grok의 경우 12/12 악의적 의도 성공, Mistral은 11/12 성공)을 달了.
3. 체계적인 가드 모델 평가: 저자들은 4,000개의 공격 프롬프트에 대해 22M에서 671B 파라미터에 이르는 14개의 오픈 웨이트 프롬프트 가드 모델을 평가했다.
   • 발견: 강력한 추론 모델(예: DeepSeek-R1)조차도 과도한 지연 시간 오버헤드(빠른 분류기보다 3배에서 70배 느림)를 감수하지 않고서는 공격을 신뢰성 있게 탐지할 수 없었다.
   • 결론: 효과적인 방어는 보호 대상 모델과 대등한 계산 자원을 필요로 하며, 이는 입력 필터링의 동기인 효율성 이점을 무력화한다.
4. 확장된 취약성 분석:
   • 저작권 데이터 추출: 이 공격은 기억된 저작물(동화책)을 89-94%의 유사도로 추출할 수 있었으며, 이는 지적 재산권에 대한 정렬의 사각지대를 강조한다.
   • 추론 토큰 누출: 저자들은 모델이 최종 출력이 편집되더라도 중간 추론 단계에서 악의적인 내용을 노출하는 "생각하는 토큰(thinking tokens)"의 누출을 확인했다.

결과

• 공격 성공률 (ASR):
  • Google Gemini (2.5 Flash): 타임 릴리스 공격에 대해 100% ASR.
  • DeepSeek Chat: 100% ASR.
  • xAI Grok: 100% ASR.
  • Mistral Le Chat: 92% ASR (한 건의 디코딩 실패).
  • 베이스라인 비교: 생(raw) 악의적 의도는 차단되었으며(ASR 0-50%), 생(raw) 탈옥은 Gemini와 DeepSeek에서 거부되었다(ASR 0%). 단순 인코딩 공격(디코이드 후 활성화 구조가 없는 경우)은 대부분의 플랫폼에서 완전히 실패했으며(ASR 0%), 이는 두 단계 구조의 필요성을 증명한다.
• 자원 임계값: 경험적 분석 결과 공격 성공의 명확한 임계값이 드러났다. 타임 릴리스 공격은 프롬프트 길이가 약 800 토큰을 초과할 때 성공했으며, 스페이스 릴리스 공격은 약 10,000개 이상의 토큰을 필요로 했다. 이는 가드 모델(예: Meta의 Prompt Guard 2는 512 토큰 창을 가짐)의 알려진 컨텍스트 창 및 지연 시간 제약과 일치한다.
• 가드 모델 성능: 목적 기반 분류기(예: Llama Prompt Guard 2, ShieldGemma)와 LLM 기반 분류기 모두 "인스턴트" 모드에서 제어된 릴리스 공격을 탐지하는 데 실패했다. 추론 모델의 "생각하는" 모드조차 공격을 효율적으로 탐지하지 못했으며, 탐지를 위해서는 수천 개의 추론 토큰이 필요했으나 이는 저지연 입력 필터링에는 불가능한 수준이다.

의의 및 주장

본 논문은 자원 비대칭성 취약점이 패치해야 할 버그가 아니라, 필터링과 생성을 분리하는 설계 패턴의 근본적인 결과라고 주장한다.

• 입력 필터의 불충분함: 저자들은 입력 필터가 효율성 측면에서는 가치가 있지만, 유일한 방어선이 될 수는 없다고 주장한다. 불가능성 결과는 보호 대상 모델보다 유의미하게 빠르게 실행되는 필터는 적대적 프롬프트를 보편적으로 탐지할 수 없음을 시사한다.
• 출력 방지로의 전환: 실험 결과는 "악의적 입력 탐지"에서 "악의적 출력 방지"로의 전환을 뒷받ered한다. 저항력을 보인 플랫폼들(OpenAI ChatGPT, Anthropic Claude, Meta AI)은 출력 필터링을 포함한 다층적 방어를 채택하고 있는 것으로 보인다.
• 오픈 소스에 대한 시사점: 오픈 소스와 호스팅된 상용 모델 사이의 안전 격차는 더 벌어질 가능성이 높다. 오픈 소스 기여자들은 대규모 학습 기반 정렬이나 출력 필터링을 위한 자원이 부족하며, 입력 필터만으로는 자원 비대칭 공격에 효과적이지 않음이 입증되었다.
• 방어 전략: 논문은 효과적인 방어를 위해 입력 필터링과 학습 기반 정렬 및 출력 필터링을 결합할 것을 제안한다. 또한, "생각하는" 과정을 노출하는 시스템에서는 최종 출력뿐만 아니라 중간 추론 토큰을 모니터링하는 것이 매우 중요함을 강조한다.

요약하자면, 본 논문은 입력 필터링의 이론적 한계가 실제 시스템에서 어떻게 나타나는지를 경험적으로 검증하며, 단순한 자원 비대칭 공격이 주요 프로덕션 LLM의 최첨단 안전 메커니즘을 우회할 수 있음을 보여준다.