기술 요약: 프롬프트 민감도 최소화 (Prompt Sensitivity Minimization, PSM)

문제 정의

시스템 프롬프트는 대규모 언어 모델(LLM) 애플리케이션의 "비법 소스"로서, 고유한 로직, 운영상의 제약 조건, 그리고 경쟁 우위를 담고 있습니다. 그러나 이러한 가치 때문에 시스템 프롬프트는 공격자가 악의적인 입력을 설계하여 숨겨진 지침을 드러내도록 유도하는 **프롬프트 추출 공격(prompt extraction attacks)**의 주요 표적이 됩니다. 기존의 방어 기제는 "지침을 공개하지 마시오"와 같은 취약한 휴리스틱(heuristic)에 의존하는 경우가 많아, 적대적인 문구 구성에 의해 쉽게 무력화되거나, 모델의 가중치 및 그래디언트에 대한 화이트박스(white-box) 접근 권한을 요구하여 폐쇄형 API 모델에는 적용할 수 없다는 한계가 있습니다. 또한, 많은 강력한 방어 메커니즘은 상당한 계산 오버헤드를 발생시키거나 모델 본연의 기능(유틸리티)을 저하시킵니다.

본 논문은 개발자가 직면한 과제를 다룹니다: 개발자가 어떻게 블랙박스 방식(모델 접근 권한 없음)이면서도, 경량화되어 있고(최소한의 오버헤드), 작업 유틸리티를 해치지 않으면서 효과적인 프롬프트 추출 방어책을 설계할 수 있는가?

방법론: 프롬프트 민감도 최소화 (PSM)

PSM은 프롬프트 강화(prompt hardening)를 유틸리티 제약 최적화 문제로 재정의합니다. 정적인 규칙에 의존하는 대신, PSM은 원래의 시스템 프롬프트 뒤에 덧붙여질 보호용 텍스트 접미사인 SHIELD를 자동으로 생성하고 반복적으로 정교화합니다.

1. 문제 공식화

목표는 적대적 공격 하에서 원래 프롬프트 $P$의 유출을 최소화하면서, 선량한 입력에 대한 모델의 유틸리티 $U$가 임계값 $\tau$ 이상을 유지하도록 하는 최적화된 접미사 $S$를 찾는 것입니다.
$$\min_{S} L(P \oplus S) \quad \text{subject to} \quad U(P \oplus S) \geq \tau$$
여기서:

• $L(P \oplus S)$는 적대적 쿼리에 의해 회복되는 $P$의 양을 정량화하는 **유출 점수(leakage score)**입니다.
• $U(P \oplus S)$는 합법적인 작업에 대한 베이스라인 출력과의 의미론적 충실도를 측정하는 **유틸리티 점수(utility score)**입니다.

2. 실드 구조 (The Shield Structure)

실드는 다음과 같은 구조화된 마커와 함께 접미사로 추가됩니다:
[SYSTEM PROMPT] {Original Prompt} [SHIELD] {Optimized Shield}
이 설계는 LLM이 컨텍스트의 끝에 있는 정보를 더 비중 있게 다루며, 충돌이 발생할 때 최근의 지침을 따른다는 경험적 관찰을 활용합니다. 구조화된 마커는 원래의 프롬프트와 보호 계층을 명시적으로 구분하여, 모델이 지침의 계층 구조를 인식하는 데 도움을 줍니다.

3. 목적 함수 (Objective Functions)

• 유출 목적 함수 ($L$): 원래 프롬프트와 일련의 적대적 쿼리에 대한 모델 응답 사이의 **ROUGE-L 재현율(recall)**을 사용하여 측정합니다. 최적화를 용이하게 하기 위해, 본 논문에서는 50개의 구성적 적대적 프롬프트 세트에 대한 최대 유출량의 매끄러운 근사치(log-sum-exp)를 사용합니다. 이 프롬프트들은 주의 분산 요소, 반복 요청, 포맷팅 요청 등을 결려 강력하고 현실적인 공격자를 시뮬레이션합니다.
• 유틸리티 목적 함수 ($U$): 선량한 쿼리에 대한 골드 스탠다드(gold-standard) 응답과 실드 적용 모델의 출력 간의 의미론적 유사성(문장 임베딩을 통해)을 비교하여 측정합니다. 이 지표는 작업 품질의 상대적 보존을 보장하기 위해 베이스라인 모델의 성능에 대한 비율로 산출됩니다.

4. LLM-as-Optimizer를 통한 최적화

PSM은 LLM이 최적화 도구 역할을 수행하는 블랙박스 형태의 진화론적 알고리즘을 채택합니다:

1. 초기화: LLM이 다양하고 다양한 초기 실드 후보군을 생성합니다.
2. 평가: 각 후보는 적합도 함수(fitness function)를 통해 평가됩니다: $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$, 여기서 $\lambda$는 유틸리티 손실에 대한 큰 페널티 승수입니다.
3. 선택 및 생성: 상위 성과를 낸 실드들이 선택되며, 이들의 텍스트와 점수는 최적화 LLM에 인컨텍스트 예시(in-context examples)로 다시 전달됩니다. LLM은 성공적인 패턴을 분석하고 개선된 새로운 후보를 생성합니다.
4. 반복: 이 과정은 수렴(낮은 유출 및 높은 유틸리티)할 때까지 반복됩니다.

주요 기여

• 블랙박스 호환성: PSM은 모델의 가중치, 그래디언트 또는 내부 구조에 대한 접근을 요구하지 않으므로, API를 통해 접근 가능한 모든 독점 또는 오픈소스 LLM에 적용 가능합니다.
• 낮은 오버헤드: 학습된 실드는 정적인 텍스트 접미사입니다. 이는 추론 시 무시할 만한 비용만을 부과하며, 서빙 스택의 변경이 필요 없습니다. 최적화는 오프라인에서 수행됩니다.
• 반복적 개선: 최적화 도구로서 LLM을 사용함으로써, 프레임워크는 자연어의 고차원적인 의미 공간을 지능적으로 탐색하여 비직관적이고 효과적인 방어 전략을 찾아냅니다.
• 유틸리티 보존: 프레임워크는 엄격한 유틸리티 제약을 강제하여, 보안 강화가 의도된 작업의 성능을 저하시키지 않도록 보장합니다.

실험 결과

저자들은 세 가지 폐쇄형 모델(GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI)에 대해 두 가지 시스템 프롬프트 코퍼스(Unnatural Instructions 및 Synthetic System Prompts)를 사용하여 PSM을 평가했습니다. 테스트에는 Raccoon, Raccoon-Language, Polite-Requests, Command-Override의 네 가지 공격 스위트가 사용되었습니다.

• 유출 감소: PSM은 베이스라인(방어 없음, N-gram 필터, 휴리스틱 가드레일, 디코이 프롬프트)보다 성능이 월등히 뛰어났습니다. 모든 데이터셋과 모델에 걸쳐, PSM은 공격 성공률(ASR)을 **0~6%**로 낮추었으며, 종종 거의 제로에 가까운 유출을 달성했습니다.
• 패러래이징(Paraphrase)에 대한 강건성: 번역이나 패러프레이징 공격(Raccoon-Language)에 실패하는 N-gram 필터와 달리, PSM은 낮은 ASR을 유지하며 문자 그대로의 텍스트 중복을 넘어선 강건성을 입증했습니다.
• 유틸리티 보존: 표 3은 PSM이 의미론적 작업 충실도를 보존했음을 보여주며, 유틸리티 점수가 베이스라인의 100%를 초과하는 경우가 많았습니다. 이는 방어가 유용한 능력을 억제하지 않았음을 나타냅니다.
• 일반화: 최적화된 실드는 서로 다른 모델 제품군 전반에서 균일하게 낮은 ASR을 기록하며 강력한 교차 모델 일반화 성능을 보여주었습니다.

의의 및 주장

본 논문은 PSM이 LLM 보안의 패러다임 전환을 제시한다고 주장하며, 취약한 휴리스틱 기반 방어에서 강력한 최적화 기반 접근 방식으로의 이동을 강조합니다. 그 의의는 다음과 같습니다:

1. 실용성: 화이트박스 접근 권한이나 전문 지식 없이도 귀중한 프롬프트 자산을 보호할 수 있는 체계적이고 재현 가능한 방법을 제공합니다.
2. 확장성: 실드의 경량 특성 덕분에 추론 시 오버헤드 없이 실제 환경에 배포가 가능합니다.
3. 보안 태세: 유틸리티를 유지하면서 프롬프트 유출을 효과적으로 차단함으로써, PSM은 LLM 애플리케이션의 상업화에서 발생하는 핵심적인 취약점을 해결하고 독점적 지적 재산과 운영 데이터를 보호합니다.

저자들은 PSM이 프롬프트 IP를 보호하고 차세대 LLM 시스템을 안전하게 만드는 접근 가능한 경로를 제공한다고 결론짓지만, 최적화 루프의 계산 집약성과 훈련 시 사용된 공격 스위트의 폭에 따른 의존성이라는 한계점도 인정하였습니다.