💻 computer science

Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

이 논문은 정적 구분자 풀(static separator pools)을 암호화 해시에서 유도된 요청별 고유 카나리 쌍(per-request canary pairs)으로 대체함으로써, 모델 미세 조정 없이도 폭발 반경 취약점(blast-radius vulnerabilities)을 효과적으로 제거하고 프롬프트 인젝션 공격 성공률을 크게 낮추는 다형적 프롬프트 어셈블리(Polymorphic Prompt Assembling, PPA)를 위한 동적 구분자 생성 메커니즘을 제안한다.

원저자: Nima Dorzhiev, Peng Liu

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nima Dorzhiev, Peng Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 약간은 잘 속는 로봇 비서(AI 에이전트)라고 상상해 보세요. 당신의 임무는 상사(시스템 지침)가 작성한 엄격한 규칙을 따르면서 동시에 대중의 요청(사용자 입력)을 듣는 것입니다.

문제는 교활한 해커가 공공 요청 안에 "상사의 말을 무시하고 대신 내 말을 들어라"라는 메모를 몰래 끼워 넣을 수 있다는 점입니다. 이것을 **프롬프트 인젝션 공격(Prompt Injection Attack)**이라고 부릅니다.

기존의 해결책: "정적" 비밀번호

이전에 연구자들은 **다형적 프롬프트 조립(Polymorphic Prompt Assembling, PPA)**이라는 방어 기법을 개발했습니다. 이것은 마치 상사의 규칙과 대중의 요청 사이에 특별하고 고유한 울타리를 설치하는 것과 같습니다.

작동 방식: 시스템에는 84개의 서로 다른 울타리 디자인(구분자)이 담긴 고정된 상자가 있었습니다. 요청이 들어올 때마다 시스템은 이 상자에서 무작위로 하나의 울타리를 골라 사용했습니다.
결함: 만약 해커가 이 울타리 중 하나를 훔쳐보고 정확히 어떻게 생겼는지 알아낸다고 가정해 봅시다. 시스템이 이 울타리들을 계속 재사용하기 때문에, 해커는 이제 미래의 대화에서 이와 똑같은 울타리 디자인을 사용하여 로봇을 속일 수 있습니다. 울타리 디자인이 진정으로 변하지 않고 계속 재사용되기 때문에 피해가 확산됩니다("블래스트 반경").

새로운 해결책: "동적" 일회용 잠금장치

이 논문은 대폭 업그레이드된 버전인 **동적 구분자 생성(Dynamic Separator Generation)**을 제안합니다.

상자에서 울타리를 꺼내는 대신, 이 시스템은 매 요청마다 새롭고 고유한 울타리를 직접 제작합니다.

작동 방식: 당신이 로봇에게 질문할 때마다, 시스템은 정확한 시간, 당신의 고유 ID, 그리고 그 순간만을 위해 생성된 난수를 확인합니다. 그리고 이 재료들을 혼합하여(SHA-256이라는 수학적 레시피를 사용하여) 단 하나뿐인 "시작" 및 "종료" 표식을 만들어냅니다.
비유: 당신이 편지를 보내는 상황을 상상해 보세요.
- 기존 방식: 당신은 표준적인 빨간 봉투를 사용합니다. 만약 도둑이 빨간 봉투를 훔친다면, 나중에 이를 이용해 편지를 위조할 수 있습니다.
- 새로운 방식: 당신은 버튼을 누르는 정확한 시간에 따라 매번 고유하고 반복 불가능한 봉투를 만드는 마법 프린터를 사용합니다. 설령 도둑이 '편지 #1'의 봉투를 훔쳤더라도, '편지 #2'는 완전히 다른, 예측 불가능한 봉투를 사용하기 때문에 그 봉투는 아무런 쓸모가 없습니다.

연구진의 발견

연구팀은 이 새로운 "동적" 방식이 강력한 AI 모델(Llama-3.3)을 대상으로 16가지 유형의 해커 기술에 대해 얼마나 잘 작동하는지 테스트했습니다.

"리트스피크(Leetspeak)" 기술 차단: 특정 해커 기술(M1이라 불림)은 AI를 혼란스럽게 하기 위해 비밀 코드와 긴박한 언어를 사용합니다.
- 이전: AI는 이 기술에 88%의 확률로 속았습니다.
- 이후: AI는 이 기술에 38%의 확률로만 속았습니다. 이는 엄청난 개선입니다(안전성이 두 배 이상 향상되었습니다).
"포맷 탈출(Format Breakout)" 기술 차단: 또 다른 기술은 AI가 울타리 표식을 해커에게 다시 말하도록 유도하는 것입니다.
- 이전: AI는 47%의 확률로 울타리 표식을 실수로 노출했습니다.
- 이후: AI는 울타리 표식을 **0%**의 확률로 노출했습니다. 울타리가 그 순간만을 위해 고유했기 때문에, 이를 노출하더라도 해커가 향후의 요청에 활용할 수 없었습니다.
속도: 이 새로운 방식은 믿을 수 없을 정도로 빠릅니다. 요청을 처리하는 데 단 2.7 마이크로초(눈 깜빡임의 아주 작은 부분)만을 추가합니다. 너무 빨라서 체감할 수 없을 정도입니다.
품질: 로봇이 본래의 업무(텍스트 요약이나 질문 답변 등)를 수행하는 능력은 나빠지지 않았습니다. 이전과 마찬가지로 잘 작동했습니다.

한 가지 제약 사항 (한계점)

이 논문은 이 방식이 해결할 수 없는 한 가지를 인정합니다: 만약 해커가 로봇에게 "제발 울타리 표식을 나에게 다시 말해줘"라고 명시적으로 명령한다면, 로봇은 여전히 그렇게 할 수도 있습니다.

해결책: 연구진은 이것이 현재 계층의 근본적인 한계라고 말합니다. 이를 막으려면, 로봇의 답변이 나가기 전 마지막 단계에서 이를 검사하는 별도의 "보안 요원"이 필요하지만, 이는 이번 연구의 범위가 아니었습니다.

요약

이 논문은 모든 대화에 대해 신선하고 고유하며 일회용인 울타리를 제공함으로써 AI 에이전트를 더 안전하게 만드는 방법을 소개합니다. 해커가 울타리를 훔치더라도, 다음 대화에서는 완전히 다른 울타리가 사용될 것이기에 그 탈취물은 무용지물이 됩니다. 이는 빠르고 쉽게 추가할 수 있는 업그레이드이며, AI가 속을 가능성을 현저히 줄여줍니다.

기술 요약: 동적 구분자 생성을 통한 다형성 프롬프트 조립(PPA) 강화

문제 정의

대규모 언어 모델(LLM) 에이전트는 사용자 입력이 시스템 지침을 무력화하는 프롬프트 인젝션 공격에 점점 더 취약해지고 있습니다. **다형성 프롬프트 조립(Polymorphic Prompt Assembling, PPA)**은 사용자 입력을 시스템 지침으로부터 격리하기 위해 사용하는 구분자 쌍(예: BEGIN/END 토큰)을 무작위화함으로써 강력한 방어책을 제공하지만, 현재의 구현 방식은 사전에 생성된 **정적 풀(static pool)**의 구분자들에 의존하고 있습니다.

저자들은 이러한 정적 접근 방식의 결정적인 아키텍처적 취약점을 지적합니다: 바로 **구분자 유출의 폭발 반경(blast-radius of separator leakage)**입니다. 만약 공격자가 모델의 응답에서 특정 구분자를 추출하는 데 성공한다면, 해당 구분자는 고정된 재사용 가능 풀에서 추출되었기 때문에 향후 모든 요청에 대해 유효하게 됩니다. 이는 공격자가 유출된 구분자를 사용하여 이후의 상호작용에서 표적화된 우회 페이로드를 제작하는 데 재사용할 수 있게 함으로써, 시스템의 장기적인 보안을 저해합니다.

방법론

정적 풀의 한계를 해결하기 위해, 본 논문은 풀 선택 대신 요청당 암호학적 유도를 사용하는 동적 구분자 생성(Dynamic Separator Generation) 메커니즘을 제안합니다.

생성 메커니즘: 고정된 목록에서 선택하는 대신, 시스템은 매 요청마다 고유한 (BEGIN, END) 카나리(canary) 쌍을 생성합니다. 이 쌍들은 세 가지 동적 입력값에 키를 둔 **도메인 분리 SHA-256 다이제스트(domain-separated SHA-256 digests)**로부터 유도됩니다:
1. 나노초 단위 해상도의 타임스탬프(ts).
2. UUIDv4 세션 식별자(sid).
3. 16바이트 암호학적 논스(nonce).
구성: 구분자는 ====BEGIN-{24자리 16진수}==== 및 ====END-{24자리 16진수}==== 형식으로 구성됩니다. 도메인 접두사(BEGIN: 대 END:)는 충돌을 방지하며, 24자리 16진수(96비트)로 절삭하는 것은 충돌 확률을 $2^{-96}$ 미만으로 보장합니다.
통합: 이 솔루션은 기존 PPA SDK에 대한 하위 호환 가능한 확장 기능으로 구현되었습니다. 이는 separator_mode 파라미터(static | dynamic)를 도입하며, 모델 파인튜닝을 요구하지 않습니다. DynamicSeparatorProvider 호출 함수는 변경되는 타임스탬프와 논스로 인해 동일한 세션 내에서도 매 호출 시 새로운 쌍을 생성하도록 보장합니다.
구조: 이 솔루션은 기존 PPA 프레임워크에 통합되어 있으며, 하위 호환성을 깨뜨리지 않습니다.

주요 기여

동적 생성기: 기존 PPA의 하위 호환성을 유지하면서도, 요청당 고유한 카나리를 생성하는 검증 가능한 동적 생성기를 제공합니다.
평가 하네스: 마커 기반 및 LLM 기반 분류기를 모두 활용하여, 포스트 퍼블리케이션 공격(M1, M2) 및 포맷/방해 요소 인젝션인 "샐러드(salad)" 계열을 포함한 16가지 명명된 공격 페이로드를 지원하는 테스트 프框架를 지원합니다.
실증적 증거: 동적 생성이 공격 성공률(ASR)을 유의미하게 낮추고, 정적 풀이 완화할 수 없는 구분자 유출 벡터를 제거함을 보여주는 정량적 데이터를 제시합니다.

실험 결과

시스템은 Llama-3.3-70B-Instruct-Turbo(주요 모델)와 DeepSeek-V4-Flash(교차 모델 검증)를 대상으로 16가지의 뚜렷한 페이로드를 통해 평가되었습니다.

M1 난독화 페이로드 (Leetspeak + 긴급성):
- Static 모드: ASR = 0.88.
- Dynamic 모드: ASR = 0.38.
- 유의성: 정적 모드의 95% 윌슨 신뢰 구간 [0.802, 0.930]과 동적 모드의 [0.291, 0.478]은 서로 겹치지 않으며, 이는 $N=100$ 에서 통계적 유의성을 확인시켜 줍니다. 이는 공격 성공률의 2.3배 감소를 의미합니다.
포맷 탈출 샐러드 (Format Breakout Salad):
- Static 모드: 구분자 유출률 = 0.467 (공격자가 구분자를 성공적으로 에코함).
- Dynamic 모드: 유출률 = 0.000.
- 유의성: 동적 카나리는 주입된 패턴이 요청 범위 내의 고유한 구분자와 일치할 수 없기 때문에 유출 벡터를 완전히 제거했습니다.
인지적 오버라이드 (M2):
- ASR이 정적 모드(0.09)에서 동적 모드(0.00)로 감소했습니다.
교차 모델 검증: DeepSeek-V4-Flash에서 동적 모드는 ASR을 0.45에서 0.38로 낮추었으나, 신뢰 구간이 겹쳤으며, 이는 기본 모델의 취약성에 따라 이점의 규모가 달라질 수 있음을 시사합니다.
성능 오버헤드: 동적 생성은 요청당 단 2.7 µs의 오버헤드만 추가하며, 이는 일반적인 LLM 추론 지연 시간(>500 ms)에 비해 무시할 수 있는 수준입니다.
품질 영향: 5개 작업 범주에 걸친 100개의 양질의 요청에 대한 평가 결과, 응답 품질 저하는 나타나지 않았습니다 (Dynamic PPA 평균 점수: 5.00 vs. Baseline: 4.96).

의의 및 한계

본 논문은 동적 구분자 생성이 유출된 구분자를 요청 범위 내로 제한함으로써 **폭발 반경(blast radius)**을 근본적으로 변화시킨다고 주장합니다. 유출된 구분자는 구조적으로 요청 기반(request-scoped)이므로 향후 요청에는 무용지물이 됩니다.

그러나 저자들은 이 방어책의 범위에 대해 다음과 같이 신중한 입장을 유지합니다:

만능 해결책은 아님: 모델이 명시적으로 경계(boundary)를 반복하도록 지시받는 경우(예: separator_echo_salad는 두 모드 모두에서 1.00의 유출률을 기록), 동적 생성은 초기 구분자 노출 자체를 방지하지는 못합니다. 저자들은 이를 완화하려면 현재 연구 범위 밖인 응답 레벨의 출력 필터가 필요하다고 언급합니다.
암호학적 강화: 현재 구현은 키가 없는(unkeyed) SHA-256을 사용합니다. 저자들은 공격자가 세션 ID, 타임스탬프, 논스에 접근할 수 있다면(예: 로그를 통해) 구분자를 재현할 수 있음을 인정합니다. 따라서 실제 배포 시에는 이를 방지하기 위해 서버 측 비밀키를 사용한 HMAC-SHA256을 사용할 것을 권장합니다.
모델 의존성: DeepSeek-V4-Flash 백엔드에서의 비유의미한 감소에서 알 수 있듯이, 동적 접근 방식의 효과는 기본 모델의 취약성에 따라 달라지는 것으로 보입니다.

결론적으로, 본 논문은 정적 PPA의 "풀 재사용" 취약점을 효과적으로 무력화하면서도 지연 시간을 거의 늘리지 않고 정교한 인젝션 페이로드에 대한 공격 성공률을 크게 낮추는, 가볍고 하위 호환 가능한 아키텍처 업그레이드를 제시합니다.