기술 요약: Handlebars 템플릿 기반 LLM 프롬프트에서의 구조적 역할 주입 (Structural Role Injection)

문제 정의

대규모 언어 모델(LLM) 애플리케이션은 종종 템플릿 엔진을 사용하여 프롬프트를 구성하며, Handlebars는 가장 지배적인 선택지 중 하나입니다 (예: Microsoft Semantic Kernel의 기본값). Handlebars는 두 가지 보간 모드를 제공합니다: 이중 중괄호 {{x}}(HTML 이스케이프 적용)와 삼중 중괄호 {{{x}}}(원시 데이터 삽입). 이중 중괄호 모드는 <, >, &, ", '와 같은 문자를 이스케이프하여 HTML 컨텍스트에서의 교차 사이트 스크립팅(XSS)을 방지하도록 설계된 "안전한" 기본값으로 문서화되어 있습니다.

본 논문은 중요한 보안 격차인 **구조적 역할 주입(structural role injection)**을 식별합니다. LLM 프롬프트에서 채팅 역할(System, User, Assistant)은 특정 텍스트 패턴(예: ``, [INST], Human:)에 의해 구분됩니다. 공격자가 템플릿 슬롯에 주입되는 데이터를 제어할 수 있다면, 이들은 이러한 구분자를 삽로 삽입하여 개발자의 지침을 무력화하고 더 높은 권한의 턴을 위조할 수 있습니다. 핵심 질문은 Handlebars의 HTML 이스케이프가 이러한 구조적 구분자를 효과적으로 무력화할 수 있는지 여부입니다. 본 논문은 HTML 이스케이프가 특정 문자 집합(꺾쇠괄호)을 대상으로 하기 때문에, 다른 문자(대괄호, 콜론, 마크다운 해시 등)에 의존하는 구분자들을 보호하는 데 실패하여 개발자에게 잘못된 보안 의식을 심어줄 수 있다고 상정합니다.

방법론

본 연구는 정적 분석과 네 가지 모델(GPT-3.5 Turbo, GPT-4o mini, GPT-4.1 mini, Claude Haiku 4.5)에 대한 경험적 평가를 결합한 이중 계층 접근 방식을 채택합니다.

1. 정적 차분 분석 (모델 독립적):

   • 저자들은 7가지 구분자 패밀리를 분석합니다: plain (순수 지침), Markdown (###), Anthropic (Human:/Assistant:), Llama-2 ([INST], <<SYS>>), ChatML (``), Llama-3 (<|start_header_id|>), XML (<system>).
   • 역할 제어 토큰이 Handlebars의 escapeExpression을 통과할 때의 "생존율(survival rate)"을 측정합니다. 이를 통해 어떤 구분자가 재작성(무력화)되고 어떤 것이 바이트 단위로 동일하게 유지(온전하게 남음)되는지 결정합니다.

2. 경험적 평가:

   • 범위: 16개 시나리오(8개 애플리케이션 카테고리 포함: 요약 및 QA), 7개 구분자 패밀리, 2개 공격 목표를 아우르는 총 5,760회의 시행.
   • 공격 목표:
     • 작업 탈취 (Task Hijack): 모델에게 기존 작업을 포기하고 특정 마커 토큰을 출력하도록 지시.
     • 비밀 유출 (Secret Exfiltration): 시스템 지침에 심어진 비밀 카나리(canary)를 드러내도록 모델에 지시 (정렬 학습으로 인해 더 어려운 목표임).
   • 변수: 신뢰할 수 있는 시스템 지침은 일정하게 유지하면서, Handlebars 슬롯을 원시 모드({{{document}}})와 이스케이프 모드({{document}}) 사이에서 전환합니다.
   • 지표: 95% Wilson 신뢰 구간을 사용한 공격 성공률(ASR)을 측정하며, Fisher의 정확 검정(Fisher's exact test)을 사용하여 분석합니다.

주요 기여

• 정적 메커니즘 격리: 본 논문은 Handlebars의 이스케이프가 포괄적인 방어가 아닌 부수적인(incidental) 것임을 보여주는 모델 프리(model-free) 분석을 제공합니다. 이는 꺾쇠괄호 패밀리(ChatML, Llama-3, XML)는 무력화하지만, 대괄호(Llama-2), 콜론(Anthropic), 마크다운 패밀리는 전혀 손대지 않고 그대로 둡니다.
• 조건부 보호: 연구는 "안전한" 기본값이 특정 구분자 체계에 대해서만 보호를 제공한다는 점을 확립합니다. 토큰이 이스케이프 과정에서 생존하는 패밀리(예: Human: 또는 [INST])의 경우, 이스케이프 모드와 원시 모드는 주입 위험 측면에서 기능적으로 동일합니다.
• 경험적 검증: 5,760회의 시행을 통해, 저자들은 이스케이프가 다음의 경우에만 ASR을 감소시킨다는 것을 확인했습니다:
  1. 구분자 패밀리가 HTML 이스케이프에 의해 무력화될 때.
  2. 모델이 이미 "포화(saturated)" 상태가 아닐 때 (즉, 구조적 프레이밍 없이 순수 지침을 따를 수 있는 상태).
• 모델 민감도 구배 (Model Susceptibility Gradient): 연구는 모델의 정체성이 템플릿 엔진의 선택보다 위험의 더 강력한 예측 변수임을 강조합니다. 예를 들어, Claude Haiku 4.5는 두 가지 목표 모두에 대해 거의 완벽하게 저항한 반면, GPT-3.5 Turbo와 GPT-4.1 mini는 이스케이프 여부와 상관없이 매우 취약했습니다.

결과

• 생존율:
  • 0.00 생존 (완전 무력화): ChatML, Llama-3, XML.
  • 1.00 생존 (완전 온전): Markdown, Anthropic.
  • 0.33 생존 (혼합): Llama-2 ([INST] 때문에 생존, <<SYS>> 때문에 무력화).
• 공격 성공률 (ASR):
  • GPT-3.5 Turbo: 높은 취약성을 보임 (탈취 작업에 대해 raw 97%, escaped 91%). 이스케이프 효과는 Llama-2 패밀리에서만 관찰됨 (88%에서 52%로 하락). 이는 다른 패밀리들이 이미 천장에 도달했거나 완전히 무력화되었기 때문입니다.
  • GPT-4o mini: 더 명확한 상호작용을 보여줌. 꺾쇠괄호 패밀리(Llama-3, XML)는 이스케이프 시 ASR이 크게 감소한 반면 (예: Llama-3는 56%에서 12%로 하락), 콜론/마크다운 패밀리는 높은 수치를 유지함 (100% 및 약 88%).
  • Claude Haiku 4.5: 두 모드 모두에서 모든 공격을 저항함 (ASR 0%), 따라서 템플릿 선택이 무의미해짐.
• 비밀 유출: 이 더 어려운 목표는 모델을 포화시키지 않았으며, 이스케이프와 구분자 패밀리 간의 상호작용을 더 깨끗하게 드러냈습니다. 이스케이프는 무력화된 패밀리(예: Llama-3 및 XML)의 유출을 줄였으나, 생존하는 패밀리(Anthropic, Markdown)에는 아무런 효과가 없었습니다.

의의 및 주장

본 논문은 Handlebars의 이스케이프 기본값이 프롬프트 인젝션 제어 장치가 아님을 결론짓습니다. 그 보호 효과는 HTML 이스케이프가 우연히 꺾쇠괄호를 커버하기 때문에 발생하는 부산물이지, LLM의 구조적 구분자를 위해 설계된 방어책이 아닙니다.

• 잘못된 보안 의식: "안전한" 기본값에 의존하는 개발자들은 일부 체계(ChatML)에 대해서는 보호받지만, 다른 체계(Anthropic, Markdown, Llama-2)에 대해서는 완전히 노출되며, 이에 대한 경고는 문서에 없습니다.
• 구조적 분리가 필요함: 본 논문은 템플릿 선택이 구조적 분리를 대체할 수 없다고 주장합니다. 효과적인 방어를 위해서는 지침과 데이터를 별도의 채널로 분리하거나, 모델이 지침 계층 구조를 존중하도록 훈련시키거나, 신뢰할 수 없는 범위를 해당 채팅 형식의 구분자 규칙에 따라 명시적으로 인코딩해야 합니다.
• 모델 의존성: 위험 프로필은 템플링 엔진의 이스케이프 모드보다 모델 고유의 민감도에 의해 결정됩니다. 순수 지침에 취약한 모델은 이스케이프 여부와 관계없이 탈취될 것이며, 저항력이 있는 모델은 안전을 유지할 것입니다.

저자들은 이스케이프 기본값을 활성화된 상태로 유지해야 한다고 강조합니다 (HTML 컨텍스트에서 유용하고 해롭지 않으므로). 그러나 이것이 LLM 애플리케이션의 구조적 역할 주입에 대한 유일한 방어책으로 신뢰되어서는 안 된다는 점을 분명히 합니다.