기술 요약: 프롬프트 인젝션의 해부학 (The Anatomy of a Prompt Injection)

문제 정의

2022년 프롬프트 인젝션이 처음 식별된 지 4년이 지났지만, 공격을 분석하기 위한 표준화된 구성 요소 기반 모델이 부재한 실정이다. 현재 프롬프트 인젝션 아티팩트(artifact)는 구조화된 익스플로잇(exploit)이 아닌 주로 정적인 문자열 형태로 기록되고 있다. 이러한 "문자열 매칭" 방식은 분석에 상당한 불일치를 초래한다. 예를 들어, 두 명의 분석가가 "DAN"(Do Anything Now) 프롬프트와 이력서에 숨겨진 흰색 글씨 텍스트가 동일한 유형의 위협인지에 대해 서로 의견이 다를 수 있다.

LLM(대규모 언어 모델) 에이전트의 능력이 향려됨에 따라, 공격은 점차 기술적 IT 싱크(데이터베이스, 웹 애플应用 등)를 표적으로 삼고 AI 보조 보안 분석(예: 악성코드 분류)을 조작하는 방향으로 진화하고 있다. 현재의 구성 요소 모델 부재는 방어자, 레드팀, 그리고 사이버 위협 인텔리전스(CTI) 팀이 공격을 효과적으로 라벨링, 비교 및 변이시키는 것을 방해한다. 또한, SQL 인젝션의 비유에 의존하는 것은 완화를 위한 나쁜 가이드가 된다. 왜냐하면 LLM은 데이터와 명령 사이의 본질적인 구분이 없으므로, 매개변수화된 쿼리(parameterized queries)를 통해 잔여 위험을 제거하기 어렵기 때문이다. 문제는 단순히 공격 문자열이 아니라, 아티팩트의 기능적 역할을 설명할 공유된 언어가 없다는 점이다.

방법론

본 논문은 프롬프트 인젝션 아티팩트의 구조를 공식화하기 위해 7가지 구성 요소 모델을 제안한다. 이 모델은 아티팩트 자체를 설명하는 5개의 필드와 환경을 설명하는 2개의 필드로 아티팩트를 분해한다. 방법론은 다음과 같다:

1. 기능적 역할 정의: 표면적인 문구(wording)를 넘어, 공격이 성공하기 위해 수행해야 하는 특정 작업(예: '은닉(concealment)'과 '운반체(carrier)'의 구분)을 식별하여 근본적인 메커니즘을 정의한다.
2. 라벨링 규칙 수립: 코더 간의 불일치를 줄이기 위한 결정 규칙을 생성하여, 동일한 의도를 가진 서로 다른 자연어 구현체가 동일한 구조적 라벨을 받도록 보장한다.
3. 기존 연구 교차 참조: 새로운 모델을 기존 프레임워크(Campaign taxonomy, Technique taxonomy, HOUYI, ReNeLLM, Promptware Kill Chain)와 매핑하여, 새 모델이 이전의 다른 모델들이 부분적으로만 커버했던 기능적 공간을 어떻게 포괄하는지 입증한다.
4. 실제 사례 적용: EchoLeak 취약점(CVE-2025-32711) 및 AI 보조 보안 분석을 회피하려는 실제 악성코드 샘플을 포함한 실세계 및 예시 케이스에 모델을 적용한다.

핵심 기여

1. 7가지 구성 요소 모델

핵심 기여는 프롬프트 인젝션을 7가지 구성 요소로 구조화하여 분해하는 것이다:

• 아티팩트 필드 (프롬프트 본문):

  • 운반체 (Carrier): 악성 명령을 전달하는 무해해 보이는 콘텐츠(예: 버그 보고서, 이력서, 또는 캘린더 초대). 이는 인간의 검토와 기계적 검색 과정을 통과해야 한다.
  • 은닉 (Concealment): 인간이나 필터의 탐지를 피하기 위해 설계된 난독화 계층(예: 흰색 글씨, Base64 인코딩, 언어 전환).
  • 컨텍스트 브레이크 (Context-Break): 신뢰할 수 있는 명령 컨텍스트를 종료하는 구문 탈출(프롬프트 인젝션의 "');--" 역할)로, 이후의 텍스트를 새로운 명령으로 파싱하도록 강제한다.
  • 권한 상승 (Privilege Escalation): 컨텍스트 브레이크와는 구별되며, 모델이 할 수 있거나 할 수 있는 일을 변경한다. 이는 얼라이먼트 우회(Alignment Bypass)(페르소나 또는 감정적 조작을 통한 거절 학습 무력화)와 역량 남용(Capability Abuse)(에이전트가 이미 보유한 권한을 사용하도록 강요하는 "혼란스러운 대리인(confused deputy)" 패턴 등)으로 나뉜다.
  • 페이로드 (Payload): 실행 가능한 명령(shellcode). 본 논문은 기능적 클래스(Recon, Exfiltration, Action, Persistence, DoS, Security Subversion)를 정의하며, 표면적인 문구가 아닌 의도(Intent)(도구 타겟, 싱크, 효과)를 추적하는 것을 강조한다.

• 환경 필드:

  • 전달 벡터 (Delivery Vector): 아티팩트가 신뢰 경계 내부로 들어오는 방식 (직접적 vs 간접적). 간접적 전달(예: 오염된 RAG 문서)은 공격자의 노력과 독립적으로 확장된다.
  • 반환 채널 (Return Channel): 결과가 공격자에게 도달하는 방식 (Inline, HTTP, DNS, Email, 협업 플랫폼, 또는 전송 후 종료를 위한 Null).

2. 논리적 분석 기록 (Logical Analysis Record)

논문은 사고를 기록하기 위한 JSON 형태의 스키마를 도입한다. 이 기록은 의도(Intent)(목표, 예: show_current_customer_information), 표면(Surface)(특정 문구나 인코딩), 그리고 컴파일된 효과(Compiled Effect)(실제 도구 호출 또는 동작)를 분리한다. 이를 통해 분석가들은 렉시컬(lexical) 중복이 전혀 없더라도 동일한 "기술적 형태(technique shape)"를 공유하는 캠페인을 클러스터링할 수 있다.

3. 크로스워크 및 투영 (Crosswalks and Projections)

논문은 7가지 구성 요소를 Promptware Kill Chain에 매핑하는 크로스워크를 제공하며, 기존 프레임워크(HOUYI, ReNeLLM)가 이 모델의 제한된 부분 공간에 대한 투영임을 입증한다. 예를 들어, ReNeLLM의 2개 구성 요소 결과는 직접적인 탈옥(jailbreak)에 대한 유효하지만 제한적인 뷰로 간주되는 반면, 복잡한 에이전트 공격에는 전체 모델이 필요함을 보여준다.

결과 및 예시 케이스

논문은 다음의 사례들을 통해 모델을 검증한다:

• EchoLeak (CVE-2025-32711): 운반체가 악성 이메일이고, 전달 방식이 RAG를 통한 간접 전달이며, 페이로드가 에이전트가 이미 보유한 권한을 사용하여 비밀 정보를 추출하는 역량 남용(Capability Abuse) 공격으로 입증되었다. 반환 채널은 Microsoft의 자체 서버를 통해 데이터를 프록시하기 위해 레퍼런스 스타일의 Markdown 이미지를 활용했다.
• AI 회피 악성코드 샘플: VirusTotal에 업로드된 프로젝트 "Skynet"의 실제 악성코드 샘플은 AI 분석가를 조작하려고 시도했다. 바이너리는 운반체 역할을 했으며, 페이로드의 의도는 보안 하위 침해(Security Subversion)(구체적으로 mark_benign)였다. 반환 채널은 정보 유출 없이 결정 자체를 변경하는 것이 목적이므로 Null이었다.
• 에이전틱 컴포지트 (Agentic Composite): 오염된 Jira 티켓(운반체)과 HTML 주석(은합), 그리고 위조된 시스템 태그(컨텍스트 브레이크)를 결합하여 다운스트림 도구를 통한 SQL 인젝션을 트리거하는 예시적 사례.

의의 및 주장

본 논문은 이 구성 요소 모델이 현재 결여되어 있는 공격, 방어, 그리고 위협 인텔리전스를 위한 공유된 언어를 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 표준화: 공격을 취약한 문자열 시그니처가 아닌 의도와 구조에 기반하여 분류할 수 있게 한다. 서로 다른 문구를 사용하더라도 동일한 튜플(전달, 컨텍스트 브레이크, 권한 상승, 의도, 반환 채널)을 가진 두 공격은 동일한 기술적 형태로 식별된다.
2. 탐지 및 분석 개선: 기능적 역할(예: 얼라이먼트 우회와 역량 남용의 구분)에 집중함으로써 방어자는 공격의 메커니즘을 더 잘 이해할 수 있다. 논문은 분류 가이드가 포함된 프롬프팅이 탈옥 탐지율을 높인다는 선행 연구(65.9%에서 78.0%로 향상)를 인용하며, 구조화된 라벨이 분석을 강화함을 시사한다.
3. CTI 유용성: 모델은 CTI 팀이 AI 보조 분석을 조작하기 위해 프롬프트 인젝션을 삽입하는 캠페인 및 악성코드 샘플을 클러스터링할 수 있게 한다. 이는 STIX 2.1 및 MITRE ATLAS와 같은 산업 표준 매핑을 지원한다.
4. 레드팀 역량 강화: 레드팀이 고정된 의도 체인 내에서 하나의 구성 요소씩 변화시키며 체계적인 변이 및 테스트를 수행할 수 있도록 하여, 불투명한 문자열 반복 작업에서 벗어나게 한다.

본 논문은 모델이 가드레일 구축을 위한 처방적 도구가 아닌 기술적(descriptive) 도구임을 명시하며 신중한 입장을 유지한다. 성공 여부는 모델에 따라 달라지며 비결정론적임을 인정하며, 이진적인 성공 지표보다는 예상되는 공격 성공률(ASR) 범위를 기록할 것을 권장한다. 주요 가치 제안은 에이전트 및 하이브리드 공격에 필요한 기능적 역할을 따라 프롬프트 인젝션 아티팩트를 분해할 수 있는 능력이며, 이는 기존의 어떤 프레임워크도 갖추지 못한 능력이다.