[기술 요약] 프롬프트웨어 킬 체인 (The Promptware Kill Chain)

1. 문제 제기 (Problem Statement)

기존 보안 업계에서 **프롬프트 인젝션(Prompt Injection)**은 주로 SQL 인젝션의 LLM 버전으로 간주되어 왔습니다. 즉, 신뢰할 수 있는 시스템 명령(Instruction)과 신뢰할 수 없는 사용자 입력(Data)을 구분하지 못해 발생하는 단순한 '입력 조작 취약점'으로 치부되었습니다.

그러나 저자들은 이러한 관점이 매우 위험하다고 경고합니다. 프롬프트 인젝션은 단순한 일회성 공격을 넘어, 점차 멀웨어(Malware)와 유사한 다단계 공격 메커니즘으로 진화하고 있기 때문입니다. 기존의 방어 방식(단순 분류기 사용 등)은 공격의 일시적인 특성만 고려할 뿐, 공격이 지속성을 갖고 시스템 전체로 확산되는 '시스템적 위협'을 간과하고 있습니다.

2. 연구 방법론 (Methodology)

본 논문은 프롬프트 인젝션의 진화 과정을 분석하기 위해 다음과 같은 방법론을 사용했습니다.

• 프롬프트웨어(Promptware) 개념 정의: 프롬프트를 통해 실행되는 새로운 클래스의 멀웨어 메커니즘을 정의했습니다. 이는 단순한 텍스트 조작을 넘어, LLM의 권한, 도구(Tools), API를 악용하여 악성 행위를 수행하는 것을 의미합니다.
• 7단계 프롬프트웨어 킬 체인(Kill Chain) 모델 구축: 전통적인 사이버 보안의 APT(지능형 지속 위협) 킬 체인을 LLM 환경에 맞게 재구성하여 7단계 모델을 제시했습니다.
• 사례 분석 (Case Study): 2023년 2월부터 2026년 1월까지 보고된 36개의 주요 LLM 보안 사고 및 연구 사례를 분석하여, 실제 공격이 이 킬 체인의 단계를 어떻게 밟아 나가는지 검증했습니다.
• 방어 체계 평가 (Defense-in-Depth): 각 킬 체인 단계별로 존재하는 다양한 방어 기법들을 '유형(P/M/Re)', '배포 계층', '사용성 영향', '유지보수 비용' 등의 기준으로 체계적으로 분류하고 평가했습니다.

3. 핵심 기여 (Key Contributions)

① 프롬프트웨어 킬 체인 (7단계 모델) 제시

공격의 흐름을 다음과 같이 세분화하여 분석적 명확성을 제공했습니다.

1. 초기 침투 (Initial Access): 프롬프트 인젝션(직접/간접)을 통해 LLM 컨텍스트에 악성 명령 삽입.
2. 권한 상승 (Privilege Escalation): 탈옥(Jailbreaking)을 통해 모델의 안전 가드레일 우회.
3. 정찰 (Reconnaissance): LLM의 추론 능력을 이용해 주변 환경(파일, API, 도구 등) 정보 수집.
4. 지속성 유지 (Persistence): RAG(검색 증강 생성) 데이터나 모델의 메모리 기능을 오염시켜 공격 유지.
5. 명령 및 제어 (Command & Control, C2): 외부 서버에서 실시간으로 명령을 받아 실행하는 동적 제어 채널 구축.
6. 측면 이동 (Lateral Movement): 공유 데이터, 메시징 채널, 권한을 이용해 다른 에이전트나 시스템으로 확산.
7. 목표 달성 (Actions on Objective): 데이터 유출, 금융 사기, 물리적 IoT 제어, 원격 코드 실행(RCE) 등 최종 악성 행위.

② 공격의 진화 양상 증명

분석 결과, 2023년에는 공격이 23단계(초기 침투 $\rightarrow$ 권한 상승 $\rightarrow$ 목표 달성)에 머물렀으나, 2025-2026년에는 **45단계 이상의 복잡한 공격**이 일상화되었음을 보여주었습니다. 특히 AI 코딩 어시스턴트를 겨냥한 RCE 공격과 AI 웜(Worm)의 등장을 확인했습니다.

③ 방어 계층화 (Defense-in-Depth) 프레임워크

단일 방어(예: 프롬프트 필터링)가 아닌, 킬 체인의 각 단계에서 작동하는 다층적 방어 전략을 제안했습니다. (예: 모델 레벨의 정렬, 아키텍처 레벨의 도구 격리, 외부 레벨의 행동 모니터링 등)

4. 연구 결과 (Results)

• 공격의 복잡도 증가: 2024년 이후 '지속성(Persistence)'과 '측면 이동(Lateral Movement)'이 공격의 핵심 요소로 자리 잡았습니다.
• C2의 등장: ChatGPT의 메모리 기능을 이용해 외부 명령을 받아오는 'ZombAI'와 같은 프롬프트 네이티브 C2 사례가 확인되었습니다.
• 방어의 한계: 강력한 예방(Prevention) 조치는 시스템의 사용성(Usability)을 크게 저하시키며, 현재 보안 연구가 초기 침투 방어에만 치중되어 있고 측면 이동이나 정찰 단계에 대한 방어는 부족하다는 점을 밝혀냈습니다.

5. 연구의 의의 (Significance)

이 논문은 LLM 보안 담론을 "단순한 입력값 검증"에서 "시스템 전체의 보안 엔지니어링"으로 전환시켰다는 점에서 매우 중요합니다.

1. 분석적 명확성: 모호했던 프롬프트 인젝션 공격을 체계적인 멀웨어 프레임워크로 정의했습니다.
2. 위험 평가 표준 제공: 기업이 LLM 서비스를 구축할 때, 단순히 인젝션 방어뿐만 아니라 권한 관리, 데이터 격리, 모니터링 등 전체 킬 체인 관점에서 위험을 평가할 수 있는 기준을 마련했습니다.
3. 보안 설계 지침: 개발자들에게 '심층 방어(Defense-in-depth)'의 필요성을 강조하며, 공격이 성공하더라도 피해를 최소화할 수 있는 아키텍처 설계 방향을 제시했습니다.