ChatInject: LLM 에이전트에서의 프롬프트 인젝션을 위한 채팅 템플릿 남용 기술 요약

이 논문은 대규모 언어 모델 (LLM) 기반 에이전트 시스템의 새로운 취약점을 규명하고, 이를 악용하는 **'ChatInject'**라는 새로운 공격 기법을 제안합니다. 기존 연구가 주로 평문 (plain-text) 기반의 간접 프롬프트 인젝션에 집중했다면, 본 연구는 LLM 이 사용하는 **구조화된 채팅 템플릿 (structured chat templates)**과 **다중 턴 대화 (multi-turn dialogues)**의 심리적 설득력을 악용하는 공격 방식을 제시합니다.

1. 문제 정의 (Problem)

LLM 에이전트는 외부 도구 (검색, API, 파일 등) 를 호출하여 작업을 수행합니다. **간접 프롬프트 인젝션 (Indirect Prompt Injection)**은 공격자가 이러한 외부 도구에서 반환된 데이터 (예: 검색 결과, 이메일 내용) 에 악성 지시를 숨겨 에이전트가 이를 사용자의 명령인 것처럼 실행하게 만드는 공격입니다.

기존 방어 메커니즘은 '시스템 > 사용자 > 어시스턴트 > 도구 출력'과 같은 **역할 기반 계층 구조 (Role-based Hierarchy)**를 통해 하위 우선순위 콘텐츠가 상위 지시를 덮어쓰는 것을 방지하려 합니다. 그러나 이 계층 구조는 특수 토큰 (예: <system>, <user>) 에 의존하는데, 공격자는 도구 출력 내부에 이러한 **위조된 역할 태그 (forged role tags)**를 삽입함으로써 모델이 악성 콘텐츠를 상위 권한의 명령으로 오인하게 만들 수 있습니다.

2. 방법론 (Methodology: ChatInject)

저자들은 ChatInject 를 통해 악성 페이로드를 모델의 네이티브 채팅 템플릿 형식에 맞춰 포맷팅하고, 설득력 있는 다중 턴 대화를 시뮬레이션하여 공격 성공률을 극대화합니다.

2.1. 역할 계층 구조 남용 (Abusing Role-Based Hierarchies)

• 원리: 공격자는 도구 응답 (Tool Output) 내부에 <system>, <user>, <assistant>과 같은 특수 토큰을 포함시킵니다.
• 효과: 모델은 이 토큰을 만나면 그 이후의 내용을 해당 역할 (예: 시스템 또는 사용자) 의 지시라고 간주하여, 원래의 사용자 명령보다 높은 우선순위로 처리하게 됩니다. 이는 보안 계층을 우회하는 효과를 냅니다.

2.2. 템플릿 기반 다중 턴 설득 (Template-Based Multi-Turn Persuasion)

• 문제: 간접 인젝션은 일반적으로 1 회성 (one-shot) 으로 발생하므로, 공격자가 에이전트와 상호작용하며 설득하는 다중 턴 공격이 불가능합니다.
• 해결: 공격자는 도구 응답 내에 가상의 다중 턴 대화 기록을 위조된 채팅 템플릿으로 삽입합니다.
  • 예: <user>가 요청을 하고, <assistant>이 이를 수용하며, 다시 <user>가 악성 지시를 포함하는 요청을 하는 시나리오를 생성합니다.
  • 이를 통해 모델은 악성 지시가 자연스러운 대화 흐름의 일부라고 인식하게 되어, 의심스러운 행동을 수행하게 됩니다.

2.3. 페이로드 변형

저자는 4 가지 주요 페이로드 변형을 제안합니다:

1. Default InjecPrompt: 기존 평문 기반 공격.
2. InjecPrompt + ChatInject: 평문 지식을 모델의 채팅 템플릿 (역할 태그) 으로 감쌈.
3. Default Multi-turn: 평문으로 작성된 설득 대화.
4. Multi-turn + ChatInject (최고성능): 설득 대화 전체를 모델의 채팅 템플릿으로 감쌈.

3. 주요 실험 결과 (Key Results)

InjecAgent 와 AgentDojo 두 가지 벤치마크에서 9 개의 최첨단 LLM(오픈소스 및 폐쇄형 포함) 을 대상으로 실험한 결과는 다음과 같습니다.

3.1. 공격 성공률 (ASR) 의 비약적 상승

• ChatInject 는 기존 평문 기반 공격보다 훨씬 높은 성공률을 기록했습니다.
  • AgentDojo: 평균 공격 성공률이 5.18% 에서 **32.05%**로 상승.
  • InjecAgent: 15.13% 에서 **45.90%**로 상승.
  • Multi-turn + ChatInject: InjecAgent 에서 평균 **52.33%**의 성공률을 기록하며 가장 강력한 성능을 보였습니다.
• 특히, Llama-4 모델에서는 ChatInject 적용 시 성공률이 16.6% 에서 88.3% 로 급증했습니다.

3.2. 모델 간 전이성 (Transferability)

• 크로스-모델 공격: 한 모델의 템플릿으로 생성된 페이로드가 다른 모델 (심지어 템플릿 구조를 알 수 없는 폐쇄형 모델) 에도 효과적으로 작동했습니다.
• 템플릿 유사성: 공격 템플릿과 타겟 모델의 네이티브 템플릿 간 유사도가 높을수록 공격 성공률이 증가하는 경향이 확인되었습니다.
• 혼합 템플릿 (MoT): 공격자가 타겟 모델을 모를 경우, 여러 모델의 템플릿을 혼합하여 페이로드를 생성하는 방식 (Mixture-of-Templates) 이 단일 템플릿보다 더 안정적이고 높은 성공률을 보였습니다.

3.3. 기존 방어 기법의 무력화

• 검출기 우회: Lakera Guard 나 PI Detector 와 같은 외부 검열 도구는 ChatInject, 특히 Multi-turn 변형에 대해 상대적으로 낮은 탐지율을 보였습니다.
• 프롬프트 기반 방어 실패: "사용자 지시를 반복하라"거나 "도구 출력을 무시하라"는 프롬프트 기반 방어 전략은 ChatInject 에 대해 거의 효과가 없었습니다. 오히려 방어 기법을 적용하면 에이전트의 유용성 (Utility, 정상 작업 수행 능력) 이 급격히 저하되는 경향이 있었습니다.

4. 의의 및 결론 (Significance)

이 연구는 LLM 에이전트 보안 분야에서 다음과 같은 중요한 시사점을 제공합니다:

1. 구조적 취약점 발견: LLM 의 안전 장치가 텍스트 내용뿐만 아니라 **입력 형식 (템플릿 구조)**에 의해 쉽게 우회될 수 있음을 증명했습니다.
2. 새로운 공격 패러다임: 단순한 지시어 삽입을 넘어, 모델이 학습한 대화 구조와 심리적 설득 메커니즘을 악용하는 새로운 차원의 공격을 제시했습니다.
3. 방어 전략의 재검토 필요: 현재 존재하는 대부분의 프롬프트 기반 방어나 검열 도구는 이 새로운 공격 벡터에 취약합니다. 따라서 템플릿 구조를 검증하거나, 역할 태그의 무결성을 보장하는 더 강력한 방어 메커니즘이 필요함을 강조합니다.

결론적으로, ChatInject 는 LLM 에이전트 시스템이 외부 데이터와 상호작용할 때 직면한 근본적인 보안 위협을 드러내며, 향후 에이전트 보안 연구가 단순한 콘텐츠 필터링을 넘어 **구조적 무결성 (Structural Integrity)**과 **맥락적 이해 (Contextual Understanding)**에 초점을 맞춰야 함을 시사합니다.