기술 요약: 학습을 통한 주입: 강화 학습을 통한 자동화된 프롬프트 인젝션

문제 정의

프롬프트 인젝션은 LLM 에이전트의 치명적인 취약점을 나타내며, 외부 콘텐츠(예: 이메일, 문서)에 포함된 적대적 지시문이 에이전트의 동작을 가로채 승인되지 않은 동작을 실행하거나 데이터를 유출하도록 만듭니다. 자동화된 탈옥 공격은 발전해 왔으나, 이는 주로 "준수(compliance)"(예: "네, 도와드릴 수 있습니다"와 같은 긍정적인 접두사 생성)를 최적화하는 데 의존합니다. 반면, 프롬프트 인젝션은 모델이 특정 도구 호출과 정확한 파라미터 매칭(예: send_email(to="attacker@evil.com"))을 출력할 것을 요구합니다.

이러한 차이는 근본적인 최적화 과제를 생성합니다:

1. 이산적이고 희소한 보상(Discrete and Sparse Rewards): 성공 신호는 이진적(0 또는 1)입니다. 무작위로 샘플링된 접미사(suffix)는 특정 도구 호출을 트리거하는 경우가 거의 없으므로, 표준 최적화 도구는 따라갈 수 있는 그래디언트(gradient)를 찾지 못합니다.
2. 목적 불일치(Objective Mismatch): 기존의 자동화된 탈옥 방법(예: GCG 또는 TAP)은 준수성을 최적화하며, 이는 프롬프트 인젝션 공격에 필요한 정밀한 도구 호출 실행을 위한 좋은 대리 지표가 되지 못합니다.
3. 수동 노력에 대한 의존: 현재의 효과적인 방법들은 여전히 인간 레드팀(red-teamer)과 수작업으로 제작된 프롬프트에 크게 의존하고 있어 확장성이 제한됩니다.

방법론: AutoInject

저자들은 프롬프트 인젝션을 위한 적대적 접미사를 학습하도록 설계된 블랙박스 강화 학습(RL) 프레임워크인 AutoInject를 제안합니다. 핵심 혁신은 희소하고 이진적인 성공 신호를 RL 최적화에 적합한 밀도 높은 학습 가능한 보상으로 변환하는 데 있습니다.

1. 문제 정식화

공격 생성은 마르코프 결정 과정(MDP)으로 모델링됩니다:

• 상태(State): 인젝션 목표, 사용자 작업 컨텍스트, 그리고 지금까지 생성된 토큰들.
• 행동(Action): 어휘 사전(vocabulary)에서 다음 토큰을 선택하는 것.
• 보상(Reward): 에피소드 종료 시에만 전달되는 복합 점수로, 다음을 포함합니다:
  • $r_{sec}$: 보안 점수 (인젝션된 목표가 실행되면 1, 그렇지 않으면 0).
  • $r_{util}$: 유틸리티 점수 (원래의 사용자 작업이 완료되면 1, 그렇지 않으면 0).
  • $r_{pref}$: 밀도 높은 비교 기반 피드백 점수.

2. 비교 기반 피드백을 통한 밀도 높은 보상

보상의 희소성 문제를 해결하기 위해, AutoInject는 학습된 비교 기반 피드백 모델을 도입합니다.

• 메커니즘: 시스템은 현재까지 가장 성능이 좋았던 참조 접미사($x^*$)를 유지합니다. 새로운 후보 접미사($x$)가 들어올 때마다, 피드백 모델(LLM)에 인젝션 목표, 컨텍스트, 그리고 두 접미사를 함께 질의합니다.
• 프로세스: 피드백 모델은 연쇄 사고(chain-of-thought) 추론을 수행하여 어떤 접미사가 성공할 가능성이 더 높은지 판단하고, 이진 선호 라벨을 출력합니다.
• 신호 추출: 라벨 토큰의 로그 확률(log-probabilities)을 추출하고 정규화하여 연속적인 선호 점수($r_{pref}$)를 생성합니다.
• 가치: 후보와 참조 모두 인젝션 실행에 실패하더라도, 피드백 모델은 후보가 더 그럴듯하거나 목표에 더 부합한다고 판단되면 더 높은 점수를 부여할 수 있습니다. 이는 RL 에이전트가 보상이 0인 긴 구간을 지나갈 때 가이드 역할을 하는 밀도 높고 단조로운(monotone) 신호를 제공합니다.

3. 정책 최적화

공격 정책은 1.5B 파라미터 모델(Qwen2.5-1.5B)을 사용하여 **그룹 상대적 정책 최적화(GRPO)**를 통해 훈련됩니다.

• 상대적 이점(Relative Advantage): 절대적인 가치 함수를 학습하는 대신, GRPO는 동일한 입력에 대해 $K$개의 완성본 그룹을 샘플링하고 이들의 복합 보상을 기반으로 상대적 이점을 계산합니다.
• 복합 보상: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. 비교 피드백에 대한 가중치 $\gamma$는 동적으로 스케줄링되며, 초기 그래디언트를 제공하기 위해 높게 시작하여 실제 성공 신호($r_{sec}$)가 가용해짐에 따라 감소합니다.
• 공격 모드: 프레임워크는 다음을 지원합니다:
  • 온라인 쿼리 기반 공격: 특정 타겟에 대해 쿼리 예산 내에서 최적화합니다.
  • 오프라인 전이 가능 접미사: 대리 작업/모델에서 훈련하고, 배포 시 유틸리티 접근 없이도 미지의 타겟에 학습된 접미사를 전이합니다.

주요 기여

1. 인젝션을 위한 RL 정식화: 비교 기반 피드백을 통해 이진 프롬프트 인젝션 신호를 밀도 높은 보상으로 변환하여, 표준 방식이 실패하는 지점에서 효과적인 GRPO 최적화를 가능하게 하는 새로운 RL 접근 방식을 제시합니다.
2. 이중 공격 능력: 온라인 쿼리 기반 최적화와 배포 중 유틸리티 접근이 필요 없는 오프라인 훈련 전이 가능 접미사를 모두 지원하는 통합 프레임워크를 제공합니다.
3. 포괄적 평가: 7개의 프로덕션 모델(GPT-5-nano, Claude-3.5-Sonnet, Gemini-2.5-Flash 포함)과 특화된 방어 모델(Meta-SecAlign-70B)에 대해 AgentDojo 벤치마크에서 광범위한 테스트를 수행했습니다.
4. 유틸리티 보존: 학습된 정책이 에이전트의 동작을 방해하는 많은 템플릿 기반 공격과 달리, 원래의 사용자 작업을 수행하거나 심지어 개선하면서 공격 성공률을 극대화할 수 있음을 입증했습니다.

실험 결과

AgentDojo 벤치마크에서 평가된 AutoInject는 기존 베이스라인 모델들에 비해 통계적으로 유의미한 개선(McNemar's test, $p < 0.05$)을 보여주었습니다:

• 템플릿 공격 대비: AutoInject는 인간이 제작한 템플릿(예: "Direct", "Ignore Previous")보다 성능이 월등히 뛰어납니다. Gemini-2.5-Flash에서 AutoInject는 **58.00%**의 공격 성공률(ASR)을 달이트한 반면, 템플릿은 최고 **23.60%**에 그쳤습니다.
• 최적화 기반 베이스라인 대비: GCG, TAP, 랜덤 적응형 공격, 진화 탐색(evolutionary search)보다 우수합니다. 특히 견고한 GPT-5-nano 모델에서 AutoInject는 **11.49%**의 ASR을 기록한 반면, 최선의 템플릿 공격은 **1.60%**에 불익했습니다.
• 유틸리티 보존: 많은 경우, AutoInject의 "공격 하 유틸리티(Utility Under Attack)"는 양호한 베이스라인을 초과했습니다(예: GPT-5-nano에서 90.20% vs 80.41%). 이는 학습된 접미사가 에이전트의 기본 기능을 방해하지 않고도 인젝션을 성공적으로 실행함을 나타냅니다.
• 방어 회피: Meta-SecAlign-70B(프롬프트 인젝션 저항을 위해 미세 조정된 모델)를 대상으로 했을 때, 템플릿 공격은 완전히 실패(ASR 0%)했으나 AutoInject는 **21.88%**의 ASR을 달성했습니다.
• 전이 가능성: 학습된 접미사는 미지의 모델과 작업 간에 성공적으로 전이되었습니다. 교차 작업 전이 시나리오에서 AutoInject는 훈련 쿼리를 훨씬 적게 사용했음에도 불구하고(260 vs 3,900), 5개 타겟 모델 중 4개에서 전이 기반 베이스라인인 RL-Hammer보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 프롬프트 인젝션에 대한 자동화된 기준선을 확립하며, 현재의 선호도 기반 방어와 적응형 최적화 기반 공격 사이의 심각한 격차를 드러냅니다.

• 정적 방어의 한계: 결과는 정적 패턴 매칭이나 선호도 최적화(예: Meta-SecAlign)에 의존하는 방어가 구조화되고 적응적인 최적화 공격에는 불충분함을 시사합니다. 저자들은 이러한 방어책들이 알려진 템플릿은 무력화하지만, 다른 취약점을 악용하는 학습된 접미사에는 실패한다고 언급합니다.
• "알렐루야(Allelujah)" 현상: 연구 과정에서 모델 간에 전이되는 성공적인 접후사에서 반복되는, 겉보기에 무의미해 보이는 토큰 패턴(예: "allelujah")이 관찰되었습니다. 이는 준수 행동과 상관관계가 있는 사전 학습 데이터의 통계적 규칙성을 발견했음을 시사합니다.
• 보안에 대한 시사점: 저자들은 자동화되고 유틸리티를 보존하는 인젝션 전략이 파괴적인 공격보다 더 위험한 위협 벡터라고 주장합니다. 이는 공격자가 사용자가 인지하지 못하는 사이에 에이전트를 장악할 수 있게 하기 때문입니다. 결론적으로 방어 패러다임은 이러한 적응형, 자동화된 전략을 고려하도록 진화해야 하며, 민감한 작업에 대해 사용자 확인을 요청하는 "계획 후 실행(plan-then-execute)" 또는 숙고 기반(deliberation-based) 방어와 같은 구조적 변화가 필요할 수 있습니다.

이 논문은 프롬프트 인젝션 문제를 해결했다고 주장하는 것이 아니라, RL 기반 공격에 대한 현재의 자동화된 방어의 불충분함을 폭로하며, 커뮤니티가 더욱 강력하고 적응적인 보안 조치를 개발하도록 촉구하는 데 목적이 있습니다.