기술 요약: ARGUS: 컨텍스트 인식 프롬프트 인젝션에 대한 LLM 에이전트 방어

문제 정의

도구, 기술 및 외부 지식을 활용하여 자율 워크플로우를 실행하는 대규모 언어 모델 (LLM) 에이전트의 빠른 도입은 특히 프롬프트 인젝션 공격과 같은 중대한 보안 취약점을 야기했습니다. 기존 방어책과 벤치마크는 통제된 환경에서 유망한 결과를 거두었으나, 실제 배포에 적용될 때 두 가지 근본적인 한계를 겪습니다:

1. 컨텍스트 무감각 작업: 현재 벤치마크는 사용자가 의도한 행동을 완전히 명시하는 시나리오 (예: "계정 X 에 500 달러 지급") 에서 방어책을 평가합니다. 실제로 에이전트는 런타임 관찰 (예: "invoice.pdf의 청구서 지급") 에 의해 수신자, 금액, 도구 선택과 같은 구체적인 행동이 동적으로 결정되는 컨텍스트 의존적 작업을 수행하는 경우가 많습니다.
2. 컨텍스트 무지 공격: 기존 벤치마크는 에이전트가 검색한 특정 데이터에 적응하지 않는 작업 무관 페이로드 (예: 일반적인 "이전 지시 무시" 오버라이드) 에 의존합니다. 실제 세계의 적대자들은 컨텍스트 인식 공격을 사용하여 합법적인 데이터 운반체 (예: 송장 메모) 내에 악성 지시를 내재화하여 에이전트의 결정 논리를 overt 하게 오버라이드하는 대신 의미론적으로 조작합니다.

결과적으로 기존 방어책은 이러한 설정에서 실패하는 경우가 많습니다. 이는 사용자 프롬프트에 대해서만 행동을 검증하여 (프롬프트가 모호할 때 기준점을 상실함) 또는 모든 런타임 관찰을 균일하게 신뢰할 수 없는 것으로 간주하기 때문입니다. 이로 인해 공격이 성공하거나 합법적인 컨텍스트 의존적 워크플로우가 차단됩니다.

방법론: ARGUS 방어

이러한 격차를 해결하기 위해 저자들은 신원 추적 가능한 의사결정 감사 (provenance-aware decision auditing) 를 강제하도록 설계된 런타임 의사결정 감사기인 ARGUS를 제안합니다. ARGUS 는 신뢰할 수 없는 컨텍스트가 에이전트 의사결정으로 어떻게 전파되는지 추적하기 위해 영향 - 신원 그래프 (Influence-Provenance Graph, IPG) 를 구축하여 실행 전 상태 변경 행위가 신뢰할 수 있는 증거에 의해 정당화되었는지 검증합니다.

핵심 구성 요소

ARGUS 는 IPG 와 상호작용하는 4 개의 LLM 기반 보안 도구를 파이프라인으로 운영합니다:

1. 영향 - 신원 그래프 (IPG): 노드가 콘텐츠 단위 (시스템 프롬프트, 사용자 쿼리, 도구 반환 등) 를 나타내는 방향성 비순환 그래프입니다. 각 노드는 BENIGN(정상) 또는 ANOMALOUS(비정상) 로 레이블링된 스팬 (spans) 으로 분할됩니다. 노드는 소스 유형과 비정상 콘텐츠의 비율에 따라 동적 신뢰 점수가 할당됩니다.
2. ContentSegmenter: 원시 관찰 노드를 분석하여 스핀으로 분할합니다. 이는 송장의 수취인 이름과 같은 일반 작업 증거와 추가 이체를 지시하는 메모와 같은 비정상적 영향력을 구분합니다. 이를 통해 시스템은 문서의 일부는 신뢰할 수 있는 것으로 취급하면서 다른 부분은 플래그를 표시할 수 있습니다.
3. ArgumentGrounder: 제안된 도구 호출의 각 인수를 IPG 의 소스 스팬으로 매핑합니다. 이는 특정 값 (예: 수취인 계정) 이 정상 스팬에서 비롯되었는지 아니면 비정상 스팬에서 비롯되었는지 확인하기 위해 "그라운딩 유형 (grounding type)" (예: 복사, 정규화, 유도) 을 결정합니다.
4. InvariantChecker: 외부 컨텍스트가 읽히기 전에 사용자 쿼리에서 작업 수준 제약 조건 (불변식) 의 작은 집합을 유도합니다. 이는 제안된 행동이 이러한 고정된 경계를 위반하지 않는지 확인합니다 (예: "문서에 언급되지 않은 계좌로의 이체 금지").
5. EntailmentVerifier: IPG 에 축적된 정상 증거가 제안된 행동을 논리적으로 추론하는지 확인합니다. 이는 인자 자체가 그라운딩된 것처럼 보이더라도 행동이 비정상 콘텐츠만으로 정당화되지 않도록 보장합니다.

감사 프로세스

에이전트가 상태 변경 도구 호출을 제안할 때 ARGUS 는 다음을 수행합니다:

• 로컬 감사: 인자를 소스 스팬으로 추적합니다. 인자가 ANOMALOUS 스팬에 기반을 두고 있으면 호출이 플래그됩니다.
• 글로벌 감사: 사용자의 불변식에 대해 행동을 검증하고 행동이 정상 증거로 지원되는지 확인합니다.
• 복구: 호출이 차단되면 ARGUS 는 정상 데이터 힌트 (Benign Data Hints) (BENIGN 스팬의 신뢰할 수 있는 값) 를 추출하여 에이전트에게 반환합니다. 이를 통해 에이전트는 작업을 완전히 실패시키는 대신 안전한 값으로 행동을 재시도할 수 있습니다.

주요 기여

1. AgentLure 벤치마크: 저자들은 컨텍스트 의존적 작업과 컨텍스트 인식 공격을 위해 특별히 설계된 새로운 벤치마크인 AgentLure를 소개합니다.

   • 범위: 4 개 도메인 (은행, 여행, 워크스페이스, Slack) 에 걸쳐 320 개의 샘플을 포함합니다.
   • 구조: 8 가지 공격 벡터 (예: 기능 라우팅 하이재킹, 인수 조작, 기술 주입) 와 6 가지 공격 표면 (예: 도구 반환, 검색된 문서, 메모리) 을 다룹니다.
   • 차별점: 이전 벤치마크 (예: AgentDojo, ASB) 와 달리 AgentLure 는 에이전트가 런타임 관찰에서 행동을 유도해야 하며, 합법적인 운반체 콘텐츠와 구별할 수 없는 페이로드를 특징으로 합니다.

2. ARGUS 방어 메커니즘: 거친 관찰 수준 필터링을 넘어 스팬 수준 신원 추적으로 이동하는 새로운 런타임 감사기입니다. 이는 합법적인 위임과 악성 영향력을 구분하기 위해 로컬 인수 추적을 글로벌 작업 수준 검증과 독창적으로 결합합니다.

3. 체계적 평가: AgentLure 벤치마크에서 8 가지 최첨단 방어책 (Tool Filter, MELON, InjecGuard 포함) 에 대한 ARGUS 의 포괄적인 평가로, 절단 연구 (ablation studies) 와 화이트박스 적응형 공격을 포함합니다.

실험 결과

AgentLure 벤치마크에서 평가된 ARGUS 는 보안과 유용성 사이의 균형을 취하는 데 있어 우수한 성능을 보여줍니다:

• 공격 성공률 (ASR): ARGUS 는 기본값인 28.8% (방어 없음) 의 ASR 을 3.8% 로 감소시킵니다. 이는 테스트된 모든 방어책 중 MELON(1.6%) 다음으로 두 번째로 낮은 ASR 입니다.
• 작업 유용성: 공격적인 행동 차단으로 인해 깨끗한 유용성을 65.0% 로 떨어뜨리는 MELON 과 달리, ARGUS 는 87.5% 의 깨끗한 작업 유용성을 유지합니다.
• 유효 방어 점수 (EDS): 보안과 유용성을 결합한 새로운 지표 ($EDS = (1 - ASR) \times Utility$) 입니다. ARGUS 는 84.2% 의 가장 높은 EDS 를 달성하여 다음으로 좋은 방어책 (InjecGuard, 78.5%) 을 크게 앞섭니다.
• 강건성: 화이트박스 적응형 공격(적대자가 ARGUS 의 아키텍처와 프롬프트에 대한 완전한 지식을 가진 경우) 하에서 ASR 은 5.9% 로만 상승하며, 방어 없는 기본값보다 여전히 79% 낮습니다.
• 절단 연구: 4 가지 보안 도구 (Segmenter, Grounder, EntailmentVerifier, InvariantChecker) 중 하나를 제거하면 성능이 크게 저하됩니다 (ASR 이 3.7% 에서 21.2% 로 증가). 이는 각 구성 요소가 방어 효과에 필수적임을 확인시켜 줍니다.

중요성과 주장

이 논문은 ARGUS 가 실제 세계의 컨텍스트 의존적 시나리오에서 기존 방어책의 특정 실패 모드를 해결함으로써 더 안전한 LLM 에이전트를 향한 실용적인 단계를 나타낸다고 주장합니다.

• 패러다임 전환: 이 작업은 런타임 데이터에 의존하는 에이전트의 경우 "프롬프트만 권한 부여"는 불충분하다고 주장합니다. 보안은 대신 신뢰할 수 있는 런타임 증거와 신원에 기반해야 합니다.
• 세분화: 이 논문은 거친 관찰 수준 필터링이 혼합 콘텐츠 운반체에는 너무 둔감하다고 강조합니다. 스팬 수준에서 작동함으로써 ARGUS 는 동일한 문서 내에서 악성 영향력을 거부하면서도 정상 데이터를 허용할 수 있습니다.
• 트레이드오프 해결: 저자들은 기존 방어책이 컨텍스트 인식 설정에서 종종 균형을 이루지 못하는 유용성을 희생하지 않고 높은 보안을 달성할 수 있음을 입증합니다.

저자들은 ARGUS 가 컨텍스트 의존적 워크플로우에서 프롬프트 인젝션을 효과적으로 완화하지만, 운반체 무결성(예: 완전히 위조된 문서) 과 프롬프트 인젝션을 넘어선 더 넓은 에이전트 안전 문제는 향후 과제로 남긴다고 결론지었습니다.