기술 요약: LLM 에이전트 보안을 위한 의도-실행 무결성 확보

문제 제기

대형 언어 모델 (LLM) 에이전트의 보안 환경은 텍스트 생성 제어에서 복잡한 다단계 실행 파이프라인 관리로 전환되었습니다. 현대 에이전트는 자연어 사용자 의도를 도구 호출, API 요청, 코드 실행 등 구체적인 시스템 작업으로 변환합니다. 최근의 방어 기법은 에이전트가 도구 호출을 구성하는 방식을 제한하는 데 진전을 이루었지만, 도구는 신뢰할 수 있다는 중요하고 종종 암묵적인 가정 하에 작동합니다.

이 가정은 에이전트가 서드파티 스킬, 영구 메모리, 사용자 환경에 대한 직접 접근을 활용하는 오픈 생태계 (예: OpenClaw) 에서는 점점 더 유효하지 않게 됩니다. 이러한 환경에서 보안 실패는 악성 입력이 도구 선택에 영향을 미치는 것뿐만 아니라 다음과 같은 요인에서도 발생합니다:

1. 신뢰할 수 없는 도구 실행: 악성 또는 취약한 서드파티 구성 요소가 숨겨진 부작용 (예: 자격 증명 도난, 공급망 공격) 을 실행합니다.
2. 추론 수준 조작: 신뢰할 수 없는 데이터 내의 적대적 콘텐츠가 명시적인 프롬프트 인젝션을 유발하지 않으면서 에이전트의 의미론적 결정을 미묘하게 편향시킵니다.

현재 LLM 에이전트의 전체 의도 - 실행 파이프라인에 걸쳐 "보안"이 무엇을 의미하는지 정의하는 적절한 정확성 속성은 존재하지 않습니다. 이러한 정의가 없으면 방어 설계는 임시방편에 머물며, 평가는 원칙적인 목표를 결여하여 현대 에이전트 보장에 근본적인 격차를 남깁니다.

방법론: 의도 - 실행 무결성 도출

저자들은 LLM 에이전트와 컴파일러 간의 유사점을 들어 **의도 - 실행 무결성 (Intent-to-Execution Integrity)**이라는 공식적인 정확성 속성을 제안합니다. 컴파일러가 소스 프로그램의 의미론을 보존해야 하듯, LLM 에이전트는 그 실행이 사용자 의도를 충실히 반영하도록 보장해야 합니다.

이 방법론은 보안 위협을 두 가지 근본적인 문제 원천으로 추적하고 네 가지 필수 무결성 속성을 도출합니다:

1. 문제 원천: 신뢰할 수 없는 데이터 섭취

이메일, 문서, 도구 출력과 같은 외부 콘텐츠에는 악성 지시사항이나 적대적 데이터가 포함될 수 있습니다. 저자들은 이 원천에서 피해로 이어지는 세 가지 인과 경로를 식별하고 이에 상응하는 속성을 정의합니다:

• 귀속 혼란: 에이전트가 주입된 지시사항을 사용자 명령으로 오인합니다.
  • 속성: 지시 무결성 (Instruction Integrity). 모든 행동은 주입된 콘텐츠가 아닌 인증된 사용자 지시에 인과적으로 귀속되어야 합니다.
• 데이터 흐름 위반: 민감한 데이터가 무단 경계를 넘어 흐릅니다 (예: 디버깅 세션의 자격 증명이 발신 이메일에 나타나는 경우).
  • 속성: 데이터 흐름 무결성 (Data Flow Integrity). 도구 매개변수를 통해 흐르는 데이터는 출처 제약 조건을 준수해야 합니다. 민감한 데이터는 오염 표시 (taint-marked) 를 받고 무단 목적지로 이동하는 것이 차단되어야 합니다.
• 판단 조작: 적대적 콘텐츠가 에이전트의 추론 결과를 편향시킵니다 (예: 자기 홍보 텍스트에 영향을 받아 논문 리뷰 에이전트가 흔들리는 경우).
  • 속성: 판단 무결성 (Judgment Integrity). 에이전트의 결정 결과 $J(q, d)$는 신뢰할 수 없는 데이터 $d$ 내의 작업과 무관한 교란 $\delta$에 대해 불변이어야 합니다 (즉, $J(q, d \oplus \delta) = J(q, d)$).

2. 문제 원천: 신뢰할 수 없는 도구 실행

서드파티 스킬과 플러그인은 악성일 수 있거나 취약하여 선언되지 않은 부작용을 수행할 수 있습니다.

• 속성: 도구 무결성 (Tool Integrity). 모든 소프트웨어 구성 요소 (스킬, 플러그인, 스크립트) 는 선언된 인터페이스와 문서화된 동작으로 제한되어야 합니다. 광고된 기능을 넘어 숨겨진 부작용 (예: 관련 없는 파일 읽기, 광고되지 않은 엔드포인트 연결) 을 생성해서는 안 됩니다.

충분성 논증: 저자들은 이 네 가지 속성이 결합하여 충분하다고 주장합니다. 에이전트의 세 가지 운영 단계 (추론, 행동 구성, 실행) 를 모두 포괄함으로써 모든 가능한 손상 경로를 차단합니다:

• 추론은 판단 무결성에 의해 보호됩니다.
• 행동 구성은 지시 무결성 (잘못된 도구 선택 방지) 과 데이터 흐름 무결성 (불안전한 인수 방지) 에 의해 보호됩니다.
• 실행은 도구 무결성 (악성 도구 동작 방지) 에 의해 보호됩니다.

기존 방어 기법 평가

이 논문은 현재 방어 시스템을 네 가지 속성에 대해 평가하며, 이를 "일반 LLM 에이전트 (신뢰할 수 있는 도구 가정)"와 "OpenClaw (오픈 생태계)" 방어 기법으로 분류합니다.

주요 발견 사항:

• 부분적이고 비구성적인 커버리지: 기존 시스템 중 어느 것도 네 가지 속성을 모두 완전히 커버하지 못합니다.
• 일반 에이전트 방어 기법: PromptArmor, PIA-Detection, TaskShield, Progent, CaMeL, DRIFT와 같은 시스템은 번역 계층 (계획) 에 집중합니다. 도구 호출 구성을 제한함으로써 지시 무결성과 데이터 흐름 무결성에 대해 부분적에서 완전한 커버리지를 제공합니다. 그러나 도구 무결성(도구를 신뢰할 수 있다고 가정) 은 대개 무시하며, 적대적 편향으로부터 의미론적 추론 결과를 보호하지 않으므로 판단 무결성에 대해서는 최소 또는 전혀 커버리지하지 않습니다.
• OpenClaw 방어 기법: NemoClaw, IronClaw, SeClaw, SafeClaw-R, SecureClaw와 같은 시스템은 샌드박싱, 감사, 기능 제한을 통해 실행 계층을 다룹니다. 구성 요소 기능을 제한함으로써 부분적인 도구 무결성을 제공합니다. 그러나 지시, 데이터 흐름, 판단 무결성에 대한 보호는 부분적이며 휴리스틱 기반이며, 엔드투엔드 보장을 결여합니다.
• 구성 격차: 번역 계층만 보호하는 것은 불충분합니다 (올바른 도구 호출이 악성 스킬을 호출할 수 있음). 실행 계층만 보호하는 것도 불충분합니다 (제한된 구성 요소가 잘못된 이유로나 잘못된 인수로 호출될 수 있음).

주요 기여

1. 의도 - 실행 무결성 정의: 이 논문은 지시, 데이터 흐름, 판단, 도구 무결성이라는 네 가지 고유한 무결성 조건으로 구성된 LLM 에이전트를 위한 공식적이고 엔드투엔드인 정확성 속성을 확립합니다.
2. 위협에 대한 구조적 분석: 에이전트 보안 불량의 두 가지 근본 원인 (신뢰할 수 없는 데이터 섭취 및 신뢰할 수 없는 도구 실행) 을 식별하고 이를 특정 실패 모드에 매핑합니다.
3. 체계적 평가 프레임워크: 저자들은 기존 방어 기법을 평가할 수 있는 원칙적인 프레임워크를 제공하여, 현재 메커니즘이 단편화되어 구성적 보안을 제공하지 못함을 드러냅니다.
4. 열린 과제 식별: 이 논문은 판단 무결성이 에이전트가 읽어야 하는 데이터를 격리하지 않고 적대적 영향으로부터 의미론적 추론을 보호해야 하므로 강제하기 가장 어려운 차원임을 강조합니다. 또한 도구 무결성은 정적 분석과 샌드박싱을 넘어 동적 행동 준수로 나아가야 함을 지적합니다.

중요성과 주장

이 논문은 LLM 에이전트의 보안을 해결했거나 네 가지 속성을 모두 완벽하게 충족하는 시스템을 구축했다고 주장하지 않습니다. 대신 그 중요성은 다음과 같습니다:

• 목표 정의: 방어 기법과 벤치마크를 측정할 수 있는 기준 ("의도 - 실행 무결성") 을 제공합니다.
• 격차 드러내기: 통합된 정확성 속성이 부재하기 때문에 메커니즘의 "적층"(예: 프롬프트 필터에 샌드박싱 추가) 만으로는 불충분함을 입증합니다.
• 미래 연구 안내: 네 가지 속성을 명시적으로 정의함으로써, 특히 의미론적 추론 보안 (판단 무결성) 과 서드파티 도구의 행동 준수를 보장 (도구 무결성) 하는 데 남아 있는 구조적 격차에 커뮤니티를 유도합니다.

저자들은 현대 LLM 에이전트 보안을 위해서는 의도 - 계획 번역과 계획 - 실행 파이프라인을 동시에 보호하는 원칙적인 접근 방식으로 수동적인 패치에서 전환해야 한다고 결론지었습니다.