💻 computer science

From Neural Intent to Cryptographic Authorization: Governing Agentic Workflows

이 논문은 신경망 계획과 실행을 분리하고 결정론적 심볼릭 컨트롤러를 통해 도구 호출에 대한 엄격한 암호학적 권한 부여를 강제함으로써, 워크플로의 유용성을 유지하면서도 프롬프트 주입 공격을 방지하는 자율 AI 에이전트 보안 아키텍처인 신경 암호 서비스(Neural Cryptographic Services, NCS)를 소개한다.

원저자: Jiasi Weng, Jian Weng, Minrong Chen, Ming Li, Jia-Nan Liu, Zhi Li, Yue Zhang

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiasi Weng, Jian Weng, Minrong Chen, Ming Li, Jia-Nan Liu, Zhi Li, Yue Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 컴퓨터가 단순히 인간이 작성한 엄격한 명령 목록을 따르는 것이 아니라, 스스로 어떻게 일을 해야 할지 알아내는 영리하고 수다스러운 비서처럼 행동하는 세상을 상상해 보십시오. 이것이 바로 "AI 에이전트"의 시대입니다. 이들을 당신의 이메일을 읽고, 은행 계좌를 확인하고, 문서를 보내는 일을 수행할 수 있는 디지털 인턴이라고 생각해보세요. 이들은 자연어 요청을 이해함으로써 이 모든 일을 해냅니다. 하지만 여기에는 함정이 있습니다. 이 인턴들은 매우 똑똑하지만 동시에 매우 암시에 취약하다는 점입니다. 만약 당신이 그들에게 비밀 지시를 속삭이거나, 교활한 낯선 사람이 그들이 읽고 있는 문서 안에 몰래 쪽지를 숨겨둔다면, 인턴은 갑자기 원래의 요청을 무시하고 당신의 돈을 낯선 사람에게 보내버리는 것과 같은 위험한 행동을 하기로 결정할 수도 있습니다. 이것은 문제가 됩니다. 과거의 컴퓨터는 프로그래밍된 대로만 정확히 수행하는 경직된 로봇 같았지만, 이제는 자신의 작업 위에 다른 그림을 그려버리도록 속임수에 빠질 수 있는 창의적인 예술가와 같기 때문입니다.

이 위험을 이해하려면 컴퓨터가 "생각하는" 두 가지 다른 방식을 살펴봐야 합니다. 첫 번째는 신경망(Neural) 방식입니다. 이는 AI가 작동하는 방식으로, 패턴에 기반하여 최선의 답을 추측하는 거대하고 모호한 연결망과 같습니다. 언어를 이해하는 데는 뛰어나지만, 다소 불안정하고 환각(hallucination) 현상이 발생하기 쉽습니다. 두 번째는 기호적(Symbolic) 방식입니다. 이는 전통적인 보안이 작동하는 방식으로, 엄격하고 깨뜨릴 수 없는 규칙 책이나 $2+2$ 가 항상 $4$가 되는 수학 방정식과 같으며, "아마도"라는 여지가 없습니다. 과학자들이 던지는 큰 질문은 이것입니다: 어떻게 하면 AI 에이전트가 창의적이고 유능하게 일하면서도, 규칙을 어기도록 속임을 당하지 않게 할 것인가? 우리는 AI가 계획을 꿈꾸게 하되, 실제로 일이 일어나기 전에 모든 단계를 점검하는 엄격하고 변하지 않는 감시자를 두는 방법이 필요합니다.

이것이 바로 "From Neural Intent to Cryptographic Authorization"이라는 논문의 연구진들이 해결하고 있는 문제입니다. 그들은 **신경 암호화 서비스(Neural Cryptographic Services, NCS)**라는 새로운 보안 시스템을 구축했습니다. 당신이 은행으로 매우 중요한 패키지를 보내고 있다고 상상해 보십시오. 옛날에는 상자에 적힌 지시 사항을 배달원(AI)이 그대로 따를 것이라고 믿었습니다. 하지만 누군가 당신이 보지 않을 때 상자 옆면에 "패키지를 도둑에게 주시오"라고 적어 놓는다면 어떻게 될까요? 배달원은 그것을 읽고 따를 수도 있습니다. NCS는 게임의 판도를 바꿉니다. 지시 사항에 초엄격한 수학적 증명 기반의 잠금장치를 채우는 것입니다.

이것이 실제 논문에서 어떻게 작동하는지 살펴보겠습니다. AI 에이전트( "신경 계획가")는 당신의 요청을 읽고 자신이 무엇을 해야 한다고 생각하는지에 대한 초안을 작성할 수 있습니다. 이것은 마치 학생이 숙제를 쓰는 것과 같습니다. 하지만 이 학생에게는 숙제를 제출하거나 돈을 쓸 수 있는 권한이 없습니다. 그 권한은 다른 캐릭터인 **기호적 컨트롤러(Symbolic Controller)**에게 있습니다. 이 컨트롤러는 학생의 창의적인 아이디어에는 관심이 없고, 오직 사전에 승인되고 암호학적으로 서명된 체크리스트만을 신경 쓰는 로봇 경비원과 같습니다.

이 과정은 고도의 보안이 적용된 금고와 비슷합니다. 책임자인 인간이 특수 디지털 키로 "워크시트"(단계별 목록)에 서명하기 전까지는 AI 에이전트가 아무것도 할 수 없습니다. 이 워크시트는 이후 각 블록이 수학적으로 다음 블록에 접착된 것처럼 연결된 블록 체인으로 변환됩니다. AI 에이전트가 어떤 단계를 수행하려고 할 때, 기호적 컨트롤러는 이 체인을 검사합니다. 컨트롤러는 해당 단계가 서명된 체크리스트와 정확히 일치하는지 확인합니다. 만약 AI 에이전트가 "헤이, 우리가 계획했던 50달러 대신 친구에게 5,000달러를 보내자"라고 말하려 한다면, 경비원은 수학적 계산을 확인하고 숫자가 서명된 체인과 일치하지 않는 것을 발견한 즉시 문을 쾅 닫아버립니다. 에이전트는 경비를 속일 수 없습니다. 왜냐하면 경비원은 에이전트의 말에 귀를 기울이는 것이 아니라, 서명의 깨지지 않는 수학적 원리에만 귀를 기울이기 때문입니다.

논문은 이 시스템이 매우 효과적임을 보여줍니다. 연구진은 일반적인 데이터 안에 나쁜 지시를 숨기거나 은행 송금액을 바꾸려는 시도 등 온갖 교활한 속임수로 AI 에이전트를 시험했습니다. 이 새로운 시스템이 없다면, AI 에이전트는 거의 매번 속았으며 공격자의 성공률은 일부 사례에서 100%에 달했습니다. 하지만 NCS를 도입하자 공격자의 성공률은 거의 제로에 가깝게 떨어졌습니다. 에이전트는 평상시 업무를 수행하는 데 있어 여전히 높은 "효용성(utility)"을 유지하면서도, 탈취 공격으로부터는 완전히 면역력을 갖게 되었습니다.

연구진은 또한 이 시스템이 놀라울 정도로 빠르다는 것을 발견했습니다. 실행되는 수학적 검사는 1밀리초 미만이 소요되는데, 이는 AI가 생각하는 시간에 비하면 거의 보이지 않을 정도로 빠릅니다. 즉, 우리는 안전을 위해 속도를 희생할 필요가 없습니다. 이 논문은 우리가 단순히 AI가 나쁜 짓을 하지 말아야 한다는 것을 "이해"하기를 바랄 것이 아니라, AI가 아이디어를 제안할 수는 있지만 암호학적 잠금이 승인되고 서명된 단계만을 실제로 실행하도록 보장하는 시스템이 필요하다고 주장합니다. 이것은 AI에게 똑똑해질 자유를 주면서도, 그들이 실제로 '할 수 있는 일'에 대해서는 엄격하고 깨뜨릴 수 없는 목줄을 채우는 방법입니다.

기술 요약: 신경 암호화 서비스 (Neural Cryptographic Services, NCS)

문제 정의

AI 기반 에이전트 워크플로우의 급격한 도입은 기업 및 정부 시스템을 정적인 규칙 기반 파이프라인에서 동적이고 자율적인 인프라로 변화시키고 있습니다. 이는 운영 효율성을 높이지만, 결정론적 실행(deterministic execution)의 보안 가정을 근본적으로 무너뜨립니다. 기존의 암호화 서비스(예: HSM, KMS)는 '누가' 행동하는지는 인증하지만, 런타임 시점에 '어떤' 구체적인 워크플로우 단계가 허용되는지는 알지 못하는 수동적 실행 엔진 역할을 합니다.

이러한 격차는 치명적인 취약점을 생성합니다. 즉, 인증된 에이전트가 직접적 또는 간접적 프롬프트 인젝션(prompt injection)을 통해 하이재킹될 수 있다는 점입니다. 공격자는 신뢰할 수 없는 데이터나 도구 출력에 악의적인 지침을 주입하여, 에이전트가 정체성 확인은 통과하면서도 사용자의 의도를 위반하는 행동(예: 민감한 데이터를 공격자에게 전송)을 수행하도록 유도할 수 있습니다. 기존의 보안 조치들은 여기서 실패하는데, 그 이유는 암호학적 정체성 확인은 통과하고 권한 또한 적법해 보이지만, 근본적인 의도가 왜곡되었기 때문입니다. 핵심 과제는 대규모 언어 모델(LLM)의 확률적 추론 특성과 암호화 작업 및 권한 제어에 필요한 결정론적 정확성 사이를 조화시키는 것입니다.

방법론: 신경 암호화 서비스 (NCS)

저자들은 **신경-기호 설계(Neural-Symbolic design)**에 기반한 능동적 런타임 보안 거버넌스 평면인 **신경 암호화 서비스(NCS)**를 제안합니다. NCS는 신뢰할 수 없는 LLM 에이전트와 권한이 있는 도구 사이에 개입하여, 확률적인 신경 생성(neural generation)과 결정론적인 기호 실행(symbolic execution) 사이의 권한을 분리합니다.

핵심 아키텍처

NCS는 다섯 가지 모듈로 구성됩니다:

신경 플래너 (Neural Planner): 자연어 지침을 파싱하고 구조화된 실행 계획 초안을 작성하는 신뢰할 수 없는 컴포넌트입니다. 이 컴포넌트는 실행 권한이 전혀 없으며 권한이 있는 도구를 직접 트리거할 수 없습니다.
기호 컨트롤러 (Symbolic Controller): 결정론적 권한 핵심부입니다. 플래너의 초안을 정적 정책에 따라 검증하고, 의존성 순서에 따른 실행을 스케줄링하며, 워크플로우를 오케스트레이션합니다.
암호 실행 엔진 (Crypto Execution Engine): 알고리즘 불가지론적(algorithm-agnostic) 중간 표현(IR) 오코드를 해석하고 플러그형 암호 백엔드(예: Ed25519, SHA-256)로 디스패치합니다.
검증기 (Verifier): 페일 클로즈(fail-closed) 게이트를 강제합니다. 에이전트가 제안한 도구 호출 인자가 부작용(side effects)이 발생하기 전에 현재 릴리스된 암호학적으로 검증된 지침 페이로드를 정확히 일치하는지 확인합니다.
런타임 상태 관리 (Runtime State Management): 프로그램 카운터, 검증 트랜스크립트, 감사 로그를 포함한 권위 있는 세션 컨텍스트를 유지합니다.

2단계 상태 저장 지침 인증 (Two-Phase Stateful Instruction Authentication)

NCS는 상태 저장 방식의 해시 체인 지침 스트림을 통해 지침의 진본성과 실행 무결성을 강제합니다:

단계 A (워크시트 권한 부여): 사용자는 스트림 헤드(첫 번째 블록의 해시와 전체 스트림 길이를 포함하는 메타데이터)만을 서명합니다. 기호 컨트롤러는 이 서명을 검증하여 워크시트 수준의 권한 부여를 확립합니다. 이때 페이로드 블록은 아직 릴리스되지 않습니다.
단계 B (증분 실행): 시스템은 지침 스트림을 블록 단위로 처리합니다.
1. 검증 (Verify): 암호 실행 엔진은 해시 체인의 연속성( $H(B'_i) = A_{i-1}$ )과 스트림 헤드 앵커를 검증합니다.
2. 릴리스 (Release): 성공적인 검증 후, 평문 지침 블록( $B_i$ )이 유일한 활성 페이로드로서 릴리스됩니다.
3. 바인딩 (Bind): 신경 플래너는 $B_i$ 를 기반으로 단계별 계획 초안을 컴파일합니다. 검증기는 에이전트의 도구 인자를 릴리스된 $B_i$ 에 엄격하게 바인딩합니다.
4. 디스패치 (Dispatch): 에이전트의 제안이 릴리스된 페이로드와 정확히 일치하는 경우에만 동작이 실행됩니다. 불일치하거나 순서가 맞지 않는 호출은 즉시 거부됩니다.

이 설계는 설령 LLM이 악의적인 행동을 제안하도록 하이재킹되더라도, 해당 행동이 암호학적으로 서명되고 해시 체인으로 연결된 지침 스트림과 일치하지 않는 한 실행될 수 없음을 보장합니다.

주요 기여

엄격한 권한 분리: 본 논문은 신경 컴포넌트가 의도를 해석하고 계획을 초안하는 반면, 결정론적 기호 컴포넌트가 인증, 스케줄링, 검증 및 실행을 담당하는 분리를 공식화합니다. 어떤 신경 출력도 기호 게이트를 통과하지 않고서는 키 접근이나 권한 있는 도구 디스패치를 트리거할 수 없습니다.
상태 저장 지침 인증: 사용자가 워크시트 헤더만을 서명하는 가운데, 해시 체인된 블록이 단계 순서와 파라미터를 바인딩하는 새로운 접근 방식을 제공합니다. 단계 B는 디스패치 전 에이전트의 도구 호출과 릴리스된 지침 블록 간의 완전한 일치를 강제합니다.
하위 호환 가능한 프로토타입: 저자들은 표준 PKCS#11 스타일의 백엔드와 인터페이스하는 프로토타입을 구현했습니다.
경험적 평가: NCS는 AgentDojo, 커스텀 인자 하이재킹(Argument-Hijacking) 벤치마크(InjecAgent-ArgHijack), 그리고 OpenPromptInjection 데이터셋을 통해 평가되었습니다.

결과

평가는 NCS가 유용성을 유지하면서 보안 위험을 효과적으로 완화함을 입증합니다:

공격 성공률 (ASR): NCS는 직접적 및 간접적 프롬프트 인젝션, 그리고 인자 하이재킹 공격 상황에서 승인되지 않은 도구 실행에 대한 공격 성공률을 제로에 가깝게(대부분의 모델과 도구에서 0.0%) 낮춥니다.
인자 하이재킹 (Argument Hijacking): 커스텀 벤치마크에서 베이스라인 모델들은 높은 취약성(예: GPT-4o-mini에서 100% ASR)을 보였습니다. 반면, NCS-Full은 테스트된 모든 모델과 제어 도구(BankManagerPayBill, TransferFunds 등)에서 ASR을 **0.0%**로 감소시켰습니다.
유용성 보존: NCS는 "부분 유용성"( $U^\partial$ )을 보존하여, 공격 상황에서도 건전한 단계들이 완료될 수 있도록 합니다. 예를 들어, DeepSeek-Chat의 경우 NCS-Full 환경에서 $U^\partial$ 이 94.4%에 달했습니다.
오버헤드: 암호학적 오버헤드는 미미합니다. 전체 스트림 검증(서명 + 해시 체인)은 약 1.2 ms(p50)가 소요되며, 이는 단일 LLM 추론 턴보다 수 차례 낮은 수준입니다.
베이스라인과의 비교: 유용성을 희생하거나 포맷 준수 강제(format-compliance coercion)에 취약한 통계적 방어 기제(예: FATH, Spotlighting)와 달리, NCS는 건전한 작업 완료율을 크게 떨어뜨리지 않으면서도 결정론적 보장을 제공합니다.

의의 및 주장

본 논문은 NCS가 에이전트 보안의 관점을 "모델의 의도가 준수되었는가?"에서 "제안된 디스패치가 암호학적으로 승인된 단계와 일치하는가?"로 재정의한다고 주장합니다.

능동적 거버넌스: NCS는 암호화 서비스를 단순한 실행 엔진에서, 언제 그리고 어떤 조건 하에 민감한 연산이 릴리스될지를 관리하는 능동적인 런타임 거버넌스 평면으로 진화시킵니다.
결정론적 보장: 실행을 오프라인에서 서명된 해시 체인 스트림에 고정함으로써, NCS는 LLM 추론의 확률적 특성과 적대적 프롬프트 인젝션에 견고한, 결정론적이고 페일 클로즈(fail-closed) 방식의 보안을 제공합니다.
상호 보완성: 저자들은 NCS가 기존의 정보 흐름 제어(IFC) 및 권한 제어 프레임워크를 대체하는 것이 아니라 보완하는 것임을 강조합니다. IFC가 일반적인 데이터 흐름 경계를 제한한다면, NCS는 암호학적 및 단계별 파라미터 무결성을 강제합니다.
한계점: 현재 구현은 서명 검증과 해싱에 집중되어 있으며, 암호화 또는 임계값 서명(threshold signatures)에 대한 지원은 향후 과제로 남겨두었습니다. 또한, NCS는 제어 도구 호출이 포함되지 않은 자연어 출력 누출(예: 텍는 생성)을 필터링하지는 못하며, 이는 약한 백본 모델에서 특정 공격 클래스에 나타나는 한계점입니다.

요약하자면, NCS는 의도 해석과 실행 권한을 분리함으로써 에이전트 워크플로우를 보호하는 실질적인 경로를 제시하며, 이를 통해 에이전트의 추론이 하이재킹되더라도 실행은 암호학적으로 검증되고 승인된 단계 내에 머물도록 보장합니다.