💻 computer science

Safety Invariants for Agents Orchestrating Irreversible State Transitions: A Four-Dimensional Formalism Evaluated on Public Ledgers

이 논문은 공공 원장에서 비가역적 상태 전이를 수행하는 자율 에이전트의 '실행 충실도(execution fidelity)'를 보장하기 위해 4차원 형식주의와 7개의 유도된 안전 불변량을 도입하며, 이는 실현된 효과가 무효이거나 사용자가 렌더링한 전이와 정확히 일치하도록 보장하고, 적대적 환경에서 표준 베이스라인보다 안전성을 유의미하게 향상시키는 것으로 경험적으로 검증된 프레임워크이다.

원저자: Zhaoming Yin

게시일 2026-08-04

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhaoming Yin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간은 덜렁대는 로봇 집사에게 할 일 목록을 건네준다고 상상해 보세요. 당신은 이렇게 말합니다. "내 저금통에 있는 용돈을 저축용 유리병으로 옮겨줘." 컴퓨터 과학의 세계에서 이것은 **자율 에이전트(autonomous agents)**의 영역입니다. 자율 에이전트는 인공지능을 사용하여 스스로 결정을 내리고 행동을 취하는 소프트웨어 프로그램입니다. 보통 이 에이전트들은 질문에 답하거나 이야기를 쓰는 데는 뛰어나지만, 이제 막 돈을 옮기거나, 파일을 저장하거나, 불을 켜는 것과 같이 실제 세상에 손을 대는 법을 배우기 시작했습니다. 문제는 일부 행동들이 **가역적이지 않다(irreversible)**는 점입니다. 일단 돈을 낯선 사람에게 송금하거나 파일을 삭제하면, "실행 취소"를 누를 수 없습니다. 만약 로봇이 당신의 명령을 오해하거나 인터넷에 오류가 발생한다면, 당신은 모든 것을 잃을 수도 있습니다. 이 논문은 무서운 질문을 다룹니다. 어떻게 하면 로봇이 당신을 도우려다가 실수로 당신의 돈을 태워버리지 않도록 보장할 수 있을까?

이 논문의 저자는 이러한 디지털 집사들을 위한 안전 시스템, 특히 블록체인(돈과 자산이 존재하는 공공 장부) 세계를 위한 시스템을 구축하고 있습니다. 저자는 기존의 안전 점검 방식이 너무 모호하다는 것을 깨달았습니다. 단순히 로봇이 "제대로 하기를" 바라는 대신, 저자는 엄격한 수학적 규칙집을 만들었습니다. 저자는 우리가 인간의 의도를 로봇이 완벽하게 이해하도록 강제할 수는 없지만(언어는 모호하기 때문), 로봇이 아무것도 하지 않거나, 혹은 약속한 것을 정확히 한 번만 수행하도록 보장할 수 있다는 것을 증명했습니다. 저자는 이를 "실행 충실도(execution fidelity)"라고 부릅니다. 이것은 마치 마법의 계약과 같습니다. 만약 로봇이 10달러를 옮기겠다고 말했다면, 정확히 10달러를 옮기거나, 아니면 0달러를 옮겨야 합니다. 100달러를 옮겨서도 안 되고, 10달러를 두 번 보내서도 안 되며, 엉뚱한 사람에게 10달러를 보내서도 안 됩니다. 만약 로봇이 혼란에 빠지면, 시스템은 로봇이 추측하여 재앙을 일으키는 대신 동작을 멈추고 도움을 요청하도록 강제합니다.

4차원 지도

이 보장을 가능하게 하기 위해, 저자는 디지털 지갑을 바라보는 새로운 방법을 발명했습니다. 단순히 "내가 돈을 얼마나 가지고 있는가"를 생각하는 대신, 모든 트랜잭션을 4차원 그리드 위에 매핑합니다. 모든 행이 네 가지 좌표로 정의된 당신의 돈의 특정 상태를 나타내는 거대한 스프레드시트를 상상해 보세요:

지갑(Wallet): 어떤 키 세트(당신의 신원)가 돈을 소유하고 있는가.
체인(Chain): 돈이 어떤 디지털 고속도로 위에 있는가 (예: 이더리움, 비트코인, 솔라나).
주소(Address): 해당 고속도로 위의 구체적인 우편함.
프로토콜(Protocol): 돈이 플레이하고 있는 구체적인 자산 또는 게임의 유형 (예: USDC, 브릿지 토큰, 스테이킹된 파생상품).

논문은 이 네 가지 좌표를 모두 알지 못하면 돈을 안전하게 옮길 수 없다고 주장합니다. 만약 세 가지만 알고 있다면, 비트코인을 이더리움 체인에는 존재하지 않는 비트코인 주소로 보내거나, 아예 엉뚱한 지갑으로 보낼 수 있습니다. 트랜잭션을 이 4D 그리드 상의 정밀한 이동으로 취급함으로써, 시스템은 수학적 확실성을 가지고 "전"과 "후"의 상태를 확인할 수 있습니다.

7가지 안전 규칙 (불변량)

이 논문의 핵심은 로봇이 반드시 따라야 하는 7가지 안전 규칙(불변량이라고 불림)입니다. 이것들은 단순한 제안이 아니라, 규칙이 충족되지 않으면 로봇의 행동을 막는 하드코딩된 게이트입니다. 일상적인 용어로 설명하면 다음과 같습니다:

"보여줘" 게이트: 로봇이 당신의 돈에 손을 대기 전에, 자신이 수행하려는 정확한 움직임의 미리보기를 당신에게 보여주어야 합니다. 당신(또는 엄격한 자동화된 점검 시스템)은 그 특정 미리보기에 대해 "예"라고 답해야 합니다. 로봇은 그냥 "하고 있다"라고 말한 뒤 다른 행동을 할 수 없습니다.
"잔액 확인" 게이트: 로봇이 트랜잭션에 서명하기 직전에, 캐시된 데이터나 오래된 숫자가 아닌 블록체인 상의 실제 잔액을 확인해야 합니다. 만약 돈이 없다면 로봇은 멈춥니다. 이는 로봇이 사라진 돈을 쓰려고 시도하는 것을 방지합니다.
"기다려 보기" 규칙: 로봇은 트랜잭션을 보낸 후, 블록체인에서 결과를 볼 수 없다고 해서 즉시 "성공!"이라고 말하지 않습니다. 인터넷이 느리거나 블록체인이 혼잡한 경우, 로봇은 "완료되었다!"라고 말하는 대신 "아직 잘 모르겠다"라고 말합니다. 이는 로봇이 즉각적인 응답을 받지 못했다고 해서 당황하여 돈을 다시 보내려고 시도하는 것을 방지합니다 именно.
"유령 성공 금지" 규칙: 만약 로봇이 영수증(트랜잭션 ID)을 받았지만 블록체인에 실제로 기록되지 않았다면, 로봇은 실패를 인정해야 합니다. 돈이 여전히 당신의 주머니에 있는데 "보냈다!"라고 거짓말하는 것을 거부합니다.
"신분증" 규칙: 만약 로봇이 당신을 대신해 행동하고 있다면(예: 자동 저축 봇), 로봇은 자신이 무엇을 할 수 있는지 정확히 적힌 디지털 신분증을 착용해야 합니다. 만약 신분증에 "이체 전용"이라고 적혀 있다면, 로봇이 까다로운 프롬프트에 의해 혼란을 겪더라도 "스왑(Swap)"이나 "브릿지(Bridge)"를 할 수 없습니다.
"재시도 전 확인" 규칙: 만약 로봇이 어떤 움직임이 실패했다고 생각하더라도, 즉시 다시 시도할 수 없습니다. 먼저 블록체인을 확인하여 그 움직임이 정말로 일어나지 않았음을 증명해야 합니다. 만약 그 움직임이 (로봇은 몰랐지만) 이미 일어났다면, 로봇은 두 번째로 보내는 것이 금지됩니다. 이는 실수로 돈을 "이중 지출"하는 것을 방지합니다.
"단일 메시지" 규칙: 만약 인터넷이 실수로 동일한 요청을 두 번 보낸다면(예: 더블 클릭), 시스템은 이를 중복으로 인식하고 두 번째 것을 무시합니다. 이를 통해 네트워크에 오류가 생기더라도 로봇은 단 한 번만 행동하게 됩니다.

발견한 것 (그리고 발견하지 못한 것)

저자는 이 규칙들을 테스트하기 위해 로봇을 속여 실수를 유도하는 "악당" 시뮬레이터를 사용했습니다. 저자는 60개의 까다로운 시나리오 데이터셋을 사용하여 네 가지 AI 모델을 대상으로 테스트했습니다.

큰 승리: 행동하기를 갈망하는(이를 "쓰기 공격적(write-aggressive"이라 함)이라고 부름) 두 AI 모델에서, 이 7가지 안전 규칙을 추가했을 때 성공률이 약 74 퍼센트 포인트 향상되었습니다. 규칙이 없는 로봇은 거의 모든 것에 실패했지만, 보호받는 로봇은 대부분의 경우 성공했습니다.
주의 사항: 자연적으로 조심스럽고 행동을 주저하는 하나의 AI 모델에서는, 안전 규칙이 약 3 퍼센트 포인트의 개선만을 가져왔습니다. 이를 통해 저자는 안전 계층이 밑바탕이 되는 AI의 뇌에 크게 의존한다는 중요한 교훈을 얻었습니다. 안전 계층은 너무 의욕적인 뇌를 고칠 수는 없지만, 이미 너무 신중한 뇌를 고칠 필요도 없습니다.
실제 세계의 증명: 이 시스템은 단순한 이론이 아닙니다. 저자는 이를 실제 세계에 배포하여 8개의 서로 다른 블록체인에서 108건의 실제 쓰기 작업을 추적했습니다. 저자는 실제 실패 사례(예: 인터넷이 트랜잭션에 대해 거짓말을 하는 "유령 성공" 상황)를 관찰했고, 자신들의 규칙이 어떻게 이를 잡아냈는지 보여주었습니다. 예를 들어, 어떤 로봇이 트랜잭션이 실패했다고 생각하여 $200를 이중 지출할 뻔한 사례를 발견했는데, 안전 규칙이 두 번째 시도를 차단했습니다.

마법의 한계

이 논문은 자신이 할 수 없는 것에 대해서도 매우 정직합니다. 저자는 시스템이 로봇이 당신이 의도한 것을 이해했는지는 보장할 수 없다고 명시합니다. 만약 당신이 "내 모든 돈을 달로 보내줘"라고 말해서 로봇이 사기꾼에게 돈을 보냈다면, 시스템은 여전히 완벽하게 작동할 것입니다. 즉, 시스템은 당신이 요청한 것을 정확히, 정확히 한 번 수행할 것입니다. 안전 시스템은 로봇이 현명한 조언자가 아니라 충실한 실행자가 되도록 보장합니다. 이는 로봇이 과정 중에 실수를 하지 않도록 만드는 것이지, 나쁜 명령을 따르는 것을 막는 것이 아닙니다.

저자는 또한 인터넷 연결이 너무 오래 끊기거나, AI 모델 자체가 예상치 못한 방식으로 행동을 바꾸는 경우 안전 보장이 중단될 수 있음을 인정합니다. 저자는 이 7가지 규칙이 로봇이 기술적인 오류(예: 두 번 보내거나 잘못된 주소로 보내는 것)를 범하는 것을 막기에 충분하다는 것을 증명했지만, "이것이 좋은 아이디어인가?"에 대한 최종 책임은 여전히 인간에게 남아 있습니다.

요약하자면, 이 논문은 "어떻게 하면 인간처럼 생각하는 로봇을 만들 것인가?"라는 문제를 해결하는 것이 아닙니다. 대신 "어떻게 하면 로봇이 로봇처럼 행동하면서도, 그 일을 하는 동안 절대 실수를 하지 않도록 만들 것인가?"를 해결합니다. 디지털 돈이라는 복잡한 세상을 정밀한 4차원 지도로 바꾸고 7개의 깨지지 않는 게이트를 구축함으로써, 저자는 당신이 애초에 나쁜 것을 요청하지 않는 한 잘못될 수 있는 것은 아무것도 없는 시스템을 만들었습니다. 그리고 저자는 그것이 우리가 기대할 수 있는 최선의 안전이라고 주장합니다.

기술 요약: 비가역적 상태 전이를 오케스트레이션하는 에이전트를 위한 안전 불변량 (Safety Invariants)

문제 정의

확률적 플래너(LLM)에 기반한 자율 에이전트는 공공 원장상의 자금 이체, 내구 저장소 기록, 또는 하드웨어 작동과 같이 외부 시스템에 비가역적인 효과를 생성하는 과업을 점점 더 많이 수행하고 있습니다. 기존 프레임워크(예: ReAct, Reflexion, MCP)는 벤치마크 상의 작업 성공률을 최적화하지만, 비가역적 부수 효과(irreversible side-effects)의 안전성은 거의 고려하지 않습니다.

핵심 과제는 런타임 레이어가 생성된 전이가 자연어 사용자 의도("의도 매핑" 문제)를 충실히 구현했는지 확정적으로 결정할 수 없다는 점입니다. 그러나 본 논문은 의도 매핑은 미해결 과제일지라도, 그 의도의 *실행(execution)*은 엄격하게 제어될 수 있다고 주장합니다. 이러한 제어가 없다면 에이전트는 다음과 같은 특정 실패 모드를 겪게 됩니다:

RPC 레벨: "유령 성공(Phantom success)" (RPC가 해시를 반환했으나 이후 철회됨) 또는 "유령 실패(Phantom failure)" (정당한 트랜잭션이 발생했으나 짧은 검증 시간으로 인해 실패로 보고됨).
LLM 레벨: "정체된 컨텍스트 드리프트(Stale-context drift)" (지표가 변했음에도 불구하고 에이전트가 "사용자 계정이 없음"과 같은 오래된 결론을 반복함).
거래소/API 레벨: "문서화된 원자성 드리프트(Documented-atomicity drift)" (취소 및 교체와 같이 원자적으로 명시된 동작이 거부되었을 때 부분적으로만 실행되어 사용자를 불안전한 상태에 남겨둠).
운영 레벨: 중복 전달 및 잘못 매핑된 지갑 선택으로 인한 의도치 않은 이중 지불(double-spends).

방법론 및 정식화

4차원 상태 공간

본 논문은 지갑 작업을 4차원 공간 $S = W \times C \times A \times P$ 에서의 상태 전이로 정식화합니다:

$W$ (Wallet): 자금을 제어하는 니모닉/시드.
$C$ (Chain): 블록체인 네트워크.
$A$ (Address): 해당 체인 상의 특정 주소.
$P$ (Protocol): 특정 토큰, 컨트랙트 또는 오프체인 계정 (예: Arbitrum 상의 USDC vs Hyperliquid 상의 perp-USDC).

전이 $\tau$ 는 유계된(bounded) 쿼드러플(quadruple) 세트의 잔액을 수정하는 부분 함수입니다. 결정적으로, 이 정식화는 **지갑( $W$ )**을 단일 전이를 위한 고정된 좌표로 취급합니다. 이를 통해 시스템은 "잔액 부족"(유효한 상태 체크 실패)과 "잘못된 지갑 선택"( $W$ 를 잘못 선택한 치명적 오류) 사이의 구분을 가능하게 하며, 이는 저차원 모델에서는 상실되는 구분입니다.

실행 충실도 (Execution Fidelity)

본 논문은 실행 충실도를 모든 세션 $\sigma$ 에 대하여, 실현된 원장 상의 효과 $real(\sigma)$ 가 다음 중 하나임을 보장하는 것으로 정의합니다:

아무것도 없음 ( $\emptyset$ ), 또는
사용자에게 렌더링된 전이 $\tau_p$ 와 정확히 일치하며, 정확히 한 번만 발생함.

이 정리는 $\tau_p$ 가 사용자의 자연어 의도와 일치한다는 것을 주장하지 않습니다. 대신, "에이전트가 이해했는가?"라는 무한한 의미론적 질문을 "4개 좌표 튜플과 금액이 프리뷰된 것과 일치하는가?"라는 유계되고 결정 가능한 체크로 축소합니다.

7가지 안전 불변량 (Seven Safety Invariants)

실행 충실도 조건(미렌더링 실행, 중복 실행, 파생되었으나 다른 실행 방지)에 대한 사례 분석을 통해 도출된 7가지 불변량은 다음과 같습니다:

컨펌 게이트 (Confirm Gate, 실행기 로컬): 렌더링된 전이 튜플에 대해 명시적인 확인이 기록될 때까지 어떤 서명 키도 파생되지 않습니다. 이는 시스템이 비가역적 단계 이전에 단일 $S$ 지점에 커밋하도록 강제합니다.
사전 상태 충분성 (Pre-state Sufficiency, 실행기 로컬): 브로드캐스트 시점에 전이가 적용 가능한지 확인하기 위해, 서명 직전에 (최종 일관성 캐시를 우회하는) 실제 잔액 체크를 수행합니다.
사후 상태 관측 가능성 (Post-state Observability, 실행기 로컬): 브로드캐스트 결과가 유계된 시간 내에 관측되지 않으면, 시스템은 재시도를 유발하는 "실패" 대신 "불확실성"을 보고합니다.
유령 성공 방지 (No Phantom Success, 실행기 로컬): 트랜잭션이 인덱서나 RPC에 의해 체인 상의 존재가 검증되지 않는 한 성공했다고 보고되지 않습니다.
범위 제한 위임 (Scoped Delegation, 계층 간): 비인간 호출자(아바타)는 위임 토큰으로부터 파생된 명시적 범위 집합(예: {transfer}) 하에서 작동합니다. 실행기는 호출이 해당 전이를 포함하는 범위 내에 있는 경우에만 호출을 허용하여, 인증과 권한 부여를 분리합니다.
플랜 레벨 재시도 안전성 (Plan-level Retry Safety, 플랜 레벨): 아바타는 보고된 실패/불확실성에 대해, 해당 전이의 효과가 부재함을 실제 상태를 통해 긍정적으로 확인하기 전까지는 비가역적 전이를 재발행할 수 없습니다.
멱등적 의도 수신자 (Idempotent Intent Receiver, HTTP Receiver): 최소 한 번(at-least-once) 채널을 통해 도착하는 외부 의도는 송신자 ID와 요청 바이트를 해싱하여 중복을 제거함으로써, 단일 사용자 의도가 단일 전이 튜플을 생성하도록 보장합니다.

주요 기여

리스크의 형식적 축소: 플래너의 오매핑, 모호한 결과, 재시도를 허용하는 결함 모델 하에서, 7가지 불변량이 모든 잔류 리스크를 "의도 매핑"이라는 단일 술어(predicate)로 국한함을 증명합니다. 그 외의 모든 결함 모드는 아무런 효과를 내지 못하도록 강제됩니다.
불변량의 도출: 경험으로부터 안전 규칙을 나열하는 기존 방식과 달리, 이 불변량들은 실행 충실도의 정의로부터 논리적으로 도출되어 정의된 결함 모델에 대한 완결성을 보장합니다.
다계층 아키텍처: 본 논문은 아바타 계층(사용자를 대신하여 행동하는 지속적 에이전트)과 실행기 계층(지갑 서비스)을 갖춘 cryptitalk-wallet을 설명합니다. 아키텍처는 아바타와 인간을 실행기 관점에서 상호 교환 가능한 호출자로 취급하며, 범위 제한 위임 토큰을 통해 보안을 유지합니다.
평가에 대한 방법론적 논거: 안전성 평가는 "백킹 모델(backing model)"(LLM)에 크게 의존하므로, 안전 스택의 가치는 모델의 본질적인 공격성(aggressiveness)에 대한 함수라고 주장합니다. 단일 모델에 대해 스택을 평가하는 것은 "반증이 불가능에 가깝습니다."

실험 결과

통제된 적대적 테스트 세트 ( $N=60$ )

시스템은 4개의 백킹 모델에 대해 식별된 실패 클래스를 타겟팅하는 라벨링된 적대적 프롬프트 세트를 대상으로 평가되었습니다:

쓰기 공격적 모델 (Claude, MiniMinMax): 전체 불변량 스택은 ReAct 베이스라인(예: Claude의 경우 81.7% vs 10.2%) 대비 성공률을 약 74% 포인트 끌어올렸습니다.
쓰기 보수적 모델 (Gemini): 스택은 성공률을 약 3% 포인트만 높였습니다(60.0% vs 56.7%). 이는 모델 자체가 모호한 프롬프트에 대해 쓰기 도구 사용을 거절했기 때문입니다.
절제 연구 (Ablation Studies): 코드 게이트 불변량(I1, I3, I5, I6, I7)을 비활성화하면 특정 실패 클래스에 대한 성공률이 거의 zero에 가깝게 급락하여, 각 게이트가 필수적임을 확인했습니다. 도구 레벨 절제(I2, I4)는 에이전트의 추론이 단일 도구 제거를 흡수할 수 있어 영향이 작았습니다.

프로덕션 배포

시스템은 8개 체인과 8개 전이 프리미티브에 걸쳐 108회의 프로덕션 쓰기 작업을 수행했습니다.

실패 분류학: 배포 기록은 실패 분류학을 검증했습니다. "유령 성공", "프리뷰 게이트 우회", "잘못된 지갑 선택", "중복 웹훅 전달" 등의 사례가 관찰되었습니다.
아바타 플릿 (Avatar Fleet): 87개의 DCA(달러 비용 평균법) 실행 중, 32%는 성공했고, 32%는 인간에게 에스컬레이션되었으며, 24%는 에러를 발생시켰고(정확히 표출됨), 11%는 중단되었습니다. 결정적으로, Invariant-6 배포 이후 중복된 온체인 전이는 발생하지 않았습니다. 이는 "유령 실패"로 인해 400 USDT의 이중 지불이 발생했던 배포 전 사례와 대조됩니다.

의의 및 주장

본 논문은 의도 매핑이 미해결 상태일지라도, 비가역적 상태에 작용하는 자율 에이전트를 위한 실행 충실도가 다룰 수 있는 안전 속성임을 주장합니다. 불변량을 1차 원칙으로부터 도출함으로써, 에이전트가 행동한다면 반드시 프리뷰된 대로, 정확히 한 번만 행동하도록 보장합니다.

본 연구의 의의는 다음과 같습니다:

무한한 리스크의 축소: "에이전트가 이해했는가?"라는 무한한 문제를 4개 좌표 튜플의 유한하고 체크 가능한 비교로 전환합니다.
실용적 배포: 실제 자금을 다루는 멀티 체인 지갑 시스템에서 이러한 형식적 보장이 구현될 수 있음을 입증합니다.
평가의 엄밀성: 안전 계층은 밑단의 LLM 행동과 분리되어 평가될 수 없음을 강조하며, 백킹 모델을 일급 실험 변수로 고려할 것을 권고합니다.

본 논문은 한계를 명시적으로 인정합니다: 보장은 "무인 케이스(unattended case, 범위 체크가 인간 확인을 대체하는 경우)"에서 멈추며, 중복 억제는 시간 제한( $\Delta$ )이 있고, 다단계 플랜에 대한 원자성(단지 접두사 일관성만 제공)을 제공하지 않습니다. 또한 MEV, 스마트 컨트랙트 버그, 또는 키 탈취 문제를 해결한다고 주장하지 않으며, 오직 에이전트 오케스트레이션 표면에 집중합니다.