🤖 AI

Observability for Delegated Execution in Agentic AI Systems

이 논문은 동적인 LLM 기반 에이전트 시스템에서 표준 감사 로그가 위임 범위를 고유하게 식별하지 못하는 문제를 해결하기 위해, 신뢰할 수 있고 휴리스틱이 필요 없는 포렌식 재구성을 가능하게 하도록 실행 시점에 위임 컨텍스트를 결합하는 에이전트 인지 관측 기질(agent-aware observability substrate)을 제안한다.

원저자: Abhinav Mishra, Kumar Sharad

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhinav Mishra, Kumar Sharad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 프로젝트를 처리하기 위해 고도로 숙련되고 자율적인 비서들(AI 에이전트)로 구성된 팀을 고용했다고 상상해 보십시오. 당신은 다음과 같은 광범위한 목표를 부여합니다: "우리의 판매 데이터를 정리하고 팀원들과 요약본을 공유해 줘."

과거에 인간 직원을 고용했을 때라면, 그가 파일을 열고, 이메일을 보내고, 보고서를 출력하는 등의 일과를 쉽게 추적할 수 있었습니다. 하지만 이 AI 에이전트들은 다릅니다. 이들은 단순히 직선적인 경로를 따르지 않습니다. 이들은 다음과 같은 행동을 할 수 있습니다:

업무를 더 작은 작업으로 나누어 다른 AI 하위 비서들에게 보냅니다.
도구를 시도했다가 실패하면, 다른 도구를 시도합니다.
여러 대의 컴퓨터에서 여러 작업을 동시에 실행합니다.
까다로운 문서 때문에 혼란을 겪어, 당신의 원래 허가 범위 내에서 움직이고 있음에도 불구하고 의도치 않은 행동을 할 수도 있습니다.

문제점: 위임의 "유령" (The "Ghost" of Delegation)
이 논문의 저자들은 이러한 에이전트들을 추적하는 현재의 방식이 망가져 있다고 주장합니다. 우리에게는 '감사 로그(audit logs)'(보안 카메라와 같은 것)와 '트레이스(traces)'(경로를 나타내는 지도와 같은 것)가 있습니다.

하지만 이 논문은 단순히 로그를 보는 것만으로는 특정 위임에 속한 행동이 무엇인지 파악할 수 없다고 주장합니다.

여기 비유가 있습니다: 서로 다른 두 명의 배달 기사(위임 A와 위임 B)가 같은 도시에서 일하고 있다고 가정해 봅시다. 두 기사는 모두 같은 도로(도구)를 사용하며 때때로 서로 스쳐 지나갑니다.

과거의 방식: 우리는 특정 교차로를 통과한 모든 차량의 기록과 그 시간을 알고 있을 뿐입니다.
문제점: 만약 기사 A와 기사 B가 오후 2시에 동시에 교차로를 통과했고 그들의 경로가 비슷해 보인다면, 교통 로그만 보고는 어떤 기사가 무엇을 했는지 구분할 수 없습니다. 그들이 근처에 있었기 때문에 함께 움직였다고 추측할 수는 있겠지만, 그것은 단지 추측일 뿐입니다. 만약 그들의 경로가 겹치거나, 재시도하거나, 갈라진다면, 그 추측은 불가능해집니다.

이 논문은 권한 자체에 특정 라벨이 붙어 있지 않으면, 당신이 위임한 권한이 정확히 무엇을 했는지 재구성하는 것이 수학적으로 불가능하다는 것을 증명합니다. 즉, "권한"(누가 명령을 내렸는가)은 "인과관계"(어떤 순서로 일이 일어났는가)와 완전히 분리되어 있습니다.

해결책: "스마트 게이트웨이"와 "유니버설 배지"
이를 해결하기 위해 저자들은 **CIM (Common Information Model)**과 **게이트웨이(Gateway)**라고 불리는 새로운 시스템을 제안합니다.

게이트웨이 (보안 요원): AI가 사용하고자 하는 모든 도구(파일 서버, 채팅 앱, 데이터베이스 등)의 문 앞에 서 있는 보안 요원을 상상해 보십시오.
유니버설 배지 (위임 ID): 특정 위임이 시작되면, 시스템은 해당 위임만을 위한 고유하고 변경 불가능한 "배지 ID(Badge ID)"를 발급합니다.
규칙: AI가 무엇인가에 접촉할 때마다, 게이트웨이는 배지를 확인합니다. 만약 AI가 당신의 허가 하에 행동하고 있다면, 게이트웨이는 해당 행동이 일어나기 전 단계에서 그 행동에 당신의 배지 ID를 낙인찍습니다.

이것은 단순히 "세션 ID"(단일 여정을 위한 티켓 번호와 같은 것)를 추가하는 것과는 다릅니다. 세션 ID는 AI가 업무를 하위 팀으로 나누거나 작업을 재시도할 때 깨지기 쉽습니다. 반면 배지 ID는 AI가 하위 에이전트를 생성하든, 작업을 병렬로 실행하든, 혹은 앞뒤로 왔다 갔다 하든 상관없이 그 권한과 함께 계속 유지됩니다.

이를 통해 우리가 할 수 있는 것들
이 새로운 시스템을 사용하면, 질문을 던지는 것이 마치 문 근처에 누가 서 있었는지를 보고 추측하는 것이 아니라, 데이터베이스에서 특정 고객을 검색하는 것처럼 쉽고 정확해집니다.

"폭발 반경(Blast Radius)" 질문: "AI가 2시에서 2시 30분 사이에 어떤 파일에 접근했는가?"(이 과정에서 다른 사람의 작업이 포함될 수 있음)라고 추측하는 대신, "어떤 도구를 사용했든, 언제 발생했든 관계없이 배지 #123에 의해 접촉된 모든 파일을 보여줘"라고 물을 수 있습니다.
"하위 에이전트" 질문: 만약 메인 AI가 궂은일을 하기 위해 하위 에이전트를 고용했다면, 배지는 그 하위 에이전트의 행동 역시 당신의 원래 위임과 명확하게 연결되도록 보장합니다.
"드리프트(Drift)" 질문: AI가 안전한 파일을 읽다가 갑자기 비밀 파일을 읽기 시작했다면, 시스템은 AI가 권한 변경을 요청하지 않았더라도 배지의 활동 로그에서 이러한 "드리프트" 현상을 포착할 수 있습니다.

중요한 한계점 (이 논문이 주장하지 않는 것)

마음을 읽지는 못합니다: 이 시스템은 AI가 무엇을 의도했는지 또는 속임을 당했는지(예: 프롬프트 인젝션) 알지 못합니다. 시스템은 단지 그 행동이 당신의 위임 하에 일어났다는 사실만을 기록합니다. 만약 AI가 속아서 파일을 훔쳤다면, 시스템은 "당신의 위임이 이 일을 했다"라고 말할 뿐, "AI가 해킹당했다"라고 말하지 않습니다.
문(Door)이 필요합니다: 이 시스템은 AI가 "게이트웨이"를 통할 때만 작동합니다. 만약 AI가 게이트웨이가 감시하지 않는 백도어를 찾아내거나 도구를 사용한다면, 그 행동들은 보이지 않습니다.
예방 도구가 아닙니다: 이 시스템은 AI가 나쁜 짓을 하는 것을 막는 것이 아니라, 사후에 정확히 무슨 일이 일어났는지 볼 수 있게 해주는 것입니다.

요약하자면
이 논문은 AI 에이전트가 점점 더 무질서하고 복잡해짐에 따라, 경로와 시간만을 보는 기존의 추적 방식은 실패할 것이라고 주장합니다. 우리는 단순히 경로를 따르는 것이 아니라 권한 자체를 따르는 새로운 추적 방식이 필요합니다. 모든 행동이 발생하는 순간에 영구적인 "배지"를 부착함으로써, 우리는 AI가 루프를 돌거나, 팀을 나누거나, 여러 시스템을 넘나들며 작업하더라도 우리가 위임한 데가 정확히 무엇을 했는지 마침내 재구성할 수 있습니다.

기술 요약: 에이전트형 AI 시스템에서의 위임 실행에 대한 관측 가능성(Observability)

문제 정의

본 논문은 대규모 언어 모델(LLM) 기반의 에이전트 시스템에서 발생하는 관측 가능성의 결정적인 격차를 식별한다: 위임 범위 실행(delegation-scoped execution)은 표준 관측 지표(감사 로그 및 실행 트레이스)만으로는 식별할 수 없다.

전통적인 시스템에서 실행은 규정된 워크플로를 따른다. 그러나 에이전트 시스템에서 실행은 **위임(delegated)**된다: 주체(principal)가 에이전트에게 지속적인 권한 컨텍스트를 부여하면, 에이전트는 동적으로 도구를 선택하고, 실행 시퀀스를 가변적으로 변경하며, 백트래킹(backtracking)을 수행하거나 하위 에이전트를 생성한다. 이는 다음과 같은 구조적 불일치를 발생시킨다:

권한과 인과관계의 직교성(Orthogonality of Authority and Causality): 책임의 단위(위임)는 실행의 단위(인과적 트레이스/스팬)와 구조적으로 직교한다. 단일 위임은 인과적으로 단절된 도구 호출(병렬 재시도, 비동기 팬아웃)에 걸쳐 있을 수 있으며, 반대로 인과적으로 연결된 작업들이 서로 다른 위임 하에 발생할 수도 있다(재위임).
식별 불가능성(Non-Identifiability): 본 논문은 실행 트레이스와 이벤트 로컬 속성만으로는 위임 멤버십을 재구성할 수 없음을 증명한다. 서로 호환되지 않는 여러 위임 할당이 동일한 관측 가능한 텔레메트리(감사 로그 및 인과 그래프)를 생성할 수 있다.
기존 도구의 한계: 기존 메커니즘(SIEM, OpenTelemetry, LangSmith)은 개별 작업이나 인과 체인을 기록하지만, 이질적인 시스템 전반에서 "특정 위임 하에 어떤 작업이 발생했는가"를 재구성할 수 있는 의미론적 능력이 부족하다. 이들은 휴리스틱한 시간 창 상관관계(time-window correlations)나 세션 ID에 의존하는데, 이는 멀티 에이전트 구성, 재시도, 중첩된 위임 상황에서 실패한다.

방법론: 에이전트 인지 공통 정보 모델 (CIM)

이를 해결하기 위해 저자들은 CIM이라 불리는 경량화된 에이전트 인지 관측 기질(observability substrate)을 제안한다. CIM은 의도 추론 엔진이 아니라, 실행 시점에 위임 컨텍스트를 결합하는 구조적 모델이다.

핵심 구성 요소

CIM은 위임된 실행을 위한 이중 구조 모델을 도입한다:

실행 그래프 ( $G_{exec}$ ): 인과 관계(트레이스, 스팬, 부모-자식 링크)를 나타낸다.
권한 그래프 ( $G_{auth}$ ): 위임 관계(주체, 에이전트, 재위임, 계보)를 나타낸다.
권한 관계 ( $R_{auth}$ ): 이벤트를 위임에 명시적으로 결합한다.

의미론적 요구사항

CIM은 위임 범위 재구성을 명확하게 정의하기 위해 네 가지 의미론적 약속을 강제한다:

R1 (지속적 위임 컨텍스트): 모든 이벤트는 지속적인 delegation_id에 결합된다.
R2 (권한-인과관계 분리): 권한 파티션은 트레이스와 일치할 필요가 없으며, 모델은 이러한 괴리를 명시적으로 지원한다.
R3 (위임 폐쇄성): 재위임 및 에이전트 생성은 계보 폐쇄성(lineage closure)과 함께 표현되어, 특정 위임 및 그 모든 하위 에이전트에 대한 쿼리를 허용한다.
R4 (교차 시스템 정규화): 페이로드 검사 없이 교차 도구 쿼리가 가능하도록 작업과 리소스를 안정적인 어휘(예: read, write, share, invoke)로 정규화한다.

구현: 게이트웨이(Gateway)

저자들은 캡처 경계로서 경량 게이트웨이를 제안한다. 이 컴포넌트(프록시, 사이드카 또는 라이브러리)는 에이전트의 도구 호출을 가로채어 다음을 수행한다:

발행 및 결합(Mint and Bind): 이벤트를 인증된 주체와 연관시키고 delegation_id를 발행한다.
전파(Propagate): 멀티 에이전트 체인을 따라 위임 컨텍스트가 전달되도록 보장한다.
정규화(Normalize): 도구별 작업을 정형화된 액션 어휘로 매핑한다.
불변성 강제(Enforce Invariants): delegation_id가 자유 형식의 문자열이 아닌 검증된 바인딩임을 보장하고, 위임 컨텍스트가 누락된 경우 이벤트를 "미결합(unbound)" 상태로 명시한다.

주요 기여

본 논문의 주요 기여는 세 가지이다:

위임-관측 가능성의 정형화: 동시성 및 멀리 에이전트 구성 환경에서도 휴리스틱한 시간 창 상관관계 없이 위임 범위 내의 작업 집합을 재구성할 수 있는 시스템 속성을 정의했다.
식별 불가능성 증명: 위임된 권한이 인과적 제어 흐름과 직교하기 때문에 감사 로그와 인과적 트레이싱만으로는 위임 범위 실행을 복구할 수 없음을 입증했다.
CIM 도입: 위임된 실행을 이중 구조(권한 및 실행 그래프)로 모델링하여 신뢰할 수 있는 사후 재구성과 직접적인 포렌식 쿼리를 가능하게 하는 공통 정보 모델을 제시했다.

실험 결과

저자들은 두 가지 환경, 즉 고용량 합성 생성기(에이전트 10만 개, 사용자 1만 명)와 실제 도구 호출이 포함된 마이크로 배포 환경을 사용하여 CIM을 평가했다.

재구성 정확도

모호성(Ambiguity): 베이스라인 방식(트레이스 전용, 시간 창, 또는 하이브리드 상관관계) 하에서는 동시성이 높아짐에 따라 모호성(유효한 위임 그룹의 수)이 급격히 증가했다. 예를 들어, 멀티 에이전트 워크플로에서 베이스라인의 중앙값 모호성은 10,856에 달했다. CIM은 구성상 커버된 이벤트에 대해 모호성 1을 달성했다.
재현율(Recall): 트레이스 경계가 위임 경계와 일치하지 않을 때 베이스라인 방식은 낮은 재현율(p05 기준 0.03까지 하락)을 보였다. CIM은 커버된 이벤트에 대해 100%의 재현율을 달성했다.
괴리(Divergence): 실험을 통해 권한-인과관계의 괴리가 흔하게 발생함(예: 단일 위임이 일부 워크플로에서 35개 이상의 인과적 구성 요분에 걸쳐 있음)을 확인했으며, 이는 권한과 인과관계를 독립적인 것으로 취급하는 모델의 필요성을 입증한다.

운영 오버헤드

이벤트 크기: CIM은 이벤트당 약 247 바이트(위임 컨텍스트, 계보, 정규화된 서술어)를 추가한다.
지연 시간(Latency): 게이트웨이 처리로 인한 지연 시간은 미미하다(중앙값 0.01 ms, p95 0.29 ms).
쿼리 노력: 가장 큰 이점은 쿼리 구성 부담의 감소이다. 베이스라인 쿼리는 클래스당 6~~14개의 연산(조인, 윈도잉, 정규화)이 필요하다. CIM은 이를 안정적인 필드에 대한 **1~~3개의 직접적인 서술어**로 줄여준다. 쿼리 실행 성능은 테스트된 규모에서 CIM과 베이스라인 간에 유사했다.

의의 및 주장

본 논문은 에이전트 시스템에는 위임 인지 관측 가능성이 필요하다고 주장한다. 왜냐하면 위임된 권한은 사후에 트레이스만으로는 신뢰성 있게 재구성될 수 없기 때문이다.

구조적 책임성(Structural Accountability): CIM은 워크플로를 평면적인 이벤트 스트림이 아닌 구조화된 객체로 재구성할 수 있게 하여, "위임 $d$ 의 영향 범위(blast radius)는 무엇인가?" 또는 "어떤 하위 에이전트가 이 권한 하에 행동했는가?"와 같은 포렌식 질문에 직접 답할 수 있게 한다.
의도와 무관함(Agnostic to Intent): 시스템은 **귀속(attribution)**과 **의도(intent)**를 명확히 분리한다. CIM은 해당 작업이 의도된 것인지, 프롬프트 인젝션의 결과인지, 혹은 오류인지와 관계없이 실행된 위임에 귀속시킨다. 이는 에이전트의 내부 추론을 추론하거나 프롬프트 인젝션을 탐지하지 않고도 "액세스/공유 발자국(access/share footprint)"을 감사할 수 있게 한다.
상호 보완성: CIM은 보안 및 감사 노력을 보완하는 인프라로 제시된다. 이는 오용을 방지하거나 의도를 추론하는 것이 아니라, 멀티 에이전트 시스템에서 복합적인 결과, 창발적 행동, 실행 드리프트(execution drift)를 조사하는 데 필요한 구조적 데이터를 제공한다.

저자들은 이러한 기질(substrate) 없이는 "위임 범위 재구성" 문제가 에이전트 AI에서 구조적으로 결정 불가능한 상태로 남아, 에이전트 시스템이 확장됨에 따라 신뢰할 수 없는 포렌식 분석으로 이어질 것이라고 결론짓는다.