🤖 AI

KYA: A Framework-Agnostic Trust Layer for Autonomous Systems with Verifiable Provenance and Hierarchical Policy Composition

KYA는 자율 시스템을 위한 오픈소스 및 프레임워크 중립적 신뢰 계층으로, 안전한 4 게이트 적용 파이프라인, 계층적 정책 구성, 통합 신뢰 점수 산출 등 5 가지 핵심 원리를 활용하여 에이전트 드리프트, 누출, 적대적 공격을 탐지하면서도 밀리초 미만 지연 시간과 높은 처리량을 유지합니다.

원저자: Kolawole Quadri

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kolawole Quadri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자신에게 일하는 자율 로봇들 (AI 에이전트) 이 한 무리 있다고 상상해 보세요. 이 로봇들은 대출을 심사하거나, 의료 환자를 분류하거나, 주식을 거래합니다. 현재 이 로봇들을 감시하는 데 사용하는 도구들 (관측 가능성, observability) 은 자동차의 계기판과 같습니다. 엔진이 과열되었는지, 차가 느리게 움직이는지, 부품이 고장 났는지 등을 알려줄 뿐입니다.

**KYA(Agent 알기, Know Your Agents)**는 엔진을 단순히 감시하는 것을 넘어, 경비원, 탐정, 공증인이 하나로 합쳐진 새로운 시스템입니다. 계기판이 대답하지 못하는 질문에 답합니다: 이 로봇이 거짓말을 하고 있는가? 경로에서 벗어났는가? 비밀을 유출하고 있는가? 그리고 문제가 발생했을 때, 실제로 누가 책임져야 하는가?

다음은 일상적인 비유를 사용하여 다섯 가지 간단한 부분으로 분해한 KYA 의 작동 방식입니다:

1. 네 개의 문으로 이루어진 보안 검사 (문지기)

AI 에이전트가 새로운 작업을 하거나 규칙을 변경하기 전에 네 개의 엄격한 보안 문을 통과해야 합니다. 이는 고보안 은행 금고와 같습니다:

문 1: 열쇠를 들고 있는 사람이 실제로 이 요청서에 서명했는가? (디지털 서명 확인)
문 2: 이 요청은 여전히 유효한가, 아니면 만료되었는가? (시간 확인)
문 3: 이 요청은 규칙을 더 엄격하게 만들거나 더 느슨하게 만드는가? KYA 는 규칙이 더 엄격해져서 (안전해져서) 만 허용하며, 더 느슨해지는 것은 절대 허용하지 않습니다. 마치 부모님이 "집안일을 더 추가할 수는 있지만, 이미 있는 집안일은 없앨 수 없다"고 말하는 것과 같습니다.
문 4: 실제로 사람이 "예"라고 말했는가? 기본적으로 변경 사항은 사람이 승인해야 합니다.

2. "오직 강화만" 규칙집 (안전 격자)

로봇을 위한 규칙집이 있다고 상상해 보세요. 회사 (플랫폼) 가 기본 규칙을 설정합니다. 여러분 (임차인) 은 그 위에 더 엄격한 규칙을 추가할 수 있지만, 회사의 안전 규칙을 삭제할 수는 없습니다.
KYA 는 특수한 수학적 시스템을 사용하여, 몇 명이 규칙을 추가하더라도 시스템이 실수로 안전성이 떨어지지 않도록 보장합니다. 이는 안전 그물 더미와 같습니다: 그물을 더 추가할 수는 있지만, 아래쪽에서 하나를 빼낼 수는 없습니다.

3. KYP: "주인을 알기" (보편적 신분증)

과거에는 인간을 위한 별도의 신분증, 로봇을 위한 별도의 점수, 자동화된 스크립트를 위한 별도의 로그가 있었습니다. KYA 는 이 모든 것을 단 하나의 신분증 시스템으로 통합합니다.
행위자가 인간 직원인지, AI 로봇인지, 아니면 백그라운드 스크립트인지와 상관없이 KYA 는 그들에게 "신뢰 점수"를 부여합니다. 로봇이 잘못 행동하기 시작하면 점수가 떨어지고, 인간이 실수를 하면 점수가 떨어집니다. 이는 모두를 동일하게 대우하여 누가 신뢰할 수 있고 누가 위험한지 쉽게 파악할 수 있게 합니다.

4. "상호작용 승수" (위험 콤보)

때로는 단일 행동은 괜찮지만, 두 가지 행동이 결합되면 위험할 수 있습니다.

예시: 로봇에 "쓰기" 도구를 부여하는 것은 위험합니다. "비밀 데이터"에 접근할 수 있게 하는 것도 위험합니다.
승수: 로봇에 쓰기 도구와 비밀 데이터 접근 권한을 둘 다 부여하면, 위험은 단순히 "위험 + 위험"이 아닙니다. "초위험"이 됩니다.
KYA 는 이러한 "위험한 콤보" 목록을 보유하고 있습니다. 이를 감지하면 위험 점수를 곱하여 인간 운영자에게 이 특정 조합이 추가적인 감시가 필요하다고 경고합니다.

5. "책임 전가 게임" (오케스트레이터의 책임)

이것은 가장 중요한 기능 중 하나입니다. "관리자 로봇"이 일을 시키기 위해 세 명의 "작업자 로봇"을 고용한다고 상상해 보세요. 만약 한 명의 작업자 로봇이 제멋대로 되어 데이터를 훔친다면, 누가 trouble 에 빠질까요?

옛 방식: 작업자 로봇이 비난을 받습니다. 관리자 로봇은 깨끗하게 빠져나갑니다.
KYA 방식: 관리자 로봇이 비난을 받습니다.
KYA 는 위험한 직원을 고용했다면, 그 직원이 무엇을 하든 당신이 책임져야 한다고 가정합니다. 하위 에이전트가 잘못 행동하면 시스템은 즉시 관리자 로봇의 신뢰 점수에서 감점합니다. 이는 관리자 로봇이 더러운 일을 하기 위해 "깨끗한" 하위 에이전트 뒤에 숨는 것을 막아줍니다.

증거 처리 방식 (변조 방지 일지)

에이전트가 무언가를 할 때마다 KYA 는 그것을 디지털 일지에 기록합니다. 하지만 이는 단순한 일반 로그가 아니라, 암호학적으로 연결된 일지입니다.

모든 항목은 특수한 수학적 잠금장치 (HMAC) 를 사용하여 이전 항목과 연결됩니다.
누군가 과거 항목을 변경하려고 시도하면 (실수를 지우는 것처럼), 잠금장치가 깨지고 일지 전체가 "변조됨"으로 표시됩니다.
이는 정확히 무엇을, 누가, 언제 했는지에 대해 법정에서 증거로 채택될 수 있는 기록을 생성합니다.

논문에서 실제로 발견한 것

저자들은 이 시스템을 몇 가지 까다로운 도전 과제들로 테스트했습니다:

속도: 놀라울 정도로 빠릅니다. 에이전트들의 속도를 늦추지 않고 초당 수천 개의 에이전트를 확인할 수 있습니다.
호환성: 15 개 이상의 다양한 AI 프레임워크 (LangChain, CrewAI 등) 와 작동합니다. 어떤 소프트웨어를 사용하든 상관없습니다. KYA 는 그 위에 적합하게 작동합니다.
해킹 테스트: 팀은 에이전트를 속이려고 시도하는 "레드 팀" 해커들을 고용했습니다. KYA 는 해커들이 로봇의 사슬을 사용하여 흔적을 숨기는 매우 교묘한 새로운 유형의 공격을 포함하여 공격의 **89%**를 적발했습니다.
실제 시나리오: 시뮬레이션된 은행 대출 시스템과 병원 분류 시스템에서 테스트했습니다. 두 경우 모두 위험한 에이전트를 성공적으로 식별하고 나쁜 행동을 올바른 사람 (또는 로봇) 으로 추적했습니다.

결론

KYA 는 AI 에이전트와 현실 세계 사이에 위치하는 오픈 소스 도구 (무료 사용 가능) 입니다. AI 가 작동하는지 여부를 알려주는 것을 넘어, AI 가 안전하고, 정직하며, 책임질 수 있는지를 알려줍니다. AI 가 실수를 저지르면 정확히 누구를 책임져야 하는지 알 수 있으며, 이를 증명할 수 있는 변조 방지 기록을 확보하도록 보장합니다.

기술 요약: KYA (Know Your Agents)

문제 정의

현재 자율 에이전트용 관측 가능성 플랫폼 (예: LangSmith, Langfuse) 은 지연 시간, 비용, 오류율과 같은 운영 지표를 효과적으로 추적합니다. 그러나 에이전트 신원, 증거 출처, 그리고 강제 가능한 행동 계약을 처리할 수 있는 기능은 부족합니다. 구체적으로 기존 도구는 에이전트 신원에 바인딩되고, 암호학적으로 검증 가능하며, 제 3 자가 증명할 수 있는 거버넌스 산출물을 생성하지 못합니다. 이 격차로 인해 운영자는 에이전트가 이탈하거나, 데이터를 유출하거나, 비정상적으로 작동하는지 명확히 판단할 수 없으며, EU AI 법, NIST AI RMF, ISO 42001 과 같은 신흥 규제에서 요구하는 암호학적 감사 추적도 제공할 수 없습니다.

방법론

KYA(Know Your Agents) 는 관측 가능성 도구를 대체하기보다 그와 병행하여 작동하도록 설계된 오픈소스, 프레임워크 중립적 신뢰 및 거버넌스 레이어입니다. 이는 조정된 4 단계 스택으로 작동합니다:

핵심 SDK(veldt-kya): 신뢰 점수 산정, 증거 체인, 정책 구성을 처리하는 순수 Python 라이브러리.
프레임워크 후크 (kya_hooks): LangChain, CrewAI, OpenAI Agents 등 15 개 이상의 에이전트 프레임워크를 위한 인-프로세스 통합으로, 표준 이벤트를 생성합니다.
텔레메트리 브릿지 (kya_otlp_bridge): OpenTelemetry 스팬을 수신하여 KYA 신호로 매핑하는 사이드카.
레드팀 모듈 (kya_redteam): PyRIT 와 Garak 를 이용한 적대적 탐지를 위한 아웃 - 오브 - 밴드 도구.

이 시스템은 텔레메트리와 거버넌스 간의 격차를 메우기 위해 다섯 가지 핵심 원시 (primitives) 에 의존합니다:

1. 4 게이트 인바운드 적용 파이프라인

정책 업데이트 및 연합 추천을 관리하기 위해 KYA 는 엄격한 4 게이트 파이프라인을 사용합니다:

게이트 1: 멀티 앵커 핀닝을 통한 Ed25519 서명 검증.
게이트 2: 영구 저장 시 만료 확인 (재전송 공격 방지).
게이트 3: " Tighten-Only(강화만)" 구성 (정책은 플랫폼 기본값을 제한할 수 있지만 완화할 수는 없음).
게이트 4: 운영자 승인을 기본 상태로 설정; 자동 적용은 특정 허용 목록으로 제한됨.

2. Tighten-Only 구성 대수

KYA 는 플랫폼 기본값, 테넌트 재정의, 서명된 외부 추천이라는 세 가지 채널에 걸친 계층적 정책 구성을 위한 형식적 대수를 도입합니다. 이 시스템은 테넌트 재정의를 통해 플랫폼 가중치를 제한 (강화) 할 수는 있지만 완화할 수는 없는 **정제 연산 (refinement calculus)**을 강제합니다. 이 속성은 Lemma 1 에서 형식적으로 안전성이 입증되었으며, 손상된 수집기나 외부 추천이 테넌트의 보안 태세를 약화시키는 것을 방지합니다.

3. KYP(Know Your Principal) 통합 신뢰 분류 체계

KYA 는 사용자, AI 에이전트, 서비스 계정이라는 세 가지 주체 유형에 걸친 신뢰 점수 산정을 단일 스키마 수준 테이블 (kya_principal_trust) 로 통합합니다. 에이전트를 고립적으로 점수화하거나 별도의 신원 공급자에 의존하는 기존 시스템과 달리, KYP 는 폐쇄형 구분자 (closed-set discriminator) 를 가진 공유 점수 산정 메커니즘을 사용합니다. 이를 통해 전체 행위자 생태계 전반에 걸쳐 일관된 신뢰 추적 및 신호 집계가 가능합니다.

4. 감사 가능한 상호작용 승수 증폭

AIVSS 형태의 가법적 기준선에 기반하여 KYA 는 **상호작용 승수 (interaction multipliers)**의 감사 가능한 레지스트리를 도입합니다. 이들은 "사용자 입력을 통한 코드 실행" 또는 "프로덕션 환경의 자율 작성자"와 같은 특정 쌍별 상호작용에 의해 트리거되는 유계 비대칭 (승수 $\ge$ 1.0 만 해당) 증폭입니다. 각 상호작용은 안정적인 감사 코드를 가지므로, 감사자가 위험 점수가 증폭된 정확한 이유를 추적할 수 있습니다. 이는 선형 가법 모델이 놓치는 누적 위험을 해결합니다.

5. 2 축 위임 귀속

KYA 는 손상된 서브 에이전트가 깨끗한 오케스트레이터에 영향을 미치는 "깨끗한 오케스트레이터" 공격 패턴을 다음 두 축으로 해결합니다:

정적 축: 구성에 기반하여 위험한 서브 에이전트에게 위임한 오케스트레이터에 대한 위임 - 신뢰 프리미엄 (부과).
동적 축: actor_agent_key 규약을 사용하는 런타임 차감 메커니즘. 서브 에이전트가 비정상 신호를 생성하면 해당 신호는 오케스트레이터의 키로 태그되어 실시간으로 오케스트레이터의 주체 - 신뢰 카운터를 차감합니다. 이는 서브 에이전트가 상류 책임자를 숨기는 귀속 회피를 방지합니다.

주요 결과

본 논문은 PostgreSQL, SQLite, DuckDB, MySQL 의 4 가지 저장소 백엔드와 15 개 이상의 에이전트 프레임워크에 걸쳐 KYA 를 평가했습니다:

정확성: 4 개 백엔드 $\times$ 9 단계 엔드 - 투 - 엔드 행렬의 36 개 셀이 모두 통과했습니다.
성능: 순수 함수 기반 점수 산정기는 밀리초 미만 시간 (p99 < 1ms) 에 실행됩니다. HMAC 체인 무결성을 유지하면서 20 개의 동시 작업자로 약 초당 1,800 회 작업을 지속합니다.
적대적 탐지: PyRIT 와 Garak 로부터 1,200 개의 탐사를 사용한 레드팀 캠페인에서 KYA 는 공격의 **89%**를 차단하거나 플래그를 지정했습니다.
공격 귀속: 시스템은 성공적으로 "위상학 유도 다중 에이전트 공격 (Liang 등)"을 오케스트레이션 주체에 탐지하고 귀속시켰으며, 이는 기존 거버넌스 레이어에 없던 기능입니다.
규정 준수: 시스템은 GDPR, HIPAA, NYDFS, EU AI 법을 포함한 32 개 규제 체제에 대한 규제 기관이 읽을 수 있는 산출물을 생성합니다.

중요성 및 주장

저자들은 KYA 를 새로운 암호학적 구조가 아닌 시스템 기여로 위치시킵니다. 그 중요성은 규제된 멀티 테넌트 환경에서 거버넌스를 배포 가능하게 만드는 구성 규율과 특정 엔지니어링 원시에 있습니다.

신규성: 이 논문은 형식적 안전성 증명을 갖춘 3 채널 계층적 구성 (플랫폼/테넌트/외부), 안정적인 감사 코드를 가진 상호작용 승수 레지스트리, 그리고 서브 에이전트 오작동에 대한 런타임 오케스트레이터 차감에서 신규성을 주장합니다.
겸손함: 저자들은 점수 가중치가 경험적 판단과 전문가 판단에서 도출된 것이지 실제 값 보정이 아니라고 명시적으로 밝힙니다. 또한 이 시스템이 안전성 검증을 위한 정지 문제를 해결하지 못하며, 11% 의 고급 다중 턴 프롬프트 인젝션 놓침률은 외부 필터의 구조적 한계를 반영한다고 인정합니다.
개방성: 시스템은 Apache 2.0 라이선스로 출시되었으며, 모든 점수 산정 요소, 가중치, 증거 체인 산출물은 운영자가 감사하고 조정할 수 있습니다.

요약하자면, KYA 는 자율 시스템에 누락된 암호학적으로 검증 가능한 출처와 강제 가능한 행동 계약 레이어를 제공하여, 운영자가 "얼마나 오래 걸렸는가?"와 같은 운영적 질문에 답하는 것을 넘어 "무엇이 잘못되었는가? 누가 책임 있는가?"와 같은 책임성 질문에 답할 수 있게 합니다.