기술 요약: AgentCrypt

문제 제기

다중 에이전트 시스템 내의 AI 에이전트들은 점점 더 민감하고 규제된 데이터를 처리하도록 임무가 부여되고 있습니다. 그러나 기존 프라이버시 방어 수단인 주로 '가드레일(guardrails)'과 LLM 스캐닝 접근법은 경험적이며 평균 사례에 기반한 보호에 의존합니다. 이러한 방법들은 도구 호출, 컨텍스트 공유, 메모리 지속성, 추론, 또는 멀티홉 라우팅을 통한 접근 후 유출을 방지하지 못합니다.

핵심 문제는 대규모 언어 모델 (LLM) 의 본질적 비결정성입니다. 규제 환경 (예: 의료, 금융) 에서 0 이 아닌 공격 성공률은 용납될 수 없습니다. 개인 데이터 접근, 신뢰할 수 없는 콘텐츠에 대한 노출, 외부 통신 채널이라는 '치명적인 삼중주 (lethal trifecta)'는 상당한 위험을 초래합니다. 또한, 적대적 프롬프트 없이도 확률적 오류 생성만으로도 정보 유출이 발생할 수 있습니다. 현재 완화 전략들은 보호하려는 LLM 의 확률적 출력에 의존하는 안전 메커니즘을 가지고 있기 때문에 0 의 공격 성공률을 보장할 수 없습니다.

방법론: AgentCrypt 프레임워크

저자들은 모델 행동과 독립적인 **결정론적 암호화 래퍼 (deterministic cryptographic wrapper)**를 통해 프라이버시를 강제하는 3 단계 프레임워크인 AgentCrypt를 소개합니다. 이 래퍼는 태그가 지정된 데이터에 대해 엄격하고 최악의 경우를 보장하여 적대적 조작이나 에이전트 오류 하에서도 프라이버시를 보장합니다.

이 프레임워크는 기능의 3 단계 점진적 수준으로 작동합니다:

수준 1: 프라이버시 없음

에이전트들은 암호화나 접근 제어 없이 원시 데이터를 평문으로 교환합니다. 이 수준은 제한 없는 정보 흐름을 위한 기준선으로, 비민감 공개 서비스에만 적합합니다.

수준 2: 정책 기반 검색 프라이버시

이 수준은 **신원 기반 암호화 (IBE, Identity-Based Encryption)**를 사용하여 데이터 항목별로 프라이버시를 강제합니다.

• 메커니즘: 'Fetch & Encrypt' 도구가 데이터베이스에서 데이터를 검색한 후 수신자의 신원 (예: 역할 기반 정책) 에서 파생된 키로 즉시 암호화합니다.
• 보장: 에이전트가 실수로 잘못된 데이터를 검색하거나 (예: 두 직원을 혼동) 악의적으로 행동하더라도 데이터는 암호화된 상태로 유지됩니다. 올바른 복호화 키 (정책에 의해 승인됨) 를 가진 에이전트만이 평문에 접근할 수 있습니다.
• 위협 모델: 무단 접근, 사칭, 잘못된 에이전트 추론에 대해 보호합니다. 정확성이 훼손되더라도 프라이버시는 암호학적으로 보장됩니다.

수준 3: 정책 기반 계산 프라이버시

이 수준은 개인 입력에 수행되는 계산까지 보호를 확장합니다.

• 메커니즘: 독립적인 보안 래퍼가 결정론적 출력 암호화 및 접근 제어를 강제합니다. 에이전트가 개인 입력에 대해 함수 $f$를 계산할 때, 래퍼는 출력에 정책을 적용합니다.
• 정책 논리: 기본적으로 출력 정책은 모든 입력 데이터 항목의 정책들의 교집합입니다. 이는 조건부 추론 공격 (예: "찰리의 급여가 10 만 달러보다 크면 앨리스의 급여를 반환") 을 방지합니다.
• 세분화된 제어: 이 프레임워크는 특정 집계 함수 (예: 섹터 평균) 를 계산하는 사전 승인된 결정론적 도구를 지원하며, 이는 개별 레코드를 노출하지 않고 유용한 분석을 가능하게 하는 완화된 함수별 출력 정책을 가집니다.
• 고급 옵션: 복호화 없이 암호화된 데이터에서 직접 계산이 필요한 시나리오의 경우, 프레임워크는 **완전 동형 암호화 (FHE, Fully Homomorphic Encryption)**를 통합할 수 있지만, 표준 수준 3 연산은 최종 답변을 위해 IBE 에 의존합니다.

주요 기여

1. 공식적 보안 보장을 갖춘 최초의 에이전트 프레임워크: 경험적 견고성을 강조하는 기존 '안전' 작업과 달리, AgentCrypt 는 엄격하게 정의된 최악의 경우 프라이버시 보장을 제공합니다.
2. 확률적 에이전트를 위한 공식적 보안 정의: 저자들은 에이전트를 LLM 출력 (무작위성) 을 제어할 수 있지만 결정론적 암호화 래퍼에 의해 제약받는 **준악의적 적대자 (semi-malicious adversary)**로 취급하는 에이전트형 LLM 에 맞춘 보안 모델을 제안합니다. 적대자의 관점이 이상적인 실행과 구별할 수 없는 시뮬레이션 기반 보안을 정의합니다.
3. 3 단계 아키텍처: 단순 암호화 검색 (수준 2) 에서 복잡한 프라이버시 보존 계산 (수준 3) 까지 확장 가능한 프레임워크입니다.
4. 멀티홉 라우팅 보안: 이 프레임워크는 민감한 데이터가 여러 중간 에이전트를 통과하는 시나리오를 다룹니다. 암호화는 중개자들이 암호문만 보게 하여 LLM 스캐닝의 범위를 벗어난 설정을 보장합니다.
5. 벤치마크 데이터셋 및 도구: 저자들은 FERPA, HIPAA, GLBA, GDPR, CCPA 등의 규정을 아우르는 14 가지 공격 클래스 (사칭, 멀티홉 라우팅, 현실 세계 탈출 포함) 를 다루는 914 개의 프라이버시 주석 다중 에이전트 시나리오 벤치마크를 기여했습니다. 또한 합성 데이터 생성 도구를 제공합니다.
6. 구현: AgentCrypt 는 LangGraph와 Google ADK(에이전트 간 프로토콜 포함) 를 포함한 현대적 다중 에이전트 스택에 구현되었습니다.

실험 결과

이 프레임워크는 다양한 실패 유형과 공격이 포함된 914 개의 시나리오에 걸쳐 평가되었습니다.

• 프라이버시 보존: 에이전트의 정확성이나 공격 유형과 관계없이 모든 시나리오에서 AgentCrypt 는 100% 프라이버시를 유지했습니다. '현실 세계 탈출'(예: Superhuman AI 이메일 공격, GitHub MCP 취약점) 및 멀티홉 라우팅 오류 사례에서도 민감한 평문이 유출되지 않았습니다.
• 작업 정확성: 프레임워크는 84.14% 작업 정확성(가중 평균) 을 유지했습니다. 정확성은 카테고리에 따라 다양했습니다:
  • 사칭, 조건부 추론, 도구 오선택의 경우 높은 정확성 (96–99%).
  • 멀티홉 라우팅 오류, 신원 혼동, 다중 턴 정제 실패의 경우 낮은 정확성 (48–67%).
  • 컨텍스트 유출 및 현실 세계 탈출 공격의 경우 거의 0 에 가까운 정확성 (0–10%) 으로, 이러한 상호작용이 LLM 에게 얼마나 어려운지 보여주지만 프라이버시는 온전하게 유지되었습니다.
• 오버헤드: 이 논문은 수준 3 을 위한 FHE 의 계산 오버헤드를 벤치마크하여, CKKS FHE 를 통해 50 개 요소를 정렬하는 데 약 150 초가 소요되지만 프레임워크는 여전히 기능적이고 프라이버시를 보존한다고 지적합니다.

중요성과 주장

이 논문은 AgentCrypt 가 AI 에이전트에서 경험적 안전에서 공식적 보안으로의 근본적인 전환을 나타낸다고 주장합니다. 프라이버시 강제를 LLM 의 확률적 추론과 분리함으로써, 이 프레임워크는 단일 에이전트 실패가 규정 준수를 위반하지 않도록 보장합니다.

저자들은 그들의 접근 방식이 '누수되는 에이전트를 강화'하는 것이 아니라 암호화를 통해 '기반 데이터베이스의 방어를 보강'하는 것이라고 강조합니다. 이는 모든 데이터 유출이 용납될 수 없는 고위험 분야 (의료, 금융) 에서 에이전트가 작동할 수 있게 하며, 에이전트가 올바르게 추론하는지 여부와 무관하게 시스템 수준의 보장을 제공합니다.

한계점:

• 이 프레임워크는 모든 민감한 데이터 요소가 오프라인 단계에서 접근 정책으로 적절히 태그되어야 한다는 전제에 의존합니다. 태그가 누락된 경우 시스템은 데이터를 노출하는 대신 안전하게 중단 (정지) 됩니다.
• 계산의 복호화된 출력은 필연적으로 함수의 결과를 드러냅니다. 이러한 출력으로부터의 추론에 한계를 두어야 하는 응용 분야의 경우, 저자들은 차등 프라이버시 (DP) 를 향후 보완책으로 통합할 것을 제안하며, LLM 채팅을 위한 DP 는 여전히 열린 문제라고 지적합니다.