기술 요약: 너무 많은 것을 아는 에이전트: LLM 에이전트의 프라이버시에 관한 데이터 중심적 조사

문제 정의

대규모 언어 모델(LLM) 에이전트는 상태가 없는(stateless) 챗봇에서 데이터베이스를 쿼리하고, 개인적인 코퍼스에서 정보를 검색하며, 외부 API를 호출하고, 지속적인 메모리를 유지하며, 다른 에이전트와 협업할 수 있는 자율적인 "데이터 에이전트"로 진화했습니다. 기존의 LLM 프라이버시 우려가 학습 데이터의 암기 및 최종 출력 필터링에 집중되었다면, 데이터 에이전트는 복잡한 프라이버시 환경을 도입합니다. 이러한 에이전트는 이질적인 데이터 표면(data surfaces) 전반에서 작동하며, 민감한 정보가 중간 산출물(쿼리, 도구 인자, 추론 과정 등)을 통해 흐르는 다단계 워크플로우를 실행하고, 세션 간에 상태를 유지하며, 위임된 권한을 가지고 행동합니다.

식별된 핵심 문제는 이 환경에서의 프라이버시를 단순히 최종 출력 단계에서만 강제할 수 없다는 점입니다. 민감한 정보는 다음과 같은 경로를 통해 유출될 수 있습니다:

1. 중간 채널: 생성된 쿼리, 검색된 행(row), 도구 인자.
2. 지속적 메모리: 한 세션에서 기록된 데이터가 다른 세션에서 나타남.
3. 조합적 유출(Compositional leakage): 여러 단계나 에이전트에서 발생하는 양호한 출력들을 결합하여 민감한 정보를 추론함.
4. 맥락적 위반: 기술적으로는 허용되지만 특정 맥락이나 수신자에게 부적절한 데이터를 공유함.

기존 문헌은 서로 다른 연구 커뮤니티(예: RAG, Text-to-SQL, 에이전트 메모리, 접근 제어)에 흩어져 있으며, 대개 공격 유형별로 구성되어 있습니다. 이러한 파편화는 데이터 에이전트의 엔드 투 엔드(end-to-end) 프라이버시 위험에 대한 통합된 이해를 방해합니다.

방법론

저자들은 공격 벡터가 아닌 에이전트가 접하는 데이터를 중심으로 조직하는 데이터 중심적 관점을 채택합니다. 방법론은 다음과 같습니다:

1. 계층화(Taxonomization): 에이전트가 상호작용하는 "데이터 표면"(저장 및 전송 메커니즘)을 체계적으로 분류합니다.
2. 위험 매핑(Risk Mapping): 각 표면과 관련된 구체적인 프라이버시 위험(공개 결과 및 공격 벡터)을 식별합니다.
3. 거버넌스 분석(Governance Analysis): 기존 메커니즘(접근 제어, 정보 흐름 제어 등)을 조사하고 이들의 특정 표면 및 위험에 대한 적용 가능성을 매핑합니다.
4. 벤치마크 평가(Benchmark Evaluation): 현재의 평가 벤치마크를 검토하여 단일 정책 하에서 여러 표면에 걸친 엔드 투 엔드 프라이버시를 측정하는 데 존재하는 격차를 식별합니다.

본 조사는 2023년부터 2026년까지의 보안, 데이터 관리 및 머신러닝 분야의 문헌(프리프린트 포함)을 주로 다룹니다.

주요 기여

1. 데이터 표면의 계층 구조

본 논문은 에이전트가 작동하는 여섯 가지 뚜렷한 데이터 표면을 정의하며, 각 표면은 고유한 접근 모델과 유출 경로를 가집니다:

• 데이터베이스 및 웨어하우스: 행, 열 및 스키마. 쿼리 유출 및 스키마 추론 위험이 포함됩니다.
• 테이블 및 파일 데이터: 레코드 및 문서 내용. 생성된 코드 및 중간 변수를 통한 유출 위험이 포함됩니다.
• RAG 코퍼스 및 벡터 저장소: 구절, 임베딩 및 검색 점수. 멤버십 추론 및 임베딩 역전 위험이 포함됩니다.
• 도구 및 외부 API: 호출 인자, 응답 및 부수 효과. 프롬프트 인젝션 및 신뢰할 수 없는 입력 위험이 포함됩니다.
• 에이전트 메모리: 저장된 사실 및 사용자 이력. 교차 세션 유출 및 메모리 포이즈닝 위험이 포함됩니다.
• 다중 에이전트 통신: 에이전트 간 메시지 및 공유 컨텍스트. 에이전트 간 데이터 풀링 위험이 포함됩니다.

2. 프라이버시 위험의 계층 구조

저자들은 공개 결과(무엇이 유출되는가)와 공격 벡터(어떻게 트리거되는가)를 구분합니다:

• 결과(Outcomes): 직접적인 출력 유출, 중간 단계 유출, 스키마/메타데이터 유출, 추론/집계 유출, 조합적 유출(단계/에이전트 간 집계), 정책/동의 위반.
• 벡터(Vectors): 프롬프트 인젝션, 메모리 포이즈닝, 과도한 권한 부여된 접근, 침해된 동료(compromised peers).
• 핵심 발견: 조합적 유출과 교차 세션 추론은 여러 단계나 에이전트를 결합할 때만 나타나므로 가장 보호가 덜 되는 위험입니다.

3. 거버넌스 메커니즘 및 범위

본 조사는 다음과 같은 위험을 해결하기 위한 메커니즘을 분류합니다:

• 접근 제어(Access Control): 초기 데이터 도달 범위(행/열)를 제한합니다.
• 정보 흐름 제어(Information-Flow Control, IFC): 실행을 통해 데이터 라벨을 추적하여 권한이 없는 싱크(sink)로의 흐름을 제한합니다.
• 런타임 거버넌스(Runtime Governance): 동작 및 도구 호출에 대한 정책을 강제합니다.
• 프라이버시 보존 변환(Privacy-Preserving Transformations): 삭제(redaction), 추상화 및 합성 치환.
• 차분 프라이버시(Differential Privacy): 집계된 공개에 대한 공식적인 보증.
• 맥락적 프라이버시 추론(Contextual Privacy Reasoning): 규범에 기반하여 적절성을 판단.

중대한 격차 식별: 단일 메커니즘이 모든 위험을 커버하지는 못합니다. **정보 흐름 제어(IFC)**는 조합적 유출과 교차 세션 추론을 모두 다루는 유일한 메커니즘으로 식별되었으며, 이는 구축자가 채택해야 할 가장 중요한 단일 제어 장치입니다.

4. 벤치마크 분석

본 논문은 기존 벤치마크(예: SecureSQL, AgentDojo, MEXTRA)를 특정 표면 및 위험에 매핑합니다.

• 결과: 현재의 벤치마크는 고립되어 있습니다. 즉, 단일 표면(예: SQL만 또는 메모리만)이나 단일 단계 상호작용만을 평가합니다.
• 격차: 에이전트를 명시적인 단일 프라이버시 정책 하에서 전체 데이터 표면(데이터베이스, RAG, 도구, 메모리, 다중 에이전트)을 가로질러 구동하는 벤치마크는 존재하지 않습니다. 이는 조합적 및 교차 표면 위험의 평가를 불가능하게 합니다.

5. 응용 도메인

본 조사는 위험과 제어가 다음 다섯 가지 도메인에서 어떻게 달라지는지 분석합니다:

• 엔터프라이즈 분석: 과도한 반환(over-return) 및 조인(join)을 통한 추론이 지배적이며, 쿼리 수준의 접근 제어가 필요합니다.
• 개인 비서: 인젝션 및 부적절한 공유 위험이 높으며, 맥락적 추론 및 런타임 체크가 필요합니다.
• 과학/기관: 중간 단계 유출 및 재구성 위험이 있으며, 기밀 실행(confidential execution)이 필요합니다.
• 스마트 공간: 센서 스트림으로부터의 추론 및 동의 문제가 발생하며, 목적 기반 접근 제어가 필요합니다.
• 컴플라이언스 어시스턴트: 에이전트 자체의 접근 권한이 위험 요소이며, 강력한 감사 및 프로비넌스(provenance)가 필요합니다.

결과 및 오픈 문제

본 논문은 새로운 실험 결과를 제시하는 대신, 분야의 현 상태를 종합하여 결정적인 결함을 강조합니다:

1. 조합적 유출의 보호 미흡: 여러 단계나 에이전트를 결합할 때 발생하는 위험은 현재의 제어 장치들에 의해 가장 적게 다뤄지고 있습니다.
2. 엔드 투 엔드 평가의 부재: 분야에는 에이전트의 전체 워크플로우를 단일 프라이버시 정책에 따라 평가하는 벤치마크가 부족합니다.
3. 망각 및 철회(Forgetting and Revocation): 조사된 어떤 메커니즘도 이미 지속적 메모리나 인덱스에 기록된 데이터를 삭제하거나 철회하는 기능을 효과적으로 지원하지 않습니다.
4. 유틸리티-프라이버시 트레이드오프: 현재의 메커니즘은 종종 프라이버시 예산을 미리 고정합니다. 본 논문은 "유틸리티 우선" 접근 방식(유틸리티 요구사항을 먼저 고정하고 프라이버시 비용을 최소화하는 방식)이 데이터 에이전트에 더 적합하지만, 여전히 거의 구현되지 않고 있다고 제안합니다.
5. 제3자 거버넌스: 제3자 플러그인 및 스킬에 대한 데이터 접근을 검증하고 범위를 지정하는 것은 공급망 문제입니다.

의의

본 논문은 에이전트 보안과 데이터 관리라는 두 개의 분리된 연구 커뮤니티를 통합함으로써 그 의의를 주장합니다. 에이전트가 수행하는 '공격' 유형이 아니라 에이전트가 접하는 '데이터'를 중심으로 문헌을 구성함으로써, 저자들은 다음과 같은 참조 프레임워크를 제공합니다:

• 프라이버시는 단순한 출력이 아니라 전체 실행의 속성임을 명확히 합니다.
• **정보 흐름 제어(Information-Flow Control)**를 가장 복잡한 위험(조합적 및 교차 세션 위험)을 위한 가장 강력한 단일 메커니즘으로 식별합니다.
• 명시적인 정책 하에 모든 데이터 표면을 가로지르는 에이전트를 테스트하는 엔드 투 엔드 벤치마크의 개발을 촉구하며, 이것이 "이 분야가 가장 필요로 하는 도구"라고 주장합니다.
• 데이터 에이전트가 데이터 시스템의 의무(민감한 데이터 처리)를 지니고 있으면서도 그에 상응하는 거버넌스 인프라는 갖추지 못하고 있음을 강조하며, 이 거버넌스의 공급을 이 분야의 핵심적인 오픈 문제로 규정합니다.