Opal: 개인 AI 를 위한 프라이빗 메모리 시스템 기술 요약

이 논문은 개인 AI 시스템이 사용자의 장기적인 메모리 (문서, 이메일, 메시지, 회의 기록, 환경 녹음 등) 를 유지해야 하는 필요성과, 이를 클라우드에 저장할 때 발생하는 프라이버시 위험 사이의 긴장 관계를 해결하기 위해 제안된 Opal 시스템을 소개합니다. Opal 은 신뢰할 수 있는 하드웨어 (Trusted Execution Environments, TEE) 와 암호학적 기법을 결합하여 데이터 접근 패턴을 숨기면서도 높은 검색 정확도와 효율성을 달성합니다.

1. 문제 정의 (Problem)

개인 AI 시스템은 사용자의 민감한 데이터를 장기간 저장하고 맥락에 따라 응답을 생성해야 합니다. 그러나 기존 접근 방식에는 다음과 같은 한계가 있었습니다:

• 신뢰할 수 있는 하드웨어 (TEE) 의 한계: TEE 는 데이터 처리를 보호할 수 있지만, 메모리 용량이 제한적이고 비용이 비쌉니다. 모든 데이터를 TEE 내부에 상주시키면 확장성이 떨어집니다.
• 외부 저장소의 접근 패턴 누출: 데이터를 외부 (신뢰할 수 없는 디스크) 에 저장하고 TEE 에서 필요할 때 가져오는 방식은 데이터 내용 자체는 암호화될지라도, 어떤 기록을 언제 접근했는지 (Access Patterns) 를 관찰함으로써 사용자의 의도나 민감한 정보를 유출할 수 있습니다.
• ORAM 의 한계: 접근 패턴을 숨기는 암호학적 원시 도구인 ORAM (Oblivious RAM) 은 접근 패턴을 숨길 수 있지만, 고정된 접근 예산 (fixed access budget) 을 요구합니다. 반면, 최신 에이전트 메모리 시스템은 정확도를 높이기 위해 쿼리에 의존하는 그래프 탐색 (query-dependent traversals) 이나 동적 인덱스 유지보수가 필요하며, 이는 ORAM 의 고정 예산과 상충됩니다.

2. 방법론 및 시스템 설계 (Methodology)

Opal 은 "모든 데이터 의존적 추론을 신뢰할 수 있는 엔클레이브 (Enclave) 내부로 격리하고, 외부 저장소에는 고정된 크기의 ORAM 접근 패턴만 노출한다" 는 핵심 아이디어를 기반으로 설계되었습니다.

2.1 시스템 아키텍처

• 신뢰할 수 있는 엔클레이브 (Trusted Enclaves):
  • EnclaveOpal (컨트롤러): 쿼리와 데이터 삽입을 조율하며, 경량화된 지식 그래프 (KG) 와 ANN 인덱스 메타데이터를 메모리에 보관합니다.
  • EnclaveEmb & EnclaveLLM: 임베딩 모델과 LLM 을 실행합니다.
• 신뢰할 수 없는 디스크 (Untrusted Disk):
  • ORAMANN: 벡터 임베딩을 저장하는 ORAM 데이터베이스.
  • ORAMData: 원시 데이터 청크를 저장하는 ORAM 데이터베이스.
• 접근 패턴: 모든 외부 저장소 접근은 고정된 크기의 ORAM 배치 (batch) 로 이루어지며, 쿼리 내용이나 데이터 유무와 무관하게 동일한 패턴을 보입니다.

2.2 핵심 기여 기술 (Key Contributions)

1) 지식 그래프 필터링 검색 (KG-filtered Search)

• 문제: 순수 의미 검색 (Semantic Search) 은 시간, 사람, 프로젝트 등 구조화된 맥락을 파악하는 데 부족합니다. 기존 지식 그래프는 데이터 의존적 탐색을 필요로 하여 ORAM 과 호환되지 않았습니다.
• 해결: Opal 은 메타데이터만 포함하는 경량 지식 그래프를 엔클레이브 내부에 둡니다. 이 그래프는 사람, 소스, 시간 범위 등의 식별자로만 구성되며 콘텐츠는 저장하지 않습니다.
• 동작: 쿼리가 들어오면 LLM 이 구조화된 조건을 추출하고, 엔클레이브 내부의 KG 를 탐색하여 후보 집합 (admissible set) 을 좁힙니다. 이후 고정된 예산의 ORAM 접근을 통해 해당 후보 집합 내에서만 벡터 검색을 수행합니다. 이를 통해 데이터 의존적 추론은 모두 내부에서 처리되므로 외부에는 고정된 접근 패턴만 노출됩니다.

2) 무의식적인 유지보수 (Oblivious Dreaming)

• 문제: 메모리 시스템은 주기적인 정리 (압축, 인덱스 재조정, 요약) 가 필요하지만, 이를 위한 별도의 접근은 사용자의 활동 패턴을 유출합니다.
• 해결: ORAM 접근 시 엔클레이브로 가져오는 데이터 블록 (실제 데이터 + 더미 블록) 을 활용하여 유지보수를 수행합니다.
  • 적응형 보관 (Adaptive Retention): 자주 접근하는 항목은 수명을 연장하고, 오래된 항목은 자동으로 만료시킵니다.
  • 수면 중 인덱스 재조정 (Sleepy Rebalancing): ORAM 접근으로 인해 엔클레이브에 상주하게 된 블록들을 이용해 인덱스 클러스터를 분할하거나 병합합니다.
  • 메모리 압축: 최근 데이터를 요약하여 저장 공간을 효율화합니다.
• 효과: 별도의 유지보수 트래픽 없이도 고정된 접근 패턴을 유지하면서 시스템 상태가 최적화됩니다.

3) 합성 개인 데이터 파이프라인

• 문제: 개인 데이터는 민감하여 대규모 평가가 어렵고, 기존 벤치마크는 시간적 역동성이 부족합니다.
• 해결: Hawkes 과정 (Hawkes process) 을 기반으로 한 합성 데이터 생성 파이프라인을 개발했습니다. 이메일, 회의, 문서 등 다양한 모달리티 간의 인과 관계와 폭발적인 통신 패턴을 시뮬레이션하여 수 년 치의 현실적인 개인 데이터를 생성합니다.

3. 평가 결과 (Evaluation Results)

Opal 은 합성 데이터 파이프라인을 통해 생성된 1 년 치 데이터 (이메일 5 만 개, 메시지 12 만 개 등) 로 평가되었습니다.

• 정확도 (Accuracy):
  • KG 필터링 검색은 단순 ANN 검색 대비 정확도를 13% 포인트 (pp) 향상시켰습니다.
  • 이는 평문 (plaintext) 상태의 최신 에이전트 메모리 시스템 (Graphiti) 과 동급의 정확도를 달성하면서도 프라이버시를 보장합니다.
• 성능 및 비용 (Throughput & Cost):
  • 처리량: 기존 보안 기반 설계 (In-Memory Opal) 대비 29 배 높은 처리량을 달성했습니다.
  • 비용: 인프라 비용 (컴퓨팅 + 저장소) 이 15 배 낮아졌습니다. (100 만 사용자 기준 연간 $140 만 vs $2113 만)
  • 지연 시간: 쿼리 응답 시간은 2.32 초, 데이터 삽입은 0.94 초로, 보안 기반 베이스라인보다 각각 2.92 배, 9.05 배 빠릅니다.
• 유지보수 효과: 'Oblivious Dreaming'은 비 Oblivious 방식의 인덱스 재조정 (LIRE) 과 유사한 정확도를 유지하면서도 저장소 접근 패턴을 숨깁니다.

4. 의의 및 결론 (Significance)

Opal 은 개인 AI 의 장기 메모리 시스템에 있어 프라이버시, 정확도, 확장성이라는 세 가지 상충되는 목표를 동시에 달성하는 획기적인 솔루션입니다.

1. 실용적 프라이버시: ORAM 의 고정 예산 제약을 우회하여, 에이전트 시스템이 필요한 복잡한 쿼리 의존적 추론을 수행하면서도 외부 저장소에는 아무런 정보도 유출하지 않습니다.
2. 경제적 효율성: 기존 보안 아키텍처에 비해 압도적으로 낮은 인프라 비용과 높은 처리량을 제공하여, 대규모 사용자 (수백만 명) 에 대한 배포를 가능하게 합니다.
3. 산업적 적용 가능성: 논문 저자들은 주요 AI 제공업체가 Opal 의 기술을 생산 환경에 도입하여 수백만 사용자에게 서비스를 제공할 것을 고려 중이라고 명시했습니다.

결론적으로, Opal 은 신뢰할 수 있는 하드웨어와 암호학적 기법을 결합하여 사용자가 자신의 데이터에 대한 완전한 통제권을 유지하면서도 고도화된 개인 AI 서비스를 이용할 수 있는 새로운 패러다임을 제시합니다.