Samyama: A Unified Graph-Vector Database with In-Database Optimization, Agentic Enrichment, and Hardware Acceleration

이 논문은 Rust 로 구현된 Samyama 를 통해 그래프, 벡터, 최적화 워크로드를 단일 엔진으로 통합하고 인-데이터베이스 최적화, 에이전트 기반 확장, 하드웨어 가속을 지원하여 상용 하드웨어에서도 고성능을 달성하는 새로운 데이터 아키텍처를 제시합니다.

핵심

사미야마 (Samyama): 데이터의 '올인원' 마법 상자

이 논문은 **'사미야마 (Samyama)'**라는 새로운 데이터베이스 시스템을 소개합니다. '사미야마'는 산스크리트어로 '통합'을 의미합니다. 쉽게 말해, **기존에 따로따로 흩어져 있던 데이터 처리 도구들을 하나로 합쳐서, 더 빠르고 똑똑하게 만들어낸 '슈퍼 데이터베이스'**입니다.

이 시스템을 이해하기 위해 몇 가지 재미있는 비유를 들어보겠습니다.

---

1. 왜 필요한가요? (현재의 문제점)

지금까지 데이터를 다룰 때는 마치 여러 개의 다른 공구상자를 따로따로 들고 다녀야 하는 상황이었습니다.

• 관계형 데이터 (친구 관계, 지인 네트워크) 를 보려면 '그래프 데이터베이스'라는 상자가 필요했습니다.
• 유사한 의미 찾기 (비슷한 사진 찾기, 비슷한 글 찾기) 를 하려면 '벡터 저장소'라는 다른 상자가 필요했습니다.
• 최적의 경로 찾기 (물류 경로, 자원 배분) 를 하려면 '최적화 솔버'라는 또 다른 상자가 필요했습니다.

이것들을 모두 연결하려면 데이터를 한 상자에서 다른 상자로 옮겨야 (ETL) 했고, 이 과정에서 시간이 낭비되고 데이터가 꼬이는 문제가 생겼습니다.

2. 사미야마는 무엇인가요? (해결책)

사미야마는 이 모든 공구들을 하나의 '스마트 공구함'에 넣은 것입니다.

• 하나의 엔진: 그래프, 벡터, 최적화, 분석을 모두 한 번에 처리합니다.
• 안전한 재질 (Rust): 이 시스템은 'Rust'라는 언어로 만들어졌습니다. 이는 마치 불에 타지 않고 녹슬지 않는 튼튼한 스테인리스 스틸처럼, 데이터가 손상되거나 메모리 오류가 생기는 것을 원천 차단합니다.

3. 사미야마의 3 가지 핵심 마법 (주요 기술)

① "필요할 때만 꺼내다" (Late Materialization)

• 비유: 식당에서 주문을 받으면, 모든 재료를 미리 다 썰어서 접시에 담아 두는 대신, 손님이 "이거 주세요"라고 할 때만 필요한 재료만 썰어주는 방식입니다.
• 효과: 불필요한 작업을 줄여서 데이터를 처리하는 속도가 4~4.7 배 빨라졌습니다.

② "데이터베이스 안에서의 똑똑한 의사결정" (In-Database Optimization)

• 비유: 기존에는 복잡한 물류 문제를 풀기 위해 데이터를 밖으로 꺼내서 전문가 (최적화 솔버) 에게 맡겼다면, 사미야마는 데이터베이스 내부에 22 명의 '최고급 컨설턴트'를 상주시켜 바로 해결합니다.
• 효과: 데이터를 옮기는 수고로움이 사라져서, 공급망 관리나 자원 배분 같은 복잡한 문제를 훨씬 빠르게 풀 수 있습니다.

③ "스스로 배우고 성장하는 데이터베이스" (Agentic Enrichment)

• 비유: 사미야마는 **스스로 정보를 찾아다니는 '탐정'**입니다. 만약 데이터에 정보가 부족하면, AI(대형 언어 모델) 를 통해 인터넷을 검색하거나 API 를 호출해 필요한 정보를 찾아와서 스스로 데이터베이스에 추가합니다.
• 효과: 수동으로 데이터를 채워 넣을 필요 없이, 시스템이 스스로 지식을 확장해 나갑니다.

4. 하드웨어 가속: "슈퍼차지 모드"

• 비유: 일반적인 컴퓨터 (CPU) 가 마라톤 선수라면, 사미야마는 **그래프 연산에 특화된 GPU 를 활용하여 '스피드 모터사이클'**을 탑니다.
• 효과: 복잡한 계산 (예: 페이지랭크 알고리즘) 을 할 때, 일반 컴퓨터보다 최대 8.2 배 더 빠르게 처리할 수 있습니다.

5. 실제 성능은 어떨까요?

• 속도: 1 초당 25 만 개의 데이터를 넣을 수 있습니다 (초고속 고속도로).
• 정확성: 국제적인 데이터베이스 테스트 (LDBC) 에서 28 개 시험 중 28 개를 모두 통과했습니다.
• 효율: 같은 양의 데이터를 처리할 때, 다른 유명 시스템들보다 메모리 (RAM) 를 훨씬 적게 사용합니다. (100 만 개의 데이터를 처리해도 450MB 만 사용)

6. 결론: 왜 이것이 중요한가요?

사미야마는 **"데이터를 여러 곳에 흩어두지 말고, 한곳에 모아 똑똑하게 처리하자"**는 철학을 실현한 시스템입니다.

• 개발자는 복잡한 데이터 연결 작업을 줄일 수 있습니다.
• 기업은 더 빠르고 안전한 의사결정을 내릴 수 있습니다.
• AI는 스스로 학습하며 성장하는 지식 기반을 갖게 됩니다.

마치 **모든 기능을 갖춘 '올인원 주방'**처럼, 사미야마는 데이터 처리의 복잡함을 없애고 속도와 지능을 극대화하는 차세대 기술입니다.

기술 요약

Samyama: 통합 그래프 - 벡터 데이터베이스 기술 요약

1. 문제 정의 (Problem)

현대 데이터 아키텍처는 그래프 데이터베이스 (Neo4j 등), 벡터 스토어 (Pinecone 등), 분석 엔진 (Spark 등), 최적화 솔버 (Gurobi 등) 로 분산되어 있어 다음과 같은 심각한 문제가 발생합니다.

• 복잡한 ETL 파이프라인: 서로 다른 시스템 간 데이터 이동 및 동기화에 따른 오버헤드가 큽니다.
• 운영 복잡성: 이질적인 시스템을 통합하여 관리해야 하는 부담이 있습니다.
• 지연 시간 증가: 데이터가 외부 솔버로 추출되어 최적화 후 다시 로드되는 과정에서 발생하는 지연이 발생합니다.
• LLM 시대의 요구: 대규모 언어 모델 (LLM) 기반 RAG(검색 증강 생성) 는 관계형 구조 (그래프) 와 의미적 유사성 (벡터) 을 동시에 처리해야 하지만, 기존 솔루션은 이를 단일 엔진에서 지원하지 못합니다.

2. 방법론 (Methodology)

저자들은 Rust 로 작성된 고성능 단일 엔진인 Samyama를 제안하여 그래프, 벡터, 최적화 워크로드를 통합합니다. 주요 기술적 접근 방식은 다음과 같습니다.

• 아키텍처 및 저장 엔진:

  • RocksDB 기반 영속성: LSM 트리 구조를 사용하며, Column Families 를 통해 다중 테넌트 격리를 지원합니다.
  • 메모리 관리 (MVCC): 버전 관리된 아레나 (Versioned-Arena) 모델을 사용하여 스냅샷 격리를 구현하고, NodeId 와 EdgeId 를 직접적인 u64 인덱스로 사용하여 해시 조회를 제거하고 O(1) 접근 속도를 달성합니다.
  • ACID 보장: WriteBatch, WAL, Raft 합의 알고리즘을 통해 원자성, 일관성, 격리성, 지속성을 보장합니다.

• 쿼리 및 실행 엔진:

  • 하이브리드 실행 모델: Volcano 모델과 벡터화 (Batch size 1,024) 를 결합한 실행 엔진을 사용하며, 35 개의 물리 연산자를 지원합니다.
  • 비용 기반 쿼리 플래너: TriplePattern 기반 통계를 사용하여 카디널리티를 추정하고, 조건부 하향 (Predicate Pushdown), 조인 재순서화, 계획 캐싱을 수행합니다.
  • 지연 물질화 (Late Materialization): Abadi et al. 의 컬럼형 데이터베이스 기법을 그래프에 적용하여, 스캔 단계에서는 노드 참조 (NodeRef) 만 생성하고 최종 Project 연산 시에만 속성을 로드함으로써 메모리 대역폭을 4~5 배 절감합니다.

• 통합 기능:

  • 인-데이터베이스 최적화: 22 가지 메타휴리스틱 최적화 솔버 (NSGA-II, PSO, GA 등) 를 Cypher 절차로 직접 통합하여 ETL 없이 그래프 데이터에서 최적화를 수행합니다.
  • 벡터 검색 및 RAG: HNSW 인덱스를 지원하며, 벡터 검색과 그래프 탐색을 단일 쿼리 실행으로 결합한 Graph RAG 를 구현했습니다.
  • 에이전트 풍부화 (Agentic Enrichment, GAK): LLM 을 활용하여 쿼리 미스 발생 시 자동으로 웹/API 를 검색하고 그래프 데이터를 생성/확장하는 자율적 루프를 구현했습니다.
  • 하드웨어 가속: wgpu 를 통해 Metal, Vulkan, DX12 를 지원하는 GPU 가속을 제공하며, PageRank, PCA 등 주요 알고리즘을 GPU 에서 병렬 실행합니다.

3. 주요 기여 (Key Contributions)

1. 그래프용 지연 물질화 (Late Materialization): 노드 클로닝을 최소화하고 속성 해제를 지연시켜 다중 홉 (Multi-hop) 탐색 시 4.0~4.7 배의 속도 향상을 달성했습니다.
2. 인-데이터베이스 메타휴리스틱 최적화: 22 개의 솔버를 Cypher 에 직접 통합하여 그래프 기반 최적화 워크플로우의 ETL 오버헤드를 완전히 제거했습니다.
3. 에이전트 풍부화 (GAK): LLM 기반 에이전트를 통해 데이터베이스를 수동 저장소에서 자율적으로 진화하는 지식 그래프로 변환하는 메커니즘을 도입했습니다.
4. 통합 엔진 및 생태계: 그래프, 벡터, 분석, 최적화를 하나의 바이너리로 통합하고, Rust/Python/TypeScript SDK 와 RDF/SPARQL 지원, LDBC Graphalytics 100% 통과를 입증했습니다.

4. 실험 결과 (Results)

상용 하드웨어 (Mac Mini M4, 16GB RAM) 에서 수행된 평가 결과입니다.

• 처리량 (Throughput):
  • 데이터 삽입: CPU 기준 초당 255,000 개 노드, GPU 가속 시 412,000 개 노드.
  • OLTP 쿼리: 100 만 개 노드 환경에서 초당 115,000 개 Cypher 쿼리 (평균 지연 시간 0.008ms).
• 성능 향상:
  • 지연 물질화: 1 홉/2 홉 탐색 시 4.0~4.7 배 속도 향상.
  • GPU 가속: 100 만 개 노드 기준 PageRank 알고리즘에서 CPU 대비 8.2 배 속도 향상.
• 정확도 및 검증:
  • LDBC Graphalytics: 28 개 테스트 중 28 개 통과 (100%).
  • 비교 분석: Neo4j 대비 메모리 사용량 450MB(100 만 노드 기준) 로 약 1/3 수준 (GC 오버헤드 부재), 벡터 검색 성능은 외부 통합 없이 549µs 달성.
• 한계점:
  • 현재 단일 쿼리 지연 시간의 98% 가 파싱 및 플래닝 단계에서 발생 (플래너 캐싱으로 반복 쿼리 시 개선됨).
  • SPARQL 실행 엔진은 아직 개발 중이며, 분산 환경 (Raft 클러스터) 에 대한 대규모 벤치마크는 향후 과제로 남김.

5. 의의 및 결론 (Significance)

Samyama 는 그래프, 벡터, 최적화, RDF라는 이질적인 4 가지 워크로드를 단일 메모리 안전 (Memory-safe) Rust 엔진으로 통합한 최초의 시스템 중 하나입니다.

• 아키텍처적 혁신: 데이터 이동 (ETL) 을 제거하고 인-데이터베이스 최적화를 가능하게 하여 실시간 의사결정 시스템의 효율성을 극대화합니다.
• AI 네이티브 설계: LLM 기반 에이전트 (GAK) 와 벡터 검색을 내장하여 생성형 AI 시대의 지식 그래프 요구사항을 선제적으로 충족합니다.
• 실용성: 상용 하드웨어에서도 경쟁력 있는 성능을 보여주며, Rust 의 메모리 안전성을 통해 안정성을 보장합니다.

이 연구는 분산 데이터베이스 시스템이 단순한 저장소를 넘어, 자율적 데이터 생성, 실시간 최적화, 그리고 AI 추론이 가능한 통합 지능 플랫폼으로 진화할 수 있음을 입증했습니다.