TigerVector: Supporting Vector Search in Graph Databases for Advanced RAGs

이 논문은 TigerGraph 의 MPP 아키텍처에 임베딩 타입과 MPP 인덱스 프레임워크를 통합하여 구조화 및 비구조화 데이터의 융합을 가능하게 하는 TigerVector 시스템을 제안하고, 이를 통해 기존 그래프 데이터베이스 및 전문 벡터 데이터베이스 대비 우수한 하이브리드 검색 성능과 확장성을 입증합니다.

핵심

🐯 타이거벡터 (TigerVector): 그래프 데이터베이스에 '마법의 나침반'을 달다

이 논문은 **타이거벡터 (TigerVector)**라는 새로운 시스템을 소개합니다. 쉽게 말해, **"그래프 데이터베이스 (연결된 정보를 저장하는 곳) 에 '벡터 검색 (AI 가 이해하는 의미 검색)' 기능을 자연스럽게 통합한 기술"**입니다.

이게 왜 중요할까요? 기존 방식의 문제점과 타이거벡터가 어떻게 해결하는지 일상적인 비유로 설명해 드릴게요.

---

1. 왜 필요한가요? (기존의 문제점)

지금까지 AI(대형 언어 모델) 가 정보를 찾아낼 때 주로 벡터 데이터베이스를 썼습니다.

• 비유: 마치 거대한 도서관에서 책 제목이나 내용과 비슷한 책을 찾는 것 같습니다. "고양이"라고 검색하면 고양이 그림이 있는 책들이 나옵니다.
• 문제점: 하지만 이 방식은 관계를 모릅니다. "고양이를 키우는 사람이 쓴 리뷰"를 찾으려 해도, 단순히 '고양이'라는 단어만 찾아내서 관련 없는 책들까지 가져올 수 있습니다.

그래서 그래프 데이터베이스를 쓰려는 시도가 생겼습니다.

• 비유: 도서관 책장 사이사이를 실로 연결해 둔 상태입니다. "고양이" 책 옆에 "키우는 사람"이라는 책이 바로 연결되어 있어, 관계를 따라가며 정확한 답을 찾을 수 있습니다.
• 문제점: 그런데 기존 그래프 데이터베이스는 **의미 검색 (벡터 검색)**을 잘 못했습니다. 마치 "고양이"라는 단어의 뜻을 이해하지 못하고, 오직 글자만 대조하는 도서관 사서처럼 느리고 정확하지 않았습니다.

결론: 우리는 **의미 검색 (벡터)**과 **관계 검색 (그래프)**을 동시에 할 수 있는 슈퍼 도서관이 필요했습니다.

---

2. 타이거벡터는 어떻게 해결하나요? (핵심 기술)

타이거벡터는 타이거그래프 (TigerGraph) 라는 기존 시스템 안에 마법의 나침반을 설치한 것과 같습니다.

① "의미"를 저장하는 새로운 주머니 (Embedding Type)

기존에는 책의 내용을 텍스트로만 저장했습니다. 타이거벡터는 책 한 권 한 권에 **"의미가 담긴 주머니 (벡터)"**를 추가로 달아줍니다.

• 비유: 책 표지 옆에 QR 코드를 붙인 겁니다. 이 QR 코드를 스캔하면 AI 가 "이 책은 고양이와 관련된 내용이에요"라고 바로 이해하게 됩니다.
• 장점: 같은 책장에 '고양이' 관련 책과 '강아지' 관련 책이 섞여 있어도, 이 주머니를 통해 AI 는 정확히 구분해 낼 수 있습니다.

② 분리된 창고와 빠른 길 (Decoupled Storage & MPP)

벡터 데이터 (의미 정보) 는 보통 데이터 양이 너무 커서 일반 책 (텍스트) 과 섞어두면 검색이 느려집니다.

• 비유: 일반 책장은 1 층에 두고, 의미 정보 (QR 코드) 는 별도의 **고속 엘리베이터 (별도 창고)**에 둡니다.
• MPP(대규모 병렬 처리): 이 시스템은 수천 명의 사서가 동시에 일합니다. 검색 요청이 오면, 사서들이 각자 맡은 구역 (세그먼트) 에서 동시에 QR 코드를 스캔하고 결과를 합칩니다. 그래서 엄청나게 빠릅니다.

③ 한 번에 모든 것을 찾는 통합 언어 (GSQL 통합)

기존에는 의미 검색을 하는 시스템과 관계 검색을 하는 시스템을 따로 써야 해서, 데이터를 옮기느라 시간이 걸렸습니다.

• 비유: 이제 한 권의 지도로 모든 것을 해결합니다. "고양이와 관련된 책 (의미 검색) 을 찾되, 그 책을 쓴 사람이 '한국인'인 것만 골라줘 (관계 검색)"라고 한 문장으로 명령할 수 있습니다.
• 결과: 데이터 이동이 없어지고, 정확도가 높아집니다.

---

3. 실제 성능은 어떨까요? (실험 결과)

논문의 실험 결과를 보면, 타이거벡터는 전설적인 경쟁자들을 압도했습니다.

• 경쟁자 1 (네오 4 j, 아마존 네트): 기존 그래프 데이터베이스들입니다.
  • 결과: 타이거벡터는 이들에게 속도 3~5 배, 정확도 20% 이상 앞서고 있습니다. 마치 포뮬러 1 레이싱카가 자전거를 추월하는 수준입니다.
• 경쟁자 2 (밀버스): 벡터 검색만 전문으로 하는 최고의 시스템입니다.
  • 결과: 타이거벡터는 벡터 검색 전용 시스템과 비슷하거나 더 빠른 속도를 내면서도, 관계 검색 기능까지 제공합니다.
• 비용: 같은 성능을 내는데, 클라우드 비용은 22 배나 절약됩니다. (비유: 고급 스포츠카를 사서 타는데, 기름값은 경차만큼 든다는 뜻입니다.)

---

4. 요약: 왜 이것이 혁신인가?

타이거벡터는 **"의미 (벡터)"**와 **"관계 (그래프)"**를 하나로 묶었습니다.

• 과거: "고양이"를 검색하면 고양이 책만 나옴. (정확하지만 관계 모름)
• 과거 2: "고양이 주인"을 검색하려면 복잡한 수작업 필요. (관계는 알지만 검색 느림)
• 타이거벡터: "고양이 주인이 쓴 최신 리뷰"를 순간적으로 찾아냅니다.

이 기술은 AI 가 더 똑똑하고, 정확한 답변을 할 수 있도록 도와주는 핵심 인프라가 될 것입니다. 마치 AI 에게 **눈 (의미 이해)**과 **뇌 (관계 추론)**를 동시에 선물한 것과 같습니다.

이 시스템은 2024 년 12 월에 출시되어, 누구나 무료로 다운로드하여 사용할 수 있게 되었습니다. 🚀

기술 요약

1. 문제 정의 (Problem)

• 기존 RAG 의 한계: 현재 대부분의 검색 증강 생성 (RAG) 시스템은 벡터 데이터베이스 (Vector DB) 에 의존합니다. 그러나 벡터 기반 RAG 는 데이터 객체 간의 정확한 관계 (Relationship) 를 포착하지 못해 복잡한 응용 분야에서 성능이 저하됩니다. 이는 잘못된 컨텍스트 검색으로 이어져 LLM 의 응답 정확도를 낮추고, 반복적인 API 호출로 인한 지연 시간과 비용 증가를 초래합니다.
• 그래프 RAG 의 필요성: 이를 해결하기 위해 'GraphRAG'가 제안되었으나, 벡터 데이터와 그래프 데이터를 별도의 시스템 (벡터 DB 와 그래프 DB) 에서 관리하는 방식은 데이터 이동 (Data Movement), 데이터 실로 (Data Silos), 일관성 유지, 그리고 하이브리드 검색의 복잡성 등의 문제를 야기합니다.
• 기존 그래프 DB 의 부족: Neo4j 나 Amazon Neptune 과 같은 기존 그래프 데이터베이스는 벡터 검색을 지원하기 시작했으나, 성능이 낮고, 필터링된 벡터 검색이나 하이브리드 검색과 같은 고급 기능을 지원하지 않으며, 원자적 업데이트 (Atomic Update) 와 다양한 임베딩 타입 관리에 한계가 있습니다.

2. 방법론 (Methodology)

TigerVector 는 TigerGraph(대규모 병렬 처리, MPP 기반 네이티브 그래프 데이터베이스) 에 벡터 검색을 통합하여 단일 시스템에서 구조화 및 비구조화 데이터를 융합하는 솔루션입니다.

• 아키텍처 및 저장 방식:

  • 임베딩 타입 (Embedding Type) 도입: 벡터를 단순한 LIST<FLOAT>가 아닌 메타데이터 (차원, 모델 정보, 거리 척도 등) 를 포함하는 새로운 embedding 데이터 타입으로 정의합니다. 이를 통해 하나의 그래프 노드 내에 여러 종류의 임베딩 (예: 텍스트, 이미지) 을 관리할 수 있습니다.
  • 분리된 저장 (Decoupled Storage): 벡터 임베딩을 그래프의 다른 속성 (Vertex Segment) 과 물리적으로 분리하여 별도의 'Embedding Segment'로 저장합니다. 이는 벡터 데이터의 대용량 특성을 고려하여 I/O 효율성을 높이고, 벡터 인덱스 업데이트가 그래프 데이터 업데이트에 미치는 영향을 최소화합니다.
  • MPP 기반 인덱싱: 각 Vertex Segment 에 대해 독립적인 HNSW (Hierarchical Navigable Small World) 벡터 인덱스를 구축합니다. 쿼리는 각 세그먼트에서 병렬로 실행된 후 전역적으로 병합 (Merge) 되는 방식으로, 네트워크 오버헤드를 줄이고 확장성을 극대화합니다.

• 쿼리 언어 및 기능 (GSQL 통합):

  • 선언적 벡터 검색: GSQL 쿼리 언어를 확장하여 ORDER BY VECTOR_DIST(...) 구문을 지원합니다.
  • 고급 검색 기능:
    • 필터링된 벡터 검색 (Filtered Vector Search): 그래프 속성 필터를 벡터 검색 전에 적용 (Pre-filter) 하여 효율성을 높입니다.
    • 그래프 패턴 기반 벡터 검색: 특정 그래프 패턴 (예: A 가 B 를 알고, B 가 작성한 게시물) 을 만족하는 노드 집합 내에서 벡터 검색을 수행합니다.
    • 벡터 유사도 조인 (Vector Similarity Join): 그래프 패턴으로 정의된 노드 쌍 간의 유사도를 계산하여 상위 K 개를 찾는 기능을 지원합니다.
  • VectorSearch() 함수: 복잡한 쿼리 블록 조합 (Query Composition) 을 위해 벡터 검색 결과를 그래프 알고리즘의 입력/출력으로 유연하게 연결할 수 있는 함수를 제공합니다.

• 업데이트 및 트랜잭션:

  • MVCC 기반 증분 업데이트: TigerGraph 의 MVCC(다중 버전 동시성 제어) 방식을 벡터 업데이트에 적용합니다. 메모리 내 델타 (Delta) 를 디스크로 푸시하고, 비동기적으로 인덱스 스냅샷을 병합하는 두 단계 프로세스를 통해 원자적 (Atomic) 이고 트랜잭션 일관성을 보장하는 업데이트를 지원합니다.

3. 주요 기여 (Key Contributions)

1. TigerVector 시스템 개발: TigerGraph 에 벡터 검색을 네이티브로 통합한 최초의 시스템 중 하나로, 벡터와 그래프 데이터를 단일 시스템에서 관리합니다.
2. 새로운 데이터 타입 및 스키마: 벡터의 메타데이터를 명시적으로 관리하는 embedding 타입과 embedding space 개념을 도입하여 다양한 임베딩 모델을 유연하게 지원합니다.
3. 고성능 MPP 벡터 인덱싱: 그래프 세그먼트 기반의 분산 HNSW 인덱스를 설계하여, 대규모 데이터셋에서도 높은 처리량과 확장성을 달성했습니다.
4. 고급 RAG 지원 쿼리: 필터링, 그래프 패턴 매칭, 유사도 조인 등 복잡한 하이브리드 검색을 GSQL 하나로 표현할 수 있게 하여 차세대 RAG(VectorGraphRAG) 구현을 가능하게 했습니다.
5. 실용성 검증: TigerGraph v4.2 에 통합되어 2024 년 12 월 출시되었으며, 커뮤니티 에디션으로 공개되었습니다.

4. 실험 결과 (Results)

SIFT100M, Deep100M, SIFT1B, Deep1B 등 대규모 데이터셋을 사용한 실험 결과는 다음과 같습니다.

• 성능 비교 (벡터 검색):
  • Neo4j 대비: TigerVector 는 처리량 (Throughput) 에서 3.77 배 ~ 5.19 배 더 높고, 재현율 (Recall) 에서 23% ~ 26% 더 높은 성능을 보였습니다.
  • Amazon Neptune 대비: 더 강력한 하드웨어 (1024 m-NCU) 를 사용하는 Neptune 대비 1.93 배 ~ 2.7 배 더 높은 처리량을 달성했으며, 하드웨어 비용은 22.42 배 더 저렴했습니다.
  • 전용 벡터 DB (Milvus) 대비: 최적화된 전용 벡터 DB 인 Milvus 와 비교해도 동등하거나 때로는 더 높은 처리량 (1.07 배 ~ 1.61 배) 을 기록했습니다. 이는 TigerGraph 의 MPP 아키텍처와 C++ 기반 구현의 효율성 때문입니다.
• 확장성 (Scalability): 노드 수를 늘릴 때 선형에 가까운 성능 향상을 보였으며, 데이터 크기가 10 배 증가 (1 억 -> 10 억) 하더라도 처리량이 크게 저하되지 않는 우수한 확장성을 입증했습니다.
• 업데이트 성능: 인덱스 빌드 시간은 Neo4j 대비 5.2 배 ~ 6.8 배 빠르고, Milvus 대비 1.86 배 ~ 2.16 배 빨랐습니다. 또한, 증분 업데이트 시 20% 미만의 변경 사항에 대해서는 인덱스 재구축보다 효율적인 업데이트가 가능함을 확인했습니다.
• 하이브리드 검색: LDBC SNB 벤치마크를 기반으로 한 하이브리드 쿼리 실험에서 그래프 탐색과 벡터 검색이 결합된 복잡한 쿼리도 밀리초 (ms) 단위로 처리 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

TigerVector 는 벡터 검색과 그래프 검색을 단일 시스템에서 통합함으로써 고급 RAG(VectorGraphRAG) 구현을 위한 강력한 인프라를 제공합니다.

• 데이터 일관성 및 효율성: 별도의 데이터베이스 간 데이터 동기화 및 이동 없이, 원자적 업데이트를 통해 데이터 일관성을 유지하면서도 높은 성능을 제공합니다.
• 복잡한 쿼리 지원: 단순한 유사도 검색을 넘어, 그래프의 관계 구조를 활용한 정교한 컨텍스트 검색이 가능해져 LLM 의 할루시네이션을 줄이고 정확도를 높이는 데 기여합니다.
• 범용성: 비록 TigerGraph 기반이지만, 제안된 아키텍처 (임베딩 타입, 분리된 저장, MPP 인덱싱) 는 다른 그래프 데이터베이스에도 적용 가능한 설계 원칙을 제시합니다.

결론적으로, TigerVector 는 비정형 데이터 (벡터) 와 정형 데이터 (그래프) 의 융합을 통해 차세대 AI 애플리케이션의 데이터 검색 및 관리 패러다임을 혁신하는 중요한 기술적 진보로 평가됩니다.