A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

디지털 세상에서 컴퓨터는 단어를 읽는 것이 아니라, 단어들을 긴 숫자 목록으로 변환함으로써 의미를 이해하는 법을 점점 더 배워가고 있습니다. 모든 아이디어, 이미지, 또는 텍스트가 하나의 점으로 표현되는 거대하고 보이지 않는 공간을 상상해 보십시오. 이 공간에서 서로 가까이 있는 점들은 유사한 것들을 나타내며, 멀리 떨어져 있는 점들은 매우 다른 것들을 나타냅니다. 이 방식은 기계가 관련 정보를 빠르게 찾을 수 있게 해주며, 사용자의 의도를 이해하는 검색 엔진부터 적절한 영화를 추천하는 추천 시스템에 이르기까지 모든 것에 동력을 제공합니다. 하지만 이러한 점들의 집합이 수백만 개 또는 수십억 개로 늘어남에 따라, 새로운 질의에 가장 부합하는 일치를 찾는 것은 엄청난 계산적 과제가 됩니다. 만약 컴퓨터가 저장된 모든 항목을 하나씩 일일ка 대조해야 한다면, 그 과정은 실생활에서 사용하기에는 너무 느릴 것입니다. 이를 해결하기 위해 연구자들은 두 가지 주요 유형의 도구를 개발했습니다. 바로 이러한 일치를 찾는 데 있어 순수하게 속도에 특화된 전문 라이브러리와, 데이터를 영구적으로 저장하고 필터링 및 관리와 같은 추가 기능을 제공하는 본격적인 데이터베이스입니다.

아르메니아 유럽 대학교의 두키크 호브세피안(Dukhik Hovsepyan)이 진행한 최근 연구는 이 두 가지 접근 방식 사이의 실제 성능 차이를 측정하고자 했습니다. 연구자는 전문 검색 라이브러리인 FAISS와 벡터 데이터베이스인 Qdrant를 비교했습니다. 공정한 테스트를 보장하기 위해, 실험은 두 시스템이 동일한 문제를 해결하도록 통제된 환경에서 수행되었습니다. 즉, 128개의 서로 다른 특성으로 설명되는 2만 개의 항목 컬렉션 내에서 주어진 질의와 가장 유사한 10개의 항목을 찾는 것이었습니다. 테스트는 여러 프로세서가 협력하여 돕는 기능 없이 검색 메커니즘의 순수한 속도를 격리하기 위해 단일 컴퓨터 프로세서 코어에서 실행되었습니다.

결과는 두 구성 간의 순수 속도 차이를 극명하게 보여주었습니다. 전문 라이브러리인 FAISS는 정확한 답을 보장하기 위해 모든 항목과의 거리를 계산하는 '정확한 검색(exact search)'을 수행하도록 설정되었습니다. 이 설정에서 FAISS는 질의당 평균 0.4밀리초 미만에 정확한 일치 항목을 찾아냈습니다. 이를 통해 초당 2,500개 이상의 질의를 처리할 수 있었습니다. 반면, 데이터베이스 시스템인 Qdrant는 데이터를 디스크에 저장하고 데이터를 탐색하기 위해 더 빠르지만 근사적인 방식을 사용하는 로컬 모드로 실행되었습니다. 이러한 특정 조건 하에서 Qdrant는 각 질의에 응답하는 데 평균적으로 거의 10밀리초가 걸렸으며, 결과적으로 초당 100개 이상의 처리량을 보였습니다. 전문 라이브러리는 초당 답변할 수 있는 질문의 수 측면에서 약 25배 더 빨랐으며, 단일 질문에 답하는 데 걸리는 시간 측면에서도 25배 더 빨랐습니다.

하지만 이 연구는 이러한 차이가 한 기술이 보편적으로 우월하다는 것을 의미하지는 않는다고 강조합니다. 실험은 소프트웨어의 전체 잠재력을 비교한 것이 아니라 특정 설정을 비교하도록 설계되었습니다. 라이브러리는 순수한 인메모리(in-memory) 검색 도구로서 테스트된 반면, 데이터베이스는 속도 테스트의 중심은 아니었음에도 불구하고 저장 및 관리 기능이 활성화된 상태로 테스트되었습니다. 데이터베이스 방식은 속도 테스트에서 측정되지 않은 상당한 장점들을 제공합니다. 예를 들어, 컴퓨터를 껐다 켜도 하드 드라이브에 데이터를 안전하게 보관할 수 있는 능력, 날짜나 카테й고리 같은 다른 정보에 기반하여 결과를 필터링하는 능력, 그리고 대규모 데이터 컬렉션을 하나의 응집된 시스템으로 관리하는 능력 등이 있습니다. 반대로 라이브러리는 오직 한 가지 작업, 즉 가능한 한 가장 빠르게 가장 가까운 이웃을 찾는 데 특화된 엔진이며, 이를 위해 종종 데이터를 컴퓨터의 임시 메모리에 유지해야 하는 비용을 감수합니다.

연구자는 관찰된 성능 격차가 모든 상황에 적용되는 근본적인 규칙이라기보다 사용된 특정 구성의 특성이라고 결론지었습니다. 데이터 세트가 더 커지거나, 컴퓨터에 더 많은 프로세서 코어가 있거나, 데이터베이스가 로컬 도구가 아닌 별도의 서버로 실행된다면 수치는 바뀔 가능성이 높습니다. 이 연구는 단순하고 직접적인 검색 작업에 대해 단일 프로세서에서 전문 라이브러리가 데이터베이스 시스템보다 훨씬 더 빠를 수 있음을 보여주는 명확한 기준점 역할을 합니다. 그럼에도 불구하고, 데이터를 영구적으로 저장하거나, 복잡한 규칙에 따라 필터링하거나, 거대한 컬렉션을 관리해야 하는 애플리케이션을 위해서는 데이터베이스가 전문 라이브러리가 제공하지 못하는 더 넓은 범위의 도구를 제공합니다. 선택은 단순한 질문에 대해 절대적으로 가장 빠른 답을 얻는 것이 우선인지, 아니면 더 크고 복잡한 시스템 내에서 데이터를 관리하고 검색하는 능력이 우선인지에 달려 있습니다.