A Comparative Analysis of Efficient Similarity Search in Qdrant as a Vector Database and FAISS as a Vector Search Library

デジタル世界において、コンピュータは単に言葉を読み取るのではなく、それらを長い数字のリストへと変換することによって、意味を理解することをますます学習しています。あらゆる概念、画像、あるいはテキストが、一つの点として表現される広大で目に見えない空間を想像してみてください。この空間において、近くにある点は類似したものを表し、遠くにある点は非常に対照的なものを表します。この手法により、機械は関連する情報を素早く見つけ出すことが可能となり、ユーザーの意図を理解する検索エンジンから、適切な映画を提案するレコメンデーションシステムに至るまで、あらゆる技術を支えています。しかし、これらの点の集合が数百万、あるいは数十億へと増大していくにつれ、新しいクエリに対して最も近い一致を見つけることは、膨大な計算上の課題となります。もしコンピュータが、保存されたすべての項目に対して一つずつ新しい質問を照合しなければならないとした場合、そのプロセスは実用的な速度では間に合わないでしょう。これを解決するために、研究者たちは2つの主要なツールのタイプを開発してきました。一つは、これらの照合を見つけるための純粋な速度に特化した専用ライブラリであり、もう一つは、データを恒久的に保存し、フィルタリングや管理といった追加機能を提供する、本格的なデータベースです。

アルメニア欧州大学のドゥヒク・ホフセピアンによる最近の研究は、これら2つのアプローチ間の実世界のパフォーマンスの違いを測定することを目的としました。研究者は、専用の検索ライブラリであるFAISSと、ベクトルデータベースであるQdrantを比較しました。公平なテストを行うため、実験は制御された環境下で行われ、両方のシステムに対し、2万個のアイテムの中から、あるクエリに対して最も類似した10個のアイテムを見つけるという全く同じ問題を解くよう求められました。ここで、各アイテムは128種類の異なる特性によって記述されています。テストは、複数のプロセッサが連携して働く助けを借りずに、検索メカニズムの生の速度を分離して測定するため、単一のコンピュータプロセッサコア上で実行されました。

結果は、これら2つの構成間の生の速度における顕著な格差を明らかにしました。専用ライブラリであるFAISSは、最も正確な回答を保証するために、すべてのアイテムへの距離を計算する「厳密検索（exact search）」を行うように設定されていました。このセットアップにおいて、FAISSは平均してわずか0.4ミリ秒未満で正しい一致を見つけ出しました。これにより、毎秒2,500件以上のクエリを処理することができました。対照的に、データベースシステムであるQdrantは、データをディスク上に保存し、データ内をナビゲートするためのより高速だが近似的な手法を使用するローカルモードで動作していました。これらの特定の条件下では、Qdrantは一つのクエリに答えるのに平均して約10ミリ秒を要し、そのスループットは毎秒わずか100件強となりました。専用ライブラリは、1秒間に回答できる質問の数において、また単一の質問に回答するのにかかる時間において、およそ25倍高速でした。

しかし、本研究は、この違いがどちらかのテクノロジーが普遍的に優れていることを意味するものではないことを強調しています。実験は、ソフトウェアの全潜在力を比較するためではなく、特定の構成を比較するように設計されました。ライブラリは純粋なインメモリ検索ツールとしてテストされましたが、データベースは、速度テストの焦点ではなかったものの、ストレージおよび管理機能が有効な状態でテストされました。データベースのアプローチは、速度テストでは測定されなかった重要な利点を提供します。例えば、コンピュータの電源を切った後もハードドライブ上にデータを安全に保持する能力、日付やカテゴリなどの他の情報に基づいて結果をフィルタリングする能力、そして大規模なデータコレクションを一つのまとまったシステムとして管理する能力などです。対照的に、ライブラリは、可能な限り速く最近傍を見つけるという一つのタスクのために構築された特化型のエンジンであり、多くの場合、コンピュータのテンポラリメモリにすべてのデータを保持する必要があるという代償を伴います。

研究者は、観察されたパフォーマンスの格差は、あらゆる状況に適用される根本的なルールではなく、実験で使用された特定の構成に起因する特性であると結論付けています。もしデータセットがより大きくなり、コンピュータに多くのプロセッサコアがあり、あるいはデータベースがローカルツールではなく独立したサーバーとして実行されていたならば、数値は変わっていた可能性が高いでしょう。この研究は明確な基準を示すものであり、単一のプロセッサ上での単純かつ直接的な検索タスクにおいては、専用ライブラリがデータベースシステムよりも劇的に高速であることを示しています。しかしながら、データの恒久的な保存、複雑なルールによるフィルタリング、あるいは大規模なコレクションの管理を必要とするアプリケーションにとっては、データベースが専用ライブラリには提供できない幅広いツールを提供します。選択肢は、単純な質問に対して絶対的に最速の回答を得ることが優先されるのか、それとも、より大規模で複雑なシステム内でのデータ管理と検索が可能であることが優先されるのかによって決まります。