ScalableRAG: High-Quality RAG at Zero Ingestion Cost
本論文は、動的なワークスペースを利用したオンザフライの集約的推論によって、ゼロのインジェクションコストで複数のデータセットにわたる優れた精度を実現する高品質な検索拡張生成手法であるScalableRAGを紹介しており、また、最小限のベクトルデータベース使用量で大規模化における性能をさらに向上させるLimited-Ingestionバリアントも提供している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、100万冊の本が並ぶ図書館で巨大な謎を解こうとしていると想像してください。人工知能の世界では、これを**検索拡張生成（RAG）**と呼びます。標準的なAIを、インターネット上のあらゆる知識を読み込んではいるものの、埃をかぶったアーカイブにある特定の詳細については思い出せない「優秀な探偵」だと考えてみてください。探偵を助けるために、通常は彼らが仕事を始める前に「カード目録」や「知識グラフ」を作成します。これには、すべての本を読み、要約し、AIが適切なページを素早く見つけられるように複雑なデータベースへと整理する作業が含まれます。これは、探偵が到着する前に、図書館の索引を作成するために司書チームを数週間雇うようなものです。このプロセスは、開始するだけで非常にコストがかかり、時間がかかり、多くの計算能力を必要とします。しかし、もし探偵が事前に作られた目録なしに、図書館に入って本に目を通し、その場で答えを見つけ出すことができたらどうでしょう？ それこそが、この論文が取り組んでいる大きな問いです。膨大なデータベースを構築するという高い「インジェスチョン（取り込み）」コストを支払わずに、同じ素晴らしい結果を得ることはできるのでしょうか？
Hilaf Hasson氏率いるCohesityの研究チームは、その答えは明白な「イエス」であると言います。彼らは、**Zero-Ingestion（ゼロ・インジェスション）とLimited-Ingestion（リミテッド・インジェスション）**という2つの形態を持つ、ScalableRAGと呼ばれる新しいシステムを紹介しています。彼らの主な発見は、複雑な質問に答えるために、すべての資料を事前処理する必要はないということです。代わりに、彼らのAIエージェントは、魔法の拡張可能なクリップボードを持ち歩く、超整理整頓された探偵のように振る舞います。探偵が特定の事実を見つける必要があるとき、単にキーワードで検索するのではなく、関連する文書のテンポラリな「グループ」を作成し、それらをフィルタリングし、その場で結果に対して計算さえ行うことができます。
彼らの「Zero-Ingestion」の手法がどのように機能するかを、簡単な比喩を使って説明しましょう。例えば、1年間のショッピングのレシートが混ざり合ったまま積み上がっていると想像してください。従来のシステムでは、質問（例：「6月にガソリンにいくら使ったか？」）をする前に、誰かが座ってすべてのレシートを読み、それらをラベル付きのフォルダ（食料品、ガソリン、電子機器など）に仕分ける必要があります。この仕分けには膨大な時間がかかります。しかし、ScalableRAGは、この仕分け作業を完全にスキップします。質問を受けると、AIはレシートの山を見て、「ガソリン」と言及しているすべてのレシートを見つけ出し、次にその小さな束をフィルタリングして「6月」のものだけを絞り込み、最後に数字を合計します。これは、文書の「セット」をその場で作成し、管理することによって行われます。これは、探偵が関連するレシートの周りに即座に円を描き、それらを数え、計算を行うことができるようなものです。すべてを先にファイルに整理しておく必要はありません。
この「オンザフライ（即時）」のアプローチが極めて強力であることを、論文は示しています。政府の公聴会の記録から財務報告書、映画の脚本に至るまで、6つの異なる文書コレクションを用いたテストにおいて、彼らのZero-Ingestionシステムは、6つのデータセットのうち3つ（MuSique、Transcripts、Hotels）において、すべてのベースライン（知識グラフのアプローチを含む）を圧倒しました。残りの3つのデータセット（2Wiki、FinanceBench、ComplexTR）では、最大パフォーマンスをわずかに下回るのみであり、各データセットで最も優れた性能を示したベースライン（A-RAG）に対し、平均でわずか1.63%の差しかありませんでした。これらの半分において僅かな敗北を喫したにもかかわらず、システムは6つのデータセット全体で、次に競争力のあるベースラインよりも約7.36%高い平均精度を達成しました。これは、多くの種類の質問において、事前にデータベースを構築するという高価なステップが実際には不要であることを示唆しているため、非常に重要なことです。
よりトリッキーな質問に対してシステムをさらに改善するために、彼らは「Limited-Ingestion」バージョンも構築しました。これは、探偵に最も一般的な種類のヒントに対する小さな既成のインデックスを与えつつ、重労働は依然としてその場で実行させるようなものです。このバージョンは、わずかな事前処理（パターンを見つけるための資料のサンプリング）と、単なる単語の一致ではなく類似した概念を見つけるためのツールである「ベクトルデータベース」を使用します。このハイブリッドアプローチにより、ホテルの説明文にある特定の施設や、法的契約における特定の条項を見つけるといった、複雑な構造の中に情報が隠されているデータセットにおいて、精度がさらに向上しました。
論文では、複雑で多段階の質問に答えるために、膨大な事前処理済みの知識グラフや完全なSQLデータベースを必ず構築しなければならないという考えに対し、明確に反論しています。彼らは、ユーザーが質問をする前にLLMにすべての文書を読ませ、データを抽出させる「インジェスチョン重視」の手法が、多くの場合において過剰であることを示しています。それらの手法はデータのグルーピングには優れていますが、ScalableRAGは、エージェントが会話中に即座に同じグルーピングと計算を行えることを証明しました。著者たちは、別のAIが回答を採点する厳格なテスト方法を用いて結果を測定しており、その結果に非常に自信を持っています。彼らのシステムは、コストと時間を節約できるだけでなく、高価な代替案よりも正解に到達する頻度が高かったり、あるいは、はるかに少ない労力で極めて近い精度を実現したりできることが分かりました。
要約すると、ScalableRAGは、干し草の山の中から針を見つけるために、巨大な整理された知識の倉庫を建てる必要はないことを示すことで、ゲームのルールを変えました。代わりに、針をその場で掴み、分類し、数えるための魔法の道具を持ったスマートなエージェントを、干し草の山の中に送り込むことができるのです。セットアップコストがゼロのシステム（Zero-Ingestion）が必要であれ、さらなる精密さのためにわずかな事前準備を加えたもの（Limited-Ingestion）が必要であれ、この研究は、AIによる質問回答の未来が、私たちが考えていたよりもずっとシンプルで、速く、そして安価である可能性を示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。