KGCache: Amortized Subgraph Retrieval for KG Reasoning with LLMs

想像してみてください。あなたの目の前に、物語を書き、謎解きをし、あらゆる話題についておしゃべりができる、ものすごく賢くてクリエイティブな友人がいるとします。この友人は、大規模言語モデル（LLM）と呼ばれる、インターネット上のほぼすべての情報を読み込んだ人工知能の一種です。しかし、一つ問題があります。この友人の脳は、数年前の世界を切り取った「凍結されたスナップショット」のような状態なのです。彼らは昨日の出来事を知りませんし、完璧に聞こえるけれど実は完全に間違っている事実を捏造してしまうことがあります。これは「ハルシネーション（幻覚）」と呼ばれます。

これを解決するために、私たちはこの友人に、膨大な知識が整理された百科事典である「ナレッジグラフ（KG）」への図書カードを渡します。推測する代わりに、この友人は「フランスの 대통령は誰か？」や「トム・ハンクスが出演した映画は何ですか？」といった特定の事実を、人、場所、物の間のつながりの跡を辿ることで調べることができます。しかし、この図書室に情報を求めるのは時間がかかります。質問をするたびに、友人は図書室まで歩いていき、正しい棚を見つけ、本を取り出し、ページを読み、そして戻ってこなければなりません。もしあなたが100個の質問をし、その多くが同じ有名な人物や場所に関するものであった場合、あなたの友人は何度も同じページを取りに行くという、不必要な無駄足を踏んでいることになります。「もし、私たちの友人のすぐ隣に小さな待合室を作って、最も人気のあるページを手元に置いておくことができたらどうだろうか？そうすれば、毎回わざわざ図書室まで歩いて行かなくて済むのではないか？」と、この論文は問いかけています。

これこそが、テキサスA&M大学の研究者たちが取り組んだことです。彼らはKGCacheと呼ばれる巧妙なシステムを構築しました。これは、あなたのAIの友人と巨大な図書室の間に置かれた、魔法の「付箋（ふせん）」ボードのようなものです。もし友人が特定の人物（例えば「イーロン・マスク」）について情報を求めたら、システムはまず付箋をチェックします。もし情報がすでにそこにあれば、即座にそれを渡します。もしなければ、図書室へ走っていき、情報を掴み、次回の時のためにボードに貼り付け、それから友人に渡すのです。

研究者たちは、2つの大きな難問セット（WebQSPおよびCWQと呼ばれます）を用いてこれをテストし、刺激的な発見をしました。それは、あなたのAIの友人は、同じ情報を何度も繰り返し求めているということです。実際、一部の人気のある質問では、言及された人物や場所の約76%が重複していました！このため、KGCacheは図書室へ走る代わりに、その「付箋」から答えを提供することができました。これにより、あるデータセットにおいて、情報の検索プロセスが最大で1.91倍高速化されました。つまり、AIは図書室へ歩く時間を減らし、実際に考え、答えることに時間を割けるようになったのです。

彼らはさらに、**セマンティック・キャッシング（意味的キャッシュ）**という、よりスマートな第2のトリックも試しました。想像してみてください。もし友人が「フランスのリーダーは誰ですか？」と尋ね、あなたがすでに「フランスという国の統治者は誰ですか？」という情報を調べていたとします。言葉は違っても、意味は同じです。セマンティック・キャッシュはこの類似性に気づき、「おっと、その答えはもう持っているよ！」と伝えます。これにより、さらに多くの時間が節約されました。ただし、研究者たちは、答えが依然として100%正確であることを確認するために、さらなるテストが必要であると指摘しています。

この論文は、すべてのAIの問題を解決したとか、システムを完璧にしたと主張しているわけではありません。その代わりに、どれだけの時間が節約されたかを正確に測定しました。その結果、図書室へ歩く部分については大幅なスピードアップが見られた一方で、会話全体の総時間で見ると（AIが考える作業を行う必要があるため）節約幅は小さくなった（約1.06倍の高速化）ことを明らかにしました。また、彼らはこのトリックが、AIが質問を一つずつ投げかける場合でも、一連の質問の経路を一度に計画する場合でも機能することを示しました。

要するに、研究者たちは、一度調べたことを記憶しておくことで、ナレッジグラフを使用するAIシステムをより機敏で効率的にできることを証明しました。これは「すでに持っているものは取りに行かない」という単純なアイデアですが、AIの友人が同じ有名な人物や場所に関する何千もの質問に答えようとしているとき、それが非常に大きな助けになることが判明したのです。