GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge
本論文は、大規模な再帰的実体化を通じてGPT-4.1から構築された、1億トリプル規模のコスト効率の高い知識ベースであるGPTKB v1.5を紹介するものであり、これにより、LLMが持つ事実的知識の体系的な探索、構造化されたクエリ、および比較分析が可能となる。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
超高性能なロボットを想像してみてください。そのロボットは、インターネット上のほぼすべての情報を読み込んでいます。あなたは、そのロボットが膨大な知識を持っていることは分かっていますが、「エッフェル塔について何を知っていますか？」と聞けば、いくつかのことを教えてくれます。「ルーブル美術館については？」と聞けば、もっと多くのことを教えてくれます。しかし、そのロボットが「何を知らないのか」、あるいは「その知識がどれほど深いのか」は、あなたには分かりません。なぜなら、一度に一つの質問しかできないからです。それはまるで、たまたま通りかかった場所だけを見て、大陸の地図を作ろうとしているようなものです。
GPTKB v1.5 は、この状況を一変させるプロジェクトです。研究者たちは、ロボット（具体的にはGPT-4.1）が知っていることの断片的な質問を一つずつ投げかけるのではなく、それらすべてを繋ぎ合わせた巨大で相互接続されたマップを構築しました。これは、バラバラに散らばったトリビアカードの山を、あらゆる事実が互いにリンクされた、検索可能な巨大な図書館へと変えるような作業です。
彼らがどのようにこれを行い、何を発見したのかを、分かりやすく説明します。
1. 「スノーボール（雪だるま）」方式（構築方法）
研究者たちは、単にロボットにランダムな事実を尋ねたわけではありません。彼らは巧妙な「スノーボール」テクニックを用いました。
- シード（種）： 彼らはまず、「ヴァネヴァー・ブッシュ（有名な技術者）」のような特定の対象から始めました。
- 拡張： 彼らはロボットに「ヴァネヴァー・ブッシュについて知っていることをすべて教えてください」と尋ねました。すると、ロボットは「彼はXで働いた」や「彼はYを発明した」といった事実のリストを提示しました。
- 連鎖反応： その回答の中に新しい名前（「X」や「Y」など）が登場しました。研究者たちは、その新しい名前についても即座にロボットに質問しました。
- 結果： このプロセスを、まるで連鎖反応のように10層の深さまで再帰的に繰り返しました。これにより、610万もの異なる事柄を繋ぐ、1億個の事実（「トリプル」と呼ばれます）からなる巨大なウェブが作成されました。
このライブラリ全体を構築するのに、コンピューターの稼働時間として約14,000ドルの費用がかかり、完成までに約18日を要しました。
2. 乱雑なデータの整理（「コンソリデーション」）
ロボットに対して同じ質問を異なる言い方で投げかけると、回答が微妙に異なったり、同じものを指していても異なる言葉を使ったりすることがあります（例：ある文では人を「人間」と呼び、別の文では「人」と呼ぶなど）。
これを修正するために、研究者たちは「クリーニング」プロセスを実行しました。似たような言葉をグループ化し、重複する事実を統合しました。これにより、乱雑で冗長なデータの山が、明確なカテゴリーを持つ整理されたデータベースへと生まれ変わりました。
3. このマップで何ができるのか？
この論文は、誰もがこの膨大な知識ベースを主に3つの方法で探索できるウェブサイトを紹介しています。
- 「ウィキペディア」スタイルのエクスプローラー： 任意の項目（シンガポールの「マーライオン像」など）をクリックすると、ロボットがその項目について知っている事実のリストが表示されます。そこから、事実に登場する人物や場所をクリックすることで、博物館を歩くように、ロボットの思考を辿ってページを移動できます。
- 「探偵」クエリツール： SPARQLと呼ばれる特殊な言語を使って、複雑な質問を投げることができます。例えば、「このロボットが知っている最も一般的な事柄のタイプの上位100件を示してください」と尋ねることができます。ロボットのマップによれば、最も多く知っているのは**「人」**であり、次いで映画、企業、本であるということが判明しました。
- 興味深い発見： 研究者たちは、ロボットの知識が公平かどうかを検証しました。「もしロボットが『AはBと結婚している』と知っているなら、『BはAと結婚している』も知っているか？」と問いかけたのです。その結果、84%の確率で、できていないことが分かりました。ロボットの知識はしばしば一方的であり、関係の一方の側面は記憶していても、もう一方の側面を忘れてしまうことがあります。
- 「味比べ」（比較）： 異なるAIモデルを並べて比較できます。研究者たちは、GPT-4.1を他のモデル（LlamaやDeepSeekなど）と比較しました。
- 例： 有名なAI研究者であるイリヤ・サツケヴァーについて尋ねた際、GPTモデルは40個の事実を提示しましたが、Llamaモデルは14個しか提示しませんでした。
- 注意点： しかし、両モデルとも彼の生年月日を間違えました！これは、たとえ一方のモデルがより多くの事実を知っていたとしても、両者が同じような初歩的なミスを犯し得ることを示しています。
4. 正確性はどの程度か？
研究者たちはロボットを鵜呑みにせず、その仕事を検証しました。
- 彼らはランダムに1,000個の事実を選び出し、現実の世界（ウェブ検索を使用）と照らし合わせました。
- スコア： 事実の約**75.5%**は真実でした。
- 問題点： 約**19.5%**は偽りであり、中には検証が困難なほど混乱した内容もありました。
- バイアス（偏り）： 特定の「シード（種）」の名前から始めたため、マップは研究者が「尋ねよう」と考えたものに大きく偏っています。これは巨大なマップではありますが、宇宙の全知識を網羅した完全なマップではありません。
まとめ
GPTKB v1.5は、14,000ドルの費用を投じた大規模な実験であり、「ブラックボックス」であるAIを、透明で検索可能なライブラリへと変貌させました。これは、AIが驚異的な知識量（1億の事実を保持）を持っている一方で、思考が一方的であったり、特有のエラーを抱えていたりすることをも明らかにするものです。これは、研究者が「AIが何を知っているか」を推測するのをやめ、実際に「目で見ることができる」ようにするためのツールなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。