GPTKB 2.0: Browsing, Querying, and Auditing a Disambiguated LLM-Derived Knowledge Base

インターネットを、あらゆる著者が異なる本を書いている巨大で混沌とした図書館だと想像してみてください。時には、全く異なる物語を語っているのに、全く同じタイトルを持つ本が二つ存在するかもしれません。人工知能の世界において、「大規模言語モデル（LLM）」は、この図書館にあるほぼすべての本を読んだ、非常に賢い司書のようなものです。彼らはテキストのパターンを記憶しているため、質問に答えたり、物語を書いたり、問題を解決したりすることができます。しかし、一つ落とし穴があります。これらのAI司書は、あなたが話している「ミュンヘン」が、あの有名なドイツの都市のことなのか、それとも2005年の映画のことなのかを、必ずしも判別できません。また、「ニューヨーク」と「ビッグアップル」を、実際には同じ場所であるにもかかわらず、全く別の場所として扱ってしまうこともあります。この混乱は「曖昧さ回避（ディスアンビギュエーション）」の問題と呼ばれます。長年、科学者たちは、AIの乱雑で内部的な記憶を、クリーンで整理された事実の地図に変えようと試みてきましたが、それはまるで、箱に絵が描かれていない、バラバラに混ざったパズルのピースを仕分けようとするようなものでした。

現在、研究チームは、この仕分け問題を解決するために、GPTKB 2.0と呼ばれる新しいツールを構築しました。これは、AIが自分自身で作り上げた、自己修正機能を持つ魔法の百科事典のようなものですが、一つひねりがあります。それは、単に事実を列挙するだけでなく、何が真実で何が間違いであるかを判断した「プロセス」についての詳細な日記を保持しているという点です。単に「ミュンヘンは都市である」と言う代わりに、この新しいシステムは、「どのミュンヘンか？ ヨーロッパの都市か、それとも映画か？」と問いかけ、それぞれに対して個別の明確なエントリーを作成します。また、「ビッグアップル」と「ニューヨーク市」は同じものであることに気づき、それらを一つの完璧なエントリーへと統合します。その結果、160万のユニークな対象に関する3,800万以上の事実を含む、大規模で整理されたデータベースが誕生しました。しかし、本当の魔法はその規模ではなく、その「透明性」にあります。研究者たちは、誰でもAIの脳内を覗き見ることができるウェブサイトを構築しました。そこでは、AIが自分自身にどのような質問をしたのか、どのように事実を統合または分離するかを決定したのかを見ることができ、さらには自然な英語で質問することさえ可能です。これは、AIの隠された知識を、探索可能で、クエリを実行可能で、そして、すべての事実がいかにして発見されたかを確認できるため信頼できる、公開された検証可能な宝の地図へと変えるものです。

ビッグアイデア：自己修正型AI百科事典

この論文の核心は、大規模言語モデルの「脳」から完全に構築された大規模な知識ベース（構造化された事実のコレクション）であるGPTKB 2.0の作成にあります。単に現れた単語をそのまま取得していた古い手法（これは「ミュンヘンの都市」と「ミュンヘンの映画」のような同音異義語の混乱を招いていました）とは異なり、この新しいシステムは、実行中に**曖昧さ回避（ディスアンビギュエーション）**を行います。それは探偵のように、新しい事実を見つけるたびに、「これは本当は何者なのか？」と問いかけ、それを書き留める前に文脈をチェックします。

論文では、このプロセスを完全に可視化するウェブデモが提示されています。データベースを閲覧し、事実間のリンクを辿り、そして最も重要なことに、すべての事実の「プロベナンス（由来・根拠）」を監査することができます。つまり、AIが見た表面的な単語、検討した候補となる一致、そして、二つの名前を統合するか（類義性）、あるいは別々に保持するか（同音異義性）を判断した具体的な決定事項を確認できるのです。

その仕組み：再帰的な探偵

GPTKB 2.0の構築は、再帰的でコンテキストに基づいたパイプラインです。AIが「ブダペスト」という単一のシード・エンティティ（種となる実体）から始まる様子を想像してください。AIはブダペストに関する事実をLLMに求めます。LLMが新しいオブジェクト、例えば「ミュンヘン」を含む回答を返したとき、システムは単に「ミュンヘン」と書き込むことはしません。システムは「ブダペストには姉妹都市としてミュンヘンがある」という文章を確認します。これにより、これが映画ではなく、都市であることを理解します。

このプロセスには、主に4つのステップがあります：

1. 抽出（Elicitation）： AIは、特定のエンティティとその記述に基づいて、LLMに事実を求めます。
2. 命名エンティティ認識（NER）： 新しい単語が、リテラルな数値なのか、それとも実在するエンティティなのかを判別します。
3. 曖昧さ回避（Disambiguation）： これが主役です。システムは、新しい言及をデータベース内の既存のエントリーと比較します。もし文脈が既存の「ブダペスト」と一致すれば、そこへリンクさせます。もしそれが新しい「ミュンヘン（映画）」であれば、新しいIDを作成します。
4. 統合（Consolidation）： 同義の名前（「ビッグアップル」と「ニューヨーク市」など）を一つの標準的なエントリーへと統合します。

論文では、識別子として「表面文字列（単なる名前）」を使用するという古い手法に対して、明確に反対しています。彼らは、文脈なしでは表面文字列が二つの方法で失敗することを示しています。すなわち、同音異義語を**混同（conflate）すること（異なるものを同じものとして扱う）、および類義語を断片化（fragment）**すること（同じものを異なるものとして扱う）です。GPTKB 2.0は、「抽出されたトリプル（その事実が出自となった文章）」と既存のエンティティの記述をコンテキストとして使用することで、これを拒絶します。

数字：大規模でクリーンな地図

このプロジェクトの規模は驚異的です。論文によると、GPTKB 2.0は以下を含んでいます：

• 3,840万のトリプル（主語・述語・目的語の形式での事実）
• 160万の正規化されたエンティティ（曖昧さが排除されたユニークな対象）
• 207,633の統合された関係（接続の種類）
• 66,523の統合されたクラス（事物のカテゴリ）

興味深いことに、これらのエンティティの約**36.8%**は、Wikidataのような既存のデータベースと比較して世界に新しいものであり、これはLLMが構造化されたデータベースにはこれまで存在しなかった事実を発見したことを意味しています。

ウェブインターフェース：透明性が特徴

この論文の最もユニークな部分は、https://gptkb.org/ にあるウェブインターフェースです。これは単なる検索エンジンではなく、AIの推論プロセスを覗き見るための「ガラスボックス」です。

• 追跡可能な決定： 「ハイデ・パーク」のようなエンティティをクリックすると、システムがなぜそれがロンドンのものだと判断したのか、その経緯を正確に確認できます。AIが検討した候補リストと、なぜ他の候補を拒絶したのかを見ることができます。
• 類義語の統合： 「ビッグアップル」をクリックすると、それが「ニューヨーク市」に統合されたことが表示されます。さらにクリックすれば、その決定を下すためにAIが使用した具体的なプロンプトを見ることができます。
• エンティティ・リンキング： 自分のテキストを入力すると、システムはそのテキスト内の名前をGPTKB 2.0の正しいエントリーにリンクさせます。例えば、「マーキュリー（水星/マーキュリー）」について書いた場合、文脈に基づいて、惑星としての水星と、ローマ神話の神としてのマーキュリーを正しく区別してリンクします。
• クエリ実行： 自然な英語（例：「ブダペストは何で知られていますか？」）で質問でき、システムはそれを構造化されたデータベース・クエリ（SPARQL）に翻訳して回答を得ます。実行された正確なクエリと、踏んだステップが表示されます。

信頼性はどの程度か？（評価）

著者たちは単に構築しただけでなく、データを厳格にテストしました。彼らはデータのサンプルを手動でチェックし、AIが間違いを犯していないかを確認しました。

• 統合の精度（Merge Precision）： システムが二つの名前を同じもの（類義語）と判断した場合、ラベルが同じオブジェクトについては98%、異なるラベルのエイリアスについては**91%の確率で正解でした。主なエラーモードは、誤った統合（異なるものを同じものと判断すること）であり、特定のエイリアスのケースで約9%**発生しました。
• 分離の精度（Split Precision）： システムが二つのものを別物（同音異義語）と判断した場合、同じラベルのペアを分離したサンプルにおいて**100%**の精度を誇りました。
• 事実性（Factuality）： 事実が真実であるかどうかをチェックした際、人間が確認したトリプルの**94.5%が「真実」であり、わずか2.0%**が「偽」でした。AI判定器が1,000項目をチェックした際も、**92.8%**が真実でした。

論文では、コンテキスト（エンティティの記述）が極めて重要であると述べています。AI判定器がエンティティの記述を見なかった実験では、事実の正確性が（真実94.5%から80%へと）大幅に低下しており、コンテキストこそが曖昧さ回避を機能させていることを証明しています。

本研究が主張していないこと

この論文が主張していないことも明記しておく必要があります。GPTKB 2.0が完璧であるとか、AIのハルシネーション（幻覚）の問題を完全に解決したとは主張していません。著者らは、誤った類義語の統合（似ているために異なるものを同じものと判断してしまうこと）が、依然として最大の残されたエラーであることを認めています。また、これは「汎用ドメイン」の知識ベースであり、医学や法律などの専門的なデータベースではないことも明確にしています。結果は、手動および自動によるサンプリングに基づくものであり、3,800万の全事実をチェックしたものではありません（それは不可能です）。

まとめ

GPTKB 2.0は、LLMの知識という「ブラックボックス」を「ガラスボックス」へと変えたという点で、重要な一歩を踏み出しています。エンティティを生成する過程で曖昧さを排除し、あらゆる決定を記録するデータベースを構築することで、研究者たちは、巨大で有用であるだけでなく、**監査可能（オーディタブル）**なリソースを作り上げました。証拠を確認できるため、その事実を信頼することができるのです。これは、文脈をチェックし、決定の詳細な日記をつけるという困難な作業を行う限り、AIの無秩序で非構造化された知識から、構造化された信頼できる知識を構築できることを示唆しています。