Probabilistic Circuits for Knowledge Graph Completion with Reduced Rule Sets

ロボットに世界を理解させる方法を教えていると想像してみてください。百科事典を丸ごと脳内に流し込むのではなく、「もし雨が降れば、地面は濡れている」といった一連の論理的な「もし〜ならば、その時〜である（if-then）」というルールを与えます。これが**知識グラフ（Knowledge Graphs）**の世界であり、人々、場所、物事に関する事実を繋ぐ巨大なデジタルの地図です。**知識グラフ補完（Knowledge Graph Completion）**の目的は、ロボットが欠落した事実を推測できるようにすることです。例えば、「アリスはボブの妹である」かつ「ボブはチャーリーの兄である」ならば、「アディスはチャーリーの妹である」と導き出すようなことです。

長い間、最も賢いロボットたちは、推測には優れているものの「なぜそう推測したのか」を説明することには極めて不向きな「ブラックボックス」的な数学を使用してきました。そのため、科学者たちは、論理の連鎖を正確に辿ることができる透明性の高い、古風なルールベースのアプローチへと回帰しました。しかし、ここに落とし穴があります。ルールベースのロボットをブラックボックスと同等の賢さにしようとすると、数万ものルールを暗記させる必要があったのです。これは、たった3冊の本を読むだけで済むはずなのに、謎を解くために2万冊の本がある図書館を読み漁ろうとするようなものです。そのほとんどの本は棚に置かれたまま埃をかぶっており、ロボットを遅く、混乱させ、理解しにくくさせています。

この論文は、シンプルで大胆な問いを投げかけます。「膨大な倉庫ではなく、ごくわずかに厳選されたルールのライブラリを使うことで、ロボットを同じくらい賢く教えることはできるだろうか？」 著者らは、知識グラフと論理学を用いて、「確率的回路（Probabilistic Circuits）」と呼ばれる巧妙な新手法を提案しています。これは、単なるルールブックではなく、どのルールがうまく組み合わさって機能するかを正確に把握している「超スマートな司書」のようなものです。すべてのルールを孤立した事実として扱うのではなく、この司書はルール同士がどのように「つるんでいるか」を学習します。彼らは、この手法を用いることで、ルール数を70%から96%削減しながら、同等あるいはそれ以上の結果を得られることを発見しました。実際、彼らの手法が選んだ同じ少数のルールを用いた場合、旧来の手法が同じ少数のルールを使おうとした時よりも、最大で31倍正確でした。彼らは、このアプローチが数学的に健全であり、不安定な仮定に依存していないことを証明し、AIを驚くほどスマートかつシンプルに理解可能なものにする道を示しました。

問題点：「ルールの爆発」

あなたが探偵として事件を解決しようとしている場面を想像してください。従来の方法（AnyBURLのようなシステム）は、書かれているあらゆる手がかりや理論、例えば2万個もの手がかりを集める方法です。特定の謎を解こうとする際、システムはその2万個の手がかりすべてをチェックします。問題は何でしょうか？ほとんどの手がかりはその特定の事件には無用なのです。医療用語を扱うUMLSというデータセットでは、旧システムはトップスコアを得るために20,000個のルールを必要としましたが、実際に使われていたのはわずか12,938個でした。つまり、デスクの上に7,000個以上の無用なルールが置かれ、邪魔をしていたのです！

これは3つの大きな悩みを引き起こします：

1. 混乱： システムに「どうやってそれを導き出したのか？」と尋ねると、システムは2万個のルールの乱雑な山を指し示し、どのルールが実際に重要だったのかを判断することを不可能にします。
2. メモリ過負荷： 数万ものルールを保存・管理するには膨大なコンピュータメモリが必要であり、これは、容量に制限のある大規模言語モデル（LLM）のような他のスマートなシステムにこれらのルールを供給したい場合に問題となります。
3. 思考の鈍化： ほとんどが無用なルールの山を検索しなければならないため、一貫性のチェックや複雑な「もし〜だったら」という質問への回答が非常に遅く、困難になります。

解決策：「スマートな司書」（確率的回路）

著者らは、スマートな司書のように機能する新しいフレームワークを導入しました。単にルールを列挙するのではなく、この司書はルールの集合に対する「確率分布」を学習します。平たく言えば、どのルールがチームのように一緒に機能するかを学習するのです。

仕組みは以下の通りです：

• インジケーター・スイッチ： 学習されるすべてのルールに対して、そのルールが特定の状況で有効かどうかを決定する小さな「スイッチ（インジケーター）」を追加します。
• チームの学習： システムは既知の事実（トレーニングデータ）を観察し、どのスイッチが通常一緒にオンになるかを学習します。これには**確率的回路（PC）**という構造を用います。PCをフローチャートだと考えてください。PCは、すべてのルールが独立して作用すると仮定することなく、異なるルールの組み合わせが真となる確率を計算します。
• 独立性の仮定の排除： 旧来のシステムの一般的な間違いは、「ルールAはルールBとは無関係である」と仮定することです。本論文は、ルール同士が互いに影響を及ぼし合うことを証明しています。PCはこれらの複雑な関係を学習することで、少数の高性能なルールのチームを選び出すことができるのです。

結果：少ないことは、より豊かなこと

チームは、医療記録（UMLS）から家系図（Kinship）、一般的な知識（WN18RR）に至るまで、8つの異なるベンチマークデータセットでテストを行いました。結果は驚くべきものでした：

• 劇的な削減： ピーク時のパフォーマンスに達するために必要なルール数を70%から96%削減しました。例えば、UMLSデータセットでは、トップスコアの0.964（Hits@10）を得るために、20,000個必要だったルールをわずか1,000個にまで減らすことができました。
• 「31倍」のブースト： 彼らの最適化された小さなルールセットを、同じ少数のルールを使用した場合のベースライン・システムと比較したところ、彼らの手法は最大で31倍優れた結果を出しました。これは、旧システムが適切な少数のルールを選ぶのが苦手であった一方で、新手法がマスター・セレクター（選別名人）であったことを示しています。
• 高い効率性： 旧システムでは、UMLSデータセットにおいてルールのわずか**64%しか実際に使用されていませんでした。一方、新システムでは、1,000個のルールのうち86.8%**がアクティブでした。彼らは無用なルールにスペースを浪費することをやめたのです。
• 性能の維持： この小さなルールセットを用いても、ベースラインの巨大なフル・ルールセットが持つピーク性能の**91%**を維持できました。

彼らはこの新システムを使用する3つの異なる方法をテストしました：

1. SingletonLB： 推測を行うために一度に一つのルールのみを使用する（シンプルで高速なアプローチ）。
2. SingletonExact： 単一のルールに対する正確な確率を計算する（非常に精密）。
3. GreedyLB： 小さなルールのグループをステップバイステップで構築する（中間的なアプローチ）。

**「SingletonExact」が主役であり、ベースラインがそのフルサイズの巨大なライブラリを使用できる場合であっても、それを上回ることがよくありました。例えば、CODEX-Sデータセットにおいて、新手法はわずか5%のルール（20,000個に対して1,000個）を使用しながら、ベースラインの最高スコアの99.95%**を達成しました。

なぜこれが重要なのか

これは単にコンピュータのメモリを節約することではありません。AIを信頼できるものにすることです。もしAI医師が、ある患者に特定の疾患があると告げたとき、あなたはその「理由」を知りたいはずです。もしその理由が2万個のルールの乱雑なリストであるなら、あなたはそれを信頼できません。もしその理由が、システムが最適であると判断した50個の明確で簡潔なルールの連鎖であるなら、あなたは論理を理解し、検証することができます。

著者らは、彼らの手法が（具体的にはニルソンの確率論的論理に基づいた）強固な数学に裏打ちされていることを示しました。これは、単なるラッキーな推測ではなく、事実を捏造することなく不確実性を扱うための厳密な方法であることを意味します。また、このアプローチは特定のルール生成器に依存しないことも指摘しており、今回使用したシステムだけでなく、あらゆるシステムから学習されたルールにも適用できる可能性があります。

要するに、この論文は、謎を解くために2万冊の本のライブラリは必要ないということを証明しています。適切な「スマートな司書」がいれば、たった一つの、完璧に選ばれた本棚があれば、AIをより速く、より明快に、そしてこれまで通りスマートに、謎を解くことができるのです。