Neuro-symbolic learning over OWL 2 DL via consequence-based compilation to differentiable circuits

人工知能という広大な風景の中で、二つの異なる伝統が、機械がいかにして世界を理解するかを巡って長らく競い合ってきた。ディープラーニングとして知られる一方の伝統は、写真の中の猫を識別したり、手書きの数字を読み取ったりといった、生のデータからパターンを認識することに長けている。それは、正しい答えに辿り着くまで数百万もの内部のつまみを調整することで学習するが、世界を支配するルールについての明確な理解なしに行われる。もう一方の伝統は、論理と知識表現に根ざしており、「プードル」は「犬」の一種であり、「犬」は「哺乳類」であるということを知っているデジタル百科事典のように、厳格なルールを用いて推論するシステムを構築する。このシステムは精密で信頼できるが、画像や音といった、無秩序で構造化されていない現実との接続に苦慮することが多い。長年、研究者たちはこれら二つのアプローチを融合させ、見ることと推論することの両方ができる「ニューロ・シンボリック」システムを作り出そうと試みてきた。課題は、複雑な知識を記述するために使用される最も強力な論理言語が、ニューラルネットワークが学習に使用する数学的な言語へと翻訳することが非常に困難であることだった。

キング・アブドラ科学技術大学の研究チームは、特定の高度に複雑な論理システムに対して、この溝を橋渡しすることに成功した「Baobab」と呼ばれる新しい手法を開発した。彼らは、物事がどのように関連しているか、どれだけの数のものが存在し得るか、そしてカテゴリーがどのように重複するかといったルールを備えた、世界の詳細な論理的記述を取り込み、ニューラルネットワークが学習に利用できる構造へと変換するコンパイラを作成した。ルールを大幅に簡略化したり、あるいは完全に放棄したりしたこれまでの試みとは異なり、この手法は元のルールの全容としての複雑さを維持している。研究者たちは、ニューラルネットワークに手書き数字の画像を見せ、単に数字を特定するだけでなく、提供された一連の論理的ルールのみに基づいて、その数字が素数であるか偶数であるかといった隠れた論理的特性までも判別させることで、このシステムをテストした。システムは、画像自体にはそれらの特性に関する直接的な手がかりがない場合でも、高い精度でこれらの隠れた概念を識別することを学習した。

この成果の核心は、研究者が翻訳プロセスをどのように扱ったかにある。彼らは、概念が互いにどのように関連しているかについての記述の集合である論理的知識ベースを取り込み、それを特定の種類の回路図へとコンパイルした。この図はフィルターとして機能し、ニューラルネットワークが行った予測が論理的ルールに従って理にかなっているかどうかをチェックする。もしネットワークが、ある数字が「偶数かつ素数」であると予測した場合（これは数字の「2」においてのみ真である）、回路はその可能性を許可する。もしネットワークが「偶数かつ奇数」であると予測した場合、回路はその可能性を拒絶する。このチェックを数百万回繰り返すことで、システムは、画像自体にそれらの関係が明示的にラベル付けされていない場合でも、ニューラルネットワークが正しい論理的関係を学習するように導くことができる。研究者たちは、この翻訳が数学的に健全であることを証明した。つまり、回路が情報を失ったりエラーを導入したりすることなく、元の論理的ルールを正確に反映しているということである。

この研究における最も重要な発見の一つは、「推論のショートカット」として知られる、これらのハイブリッドシステムにおける一般的な問題に関するものである。機械に複数の正解があるタスクを与えられたとき、機械はしばしば、単一の答えを選び、他の答えを無視することで問題を解決しようとする、つまり論理システムを実質的にバイパスしてしまう。例えば、あるシーンに対して複数の異なる構成が許容されるルールがある場合、標準的なニューラルネットワークは単一の構成に固執してしまい、他の有効な構成が存在することを認識できないことがある。研究者たちは、彼らの新しい手法が、考え得るすべての有効な構成でネットワークに種をまく（シーディング）特定のテクニックと組み合わせることで、このショートカットを克服できることを発見した。単一の、潜在的に誤った答えに陥る代わりに、システムはすべての正しい可能性に対して確率分布を維持することを学習し、この種の複雑な論理において、これまでのどの手法も到達できなかったレベルの精度を達成した。

チームは、二つの異なるデータセットを用いて彼らのアプローチの威力を実証した。一つの実験では、MNISTデータセットの書き手による数字の画像を使用した。彼らは、ある数字が別の数字に続くとき、特定の関係が保持されなければならないという、数字が鎖状に繋がった論理システムを設定した。ニューラルネットワークには数字のペアが示されたが、実際の数字は教えられなかった。その代わりに、「一方が偶数であり、もう一方が素数である」といった少数の論理的な手がかりが与えられた。論理回路を通じて、ネットワークは数字の正確な正体を、ランダムな推測率の25パーセントから99パーセントへと上昇させながら、ほぼ完璧な精度で推論することを学習した。二つ目の実験では、同じ手法を合成されたピザの画像データセットに適用した。システムは、画像に見えるトッピングと、それらのカテゴリーを定義する論理的ルールに基づいて、「ベジタリアン」や「スパイシー」といったピザの隠れたカテゴリーを識別することを学習し、やはり論理回路を使用しないシステムを上回る性能を示した。

研究者たちはまた、彼らの手法が、生物医学データベースやセマンティック・ウェブで使用されるフルバージョンの複雑な論理言語とも機能することを示した。これらには、いくつのアイテムが接続され得るかというルールや、関係の方向性に関するルールが含まれている。ニューラルネットワークをこのレベルの複雑さに適用しようとした過去の試みは、ルールを意味を失うほど大幅に簡略化せざるを得なかった。しかし、Baobabは、簡略化することなく、その全容としての複雑さを扱った。チームは、形式的な証明システムを用いてコンパイラの正当性を検証した。これは、論理から回路への翻訳が欠陥のないものであることを保証する厳格な数学的チェックである。彼らは自らのシステムを既存の手法と比較し、彼らの実験で使用された論理ルールのかなりの部分が、より単純で表現力の低い形式の論理に制限されていた古い手法では扱えないものであることを発見した。

研究の重要な部分には、複数の正解が存在する問題への対処が含まれていた。多くの現実世界のシナリオでは、提供された情報だけでは唯一の解を決定するには不十分である。例えば、「ある人は男性または女性である」というルールがあり、「その人が異性と結婚している」ことが分かっている場合でも、夫婦の性別については依然として二つの有効な可能性がある。標準的なニューラルネットワークはここで失敗することが多く、恣意的に一つの可能性を選び、それを唯一の真実として扱う。研究者たちは、それぞれが有効な可能性に対応する異なる論理的経路の混合を使用することで、システムがすべての正しい答えを同時に表現できることを見出した。これにより、システムは各結果に対して較正された確率を提供することができ、データを無理に一つの結論に押し付けるのではなく、データの真の不確実性を反映させることができた。この能力は、診断の範囲を特定することと同じくらい、起こり得る診断を特定することが重要である医学のような分野において不可欠である。

研究はまた、このようなシステムの実際的な限界についても浮き彫りにした。この手法は強力であるが、問題の複雑さが増すにつれて論理回路のサイズは急速に増大する。ピザの全種類にわたるオントロジーを用いたあるテストにおいて、研究者たちは、完全なルールを回路にコンパイルするために、標準的なコンピュータで利用可能な以上のメモリが必要になることを発見し、最終的なトレーニングのためにルールの簡略化されたサブセットを使用することを余儀なくされた。これは、この手法が理論的には健全であり、多くの問題に対して効果的であるものの、最大かつ最も複雑な知識ベースへとスケールアップさせるには、さらなるエンジニアリングの進歩が必要であることを示唆している。それにもかかわらず、簡略化されたピザのデータセットと数字認識タスクへの成功的な適用は、このアプローチが現実世界のデータに対して実行可能であり、効果的であることを証明している。

この研究の含意は、単なる画像認識の向上にとどまらない。それは、科学的なデータベースに見られる豊かで構造化された知識を、ニューラルネットワークの学習プロセスに直接統合するための経路を提供している。これは、将来のAIシステムが、画像から学習すると同時に、生物学、化学、物理学の確立された厳格なルールに従うことができることを意味する。AIの予測が常に確立された科学的知識と一致することを保証することで、このアプローチは、エラーが深刻な結果をもたらし得る高リスクな分野において、より信頼性の高い、信頼できるAIへとつながる可能性がある。研究者たちは、コードとツールを公開しており、他の人々がこの基礎の上に構築し、論理と学習の統合がどこまで到達できるかを探求することを呼びかけている。

結局のところ、この研究は、パターン認識と論理的推論の間の溝を、どちらの強みも犠牲にすることなく埋めることができることを示している。複雑な論理的ルールをニューラルネットワークが処理できる形式へと翻訳することにより、研究者たちは、データからだけでなく、知識の構造そのものから学習するシステムを作り上げた。隠れた概念を復元し、推論のショートカットを回避し、現代の複雑な論理言語の全容を扱う能力は、観察している世界を真に理解する機械を構築するという探求における重要な一歩である。その結果は、適切なツールがあれば、人工知能が単にパターンを認識することを超えて、それらを支配する関係やルールについて真に推論できるようになることを示唆している。