Probabilistic Circuits as Reasoning Machines in Artificial Intelligence (Part I)
この累積的 habilitation 論文の第一部は、確率回路を不確実性下における AI の推論と学習のための扱いやすい枠組みとして提唱するものであり、その基礎理論、学習アルゴリズム、スケーラブルな実装、およびディープラーニングと記号的機械学習パラダイムとの統合に関する 10 年間の研究を統合したものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
思考する機械の構築を目指す中で、科学者たちは知性のための最良の言語について長年議論してきた。一方の陣営は、事実が絶対であり、結論が厳格な規則に従う硬直した論理を主張する。もう一方は、人間の脳のように、膨大なデータの中にあるパターンを見つけ出すことで学習するニューラルネットワークを支持している。しかし、不確実性を修正すべき欠陥としてではなく、世界の根本的な特徴として扱う、より古くからある第三の道が存在する。このアプローチは、確率という数学的枠組みに依拠しており、それはシステムに対して「確信はないが、異なる結果が生じる可能性はこれくらいである」と言わせることを可能にする。これは、リスク、天気の予測、あるいは医師が症状と診断を天秤にかける際の言語である。確率の力は、既知の情報と未知の情報を組み合わせ、新たな証拠が得られるたびに信念を更新できる能力にある。しかし、数十年にわたり、この優雅な言語を実用化することは困難であった。確率を用いた推論の規則自体は単純であるが、複雑な現実世界の問題に対して実際に計算を行うには、コンピュータが宇宙の年齢よりも長い時間を要するほどの、天文学的な数のステップを実行しなければならないことが多い。
グラーツ工科大学の研究者であるロベルト・ペハルツは、この計算上のボトルネックを解決するために、この10年間取り組んできた。彼の研究は、「確率回路（probabilistic circuit）」と呼ばれる特定のタイプのモデルに焦り、焦点を当てている。巨大で枝分かれした木を想像してほしい。そのすべての葉は単純な情報の断片を表し、すべての枝はこれらの断片を組み合わせて世界の完全な姿を形成する。標準的なモデルでは、特定のシナリオの尤度を計算するために、この木の中にあるあらゆる経路を辿る必要があり、その作業は木の成長に伴って指数関数的に困難になる。ペハルツの研究は、これらの枝がどのように接続するかについて、いくつかの厳格な構造的ルールを課すことで、計算全体を高速かつ正確にできることを示している。これらのルールは、モデルがすべての可能性を数えようとして立ち往生することを防ぐ。その代わりに、一連の症状から最も可能性の高い原因を予測したり、膨大なデータから特定の事象が発生する確率を決定したりといった複雑な問いに、即座に答えることができるようになる。
ペハルツの貢献の核心は、これらの回路が単なる新しい発明ではなく、既存の多くの手法を統一する言語であるという気づきにある。彼は、算術回路から和積ネットワーク（sum-product networks）に至るまで、様々なモデルが実際には同じ基礎的な構造の異なる名称であることを示している。これらを一つの結束した家族として扱うことで、彼は全般的に機能する標準的なツールセットを開発することができた。彼の主要な発見の一つは、これらの回路を「滑らか（smooth）」かつ「分解可能（decomposable）」に構築できることである。平易に言えば、このモデルは、未知の要因に依存する二つの情報を掛け合わせたり、異なる事実の集合をカバーする二つの異なる可能性を足し合わせたりしないように整理されている。これらの構造的な制約は、コンピュータの計算における交通管制システムの役割を果たし、交通渋滞を防ぎ、情報の流れが木の底部から頂部へとスムーズに進むことを保証する。
この組織化のおかげで、コンピュータは以前は困難すぎると考えられていたタスクを実行できる。例えば、ある状況の平均的な結果を算出したり、一連の観察結果に対する単一の最も確率の高い説明を見つけ出したりすることを、わずか数分の一秒で行うことができる。ペハルツはまた、これらの回路にデータから学習させる方法も開発した。彼は、モデルが推測に頼ることなく、データに最も適合するように内部の重みを自動的に調整できる手法を開発した。さらに、彼はこれらの回路を、他の強力ではあるが計算負荷の高い機械学習ツールと組み合わせることができることを証明した。確率回路を、問題の容易な部分を処理するための高速で信頼できるエンジンとして使い、より遅く複雑なモデルに困難な部分を任せることで、システム全体が強力かつ効率的になる。このハイブリッドなアプローチにより、研究者は正確であるだけでなく、その推論過程を説明できるモデルを構築することが可能になる。
この研究は、統計的学習と記号論理学の間の溝をも埋めるものである。ペハルツは、これらの回路が決定木（decision trees）――ルールに基づいて選択を行う古典的な手法――へと変換できることを示した。この繋がりにより、システムは欠損データを巧みに扱うことができる。もし情報の一部が欠けていても、回路はその枝を単に無視し、失敗することなく有効な回答を提供できる。彼はまた、これらのアイデアをサイバーセキュリティの分野にも適用し、物理的なサイドチャネル（電力消費など）を分析して秘密の暗号鍵を解明するために回路を用いた。これらのテストにおいて、回路ベースのアプローチは、従来の手法よりも有意に成功し、ノイズに対しても堅牢であった。
研究を通じて、ペハルツは、この分野における一般的な誤解、すなわち「計算しやすいモデル」と「複雑な現実を記述できるほど表現力豊かなモデル」のどちらかを選ばなければならないという考えに対処してきた。彼の結果は、これが誤った選択であることを示している。確率回路が特定の種類のデータをコンパクトに表現することには限界があるものの、多くの実用的なアプリケーションにおいて、これらのモデルはより複雑で手に負えない代替案と同等、あるいはそれ以上に優れていることを彼は示した。また、正規化されていない重みのような特定の機能を追加しても、モデルの能力は実際には向上しないことも明らかにしており、この知見はこれらのシステムの設計を簡素化するのに役立っている。
この研究の究極の目標は、スマートであるだけでなく、信頼でき、理解可能な人工知能を創り出すことである。確率の厳格な規則に基づき、計算を正確かつ迅速に行えるようにすることで、ペハルツの研究は、人間の専門家が持つような自信を持って不確実性の下で推論できる機械の基礎を提供する。このアプローチは、多くの現代的なAIシステムに見られる「ブラックボックス」的な性質を超え、結論がどのように導き出されたのかを正確に見通す方法を提示する。これらの手法がディープラーニングのフレームワークに統合され、他の技術と組み合わされることで、スピードや正確さを犠牲にすることなく、世界の混沌とした不確実な現実に立ち向かうことができる、より信頼性の高い人工知能の実現を約束するものである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。