🤖 machine learning

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

本論文は、自己回帰言語モデリングにおける確率回路と大規模言語モデルの表現力の格差を特定・分析し、対数オッズ空間のパラメータ化と分解可能アーキテクチャが特定のボトルネックを緩和し得るものの、構造化分解可能確率回路の固定されたルーティング構造が、トランスフォーマーと比較して異質な依存トポロジーをモデル化する能力を本質的に制限することを明らかにする。

原著者： Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2 つの異なる種類のロボットに、文の次の単語を予測する方法を教えようとしていると想像してください。一方のロボットは、現代のチャットボットを支えているような**大規模言語モデル（LLM）です。もう一方は、数学的に「正直」であり、推測なしに正確な確率を計算できることで知られるモデルの一種である確率回路（PC）**です。

長らく、言語タスクにおいては LLM ロボットが勝利し続けてきましたが、PC ロボットは苦戦してきました。この論文は問いかけます：「なぜ PC ロボットは、理論的には非常に強力であるにもかかわらず、言語処理においてこれほどまでに劣るのか？」

著者たちは、PC ロボットが「愚か」だから失敗しているわけではないことを発見しました。失敗しているのは、その思考と言語生成の仕組みにおける 2 つの特定のボトルネック（交通渋滞）によるものです。

1. 「出力ボトルネック」：塗料ミキサー対レーザープリンター

LLM をレーザープリンターだと考えてみてください。LLM は次に言う単語を決める際、辞書内のすべての可能な単語に対して「スコア」（ログオッズ）のリストを出力します。スコアが奇妙な数値であっても気にせず、そのまま出力し、最終的なフィルター（Softmax）がそれらを鮮明で明確な画像に変換します。これにより、1 つの単語が鮮明に浮かび上がり、残りは霞んで見えます。これは、文脈が通常、非常に特定の 1 つの単語を指し示す言語には完璧な仕組みです。

一方、PC ロボットは塗料ミキサーのように振る舞います。これは、いくつかの事前に作られた「基本色」（確率分布）を混ぜ合わせることで、次の単語を生成しようとします。

問題点: 非常に鮮明で特定の色（単一の単語を表す鮮やかな赤など）が必要な場合、バケツの中でいくつかのベース塗料を混ぜ合わせると、しばしば濁ったぼんやりとした色になってしまいます。他のものを単に平均化しただけでは、「鮮明な」分布を作ることは容易ではありません。
解決策: この論文は、PC ロボットがバケツの中で塗料を混ぜるのをやめ、代わりにレーザープリンターのように「スコア」を出力する（「確率空間」ではなく「ログオッズ空間」で動作する）ようにすれば、言語処理能力が劇的に向上することを示しています。これにより、格差は大幅に縮小します。

2. 「文脈ボトルネック」：固定された鉄道線路対動的な道路

これがより大きな問題です。ロボットが現在の単語を理解するために、前の単語を振り返る必要があると想像してください。

LLM（動的な道路）: LLM は「自己注意（Self-Attention）」と呼ばれるメカニズムを使用します。これは、文内の任意の 2 点を、どれだけ離れていようと瞬時に接続する新しい道路を描き出す GPS のようなものです。もし文が「The cat sat on the mat（猫はマットの上に座った）」であれば、LLM は「cat」と「mat」の間に 50 語の単語が挟まれていても、瞬時にその 2 つを結ぶ道路を描くことができます。文が実際に必要とするものに基づいて、接続を適応させます。
PC（固定された鉄道線路）: PC ロボットは、vtree（固定された木構造図）と呼ばれる硬直的な構造の上に構築されています。これは、列車が走る前に線路が永久に敷き詰められている鉄道システムのようなものです。
- 文の構造が線路と一致する場合（例えば、局所的な単語がその直近の隣接単語に接続される場合）、PC はスムーズに動作し、LLM とほぼ同等の性能を発揮します。
- 問題点: 文が、線路がサポートしていない接続（例えば、特定の方法で最初の単語と最後の単語を接続する場合）を必要とする場合、PC は立ち往生します。経路変更ができません。それは、間違った方向に進む鉄道線路の上を車で走らせようとするようなものです。

この論文は、PC は理論的には複雑な接続を処理できるが、それは「鉄道線路」がたまたまその特定の文に完璧に合うように敷き詰められている場合に限られることを証明しています。実際の言語はごちゃごちゃしており、構造を絶えず変化させるため、PC の固定された線路は重大なハンディキャップとなっています。

「スーパー PC」のアイデア

著者たちはまた、「スーパー PC」というアイデアもテストしました。もし PC ロボットに複数の線路セットを持ち、各文に対して最適なものを一つ選べるようにしたらどうなるでしょうか？

理論: 数学的には、この「柔軟な」バージョンの PC は、硬直的なバージョンよりも厳密に強力です。
現実: 単純な人工的なテストではうまく機能しますが、実世界のデータでこれらの柔軟なモデルを訓練するのは非常に困難です。この論文は結論として、これらをより強力にする「方法」は分かっているものの、それらを効果的に学習させる最良の方法はまだ見つかっていないと述べています。

まとめ

この論文は、確率回路が「壊れている」のではなく、言語に対してミスマッチしているだけであると結論付けています：

スコアを印刷する代わりに塗料を混ぜている: 予測の出力方法を変えるだけで、大きな改善が見られます。
固定された線路に立ち往生している: LLM のように動的に単語を接続できないため、文の構造が複雑になると性能が低下します。

もし「塗料を混ぜる」問題を解決し、柔軟な「線路切り替え」モデルを訓練する方法を見出せれば、PC は言語タスクにおいて LLM に追いつきつつ、正確な数学計算を行うという独自の能力を維持できるかもしれません。

技術的概要：確率回路の表現性の境界

問題定義

確率回路（PCs）は、正確かつ効率的な確率推論（例えば、周辺化や条件付け）を支援する能力によって区別される深層生成モデルのクラスである。この理論的利点にもかかわらず、PCs は自己回帰的な言語モデル化タスクにおいて、Transformer ベースの大規模言語モデル（LLMs）に比べて著しく劣っている。先行研究では、PC の表現性を単独で分析するか、あるいは計算可能なファミリー内の部分クラスを比較してきたが、計算可能な PCs と支配的なニューラル系列モデルとの間の性能差の根本原因は依然として不明である。本論文は、言語モデル化に適用される際の PCs の表現性を制限する構造的なボトルネックを特定することを目的としている。

手法

著者らは、PCs と LLMs の間の直接的な一対一比較を可能にする統合された自己回帰フレームワークを確立した。両方のモデルクラスは、接頭辞 $x_{<t}$ を次のトークン $X_t$ の予測パラメータ $\theta_t$ にマッピングする、文脈条件付きエンコーダとして定式化されている。

分析は、表現性のギャップを 2 つの構造的ボトルネックに分解する：

出力ボトルネック: 内部表現が語彙分布へどのように変換されるかを調査する。LLMs はロジット空間（softmax によって正規化された制約のないベクトル）で動作するのに対し、標準的な PCs は確率空間（基底分布の凸結合）で動作する。
文脈エンコーディングボトルネック: 文脈変数にわたる情報を融合するエンコーダの容量を分析する。LLMs は動的な自己注意を使用するのに対し、構造化分解可能な PCs は、変数のスコープ分割を支配するvtree（バイナリ木）によって定義された固定されたルーティング構造に依存する。

本研究は、理論的証明（複雑さの尺度として分離ランクを使用）と制御された実証実験の組み合わせを採用している。実験には以下が含まれる：

標準的な隠れマルコフモデル（HMM、PC の部分クラス）と Transformers を、修正された変種と比較すること：Logit-HMM（ロジット空間出力を持つ PCs）とProb-Transformer（確率空間出力を持つ Transformers）。
依存関係トポロジー（局所的 vs 帰納的スタイル）を操作した合成データセットと、実世界のベンチマーク（Penn Treebank、WikiText-103、UD-ATIS）における性能の評価。
固定ルーティングの影響を評価するために、構造化分解可能性を一般的な分解可能性に緩和するテスト。

主要な貢献と結果

1. 出力の不一致

本論文は、出力パラメータ化の幾何学的ドメインが性能に著しく影響することを示している。

発見: 自然言語分布はしばしば鋭い（エントロピーが低い）。これらを確率空間における凸結合として表現すること（標準的な PCs）は、ロジット空間における制約のない線形写像（Transformers）よりも厳格な幾何学的制約を課す。
証拠: 制御された実験において、Logit-HMM（ロジット空間出力を使用する PCs）は標準的な HMM を大幅に上回り、Transformers とのギャップを縮小した。逆に、Transformer に確率空間出力を使用させること（Prob-Transformer）は、その性能を低下させた。
結論: PCs に対してロジット空間パラメータ化を採用することは表現性のギャップを大幅に縮小し、標準的な確率空間の制約が主要なボトルネックであることを示唆している。

2. ルーティングの不一致（文脈エンコーディング）

本論文は、分離ランクを用いた構造化分解可能な PCs が依存関係を捉える能力を分析する。

理論的結果（定理 1）: 構造化分解可能な PCs は、Transformers の分離ランクに一致できるが、それは回路の固定されたvtreeと整合する変数の分割に対してのみである。
実証的証拠: 合成データセットにおいて、PC のvtreeレイアウトがデータの依存関係トポロジー（例えば、局所的 vs 帰納的）と一致する場合、PC は Transformer レベルの性能を達成する。しかし、レイアウトが不一致の場合、性能は著しく低下する。
一般化: この制限は PCs 固有のものではない。固定された注意マスクを使用する Transformers（固定ルーティングをシミュレート）も、単一の固定構造が局所的および長距離の依存関係を同時に捉えることができない混合トポロジーデータに対して失敗する。
結論: 固定されたルーティング構造の硬直性は、異質な依存関係トポロジーを持つデータに対する根本的なボトルネックである。

3. 構造化分解可能性の緩和

著者らは、構造化分解可能なPCs（固定vtree）から一般的な分解可能なPCs（柔軟なルーティング）へ移行することで、この問題が解決されるかどうかを調査した。

理論的結果（定理 2）: 分解可能な PCs は構造化分解可能なものよりも厳密に表現力が高い。多項式サイズの分解可能な PCs で表現可能な関数の中には、構造化分解可能な形式では指数関数的なサイズを必要とするものが存在する。
実証的現実: 複数の構造化コンポーネントを融合すること（専門家の混合）は合成データでの性能を向上させるが、実世界のデータセット（PTB、UD-ATIS）ではその利益は減少する。
結論: 理論的な表現性のギャップは明確であるが、実世界の分布においてこの優位性を活用するために、分解可能な PCs を効果的に最適化し構築することは、依然として未解決の課題である。

意義と主張

本論文は、PCs と LLMs の間の表現性のギャップを単一の失敗としてではなく、2 つの特定の構造的な不一致への分解として特徴づけることを主張している：

出力空間: 確率空間の凸結合対ロジット空間の射影という制約。
ルーティングの柔軟性: 固定されたvtree構造の制限対動的で入力依存のルーティング。

著者らは、これらの発見が将来の研究への具体的な方向性を提供すると主張している：

鋭い分布をよりよくモデル化するために、確率空間の凸結合を超えた出力パラメータ化（例えば、ロジット空間）の探求。
固定ルーティングのボトルネックを克服するために、より広範なクラスの分解可能な PCs を効果的に最適化できる学習アルゴリズムの開発。

本論文は、「文脈エンコーディングボトルネック」に関して控えめな立場を維持しており、理論的限界は確立されているものの、複雑な実世界の分布における分解可能な PC の利点の実用的な実現は、まだ完全に達成されていないと指摘している。分析は主に、制御されたトポロジーを持つ合成データセットと標準的な言語モデル化ベンチマークで検証されており、分離ランクの結果は最悪の場合の表現性のギャップを特徴づけるものであることを認めている。