💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

本論文は、確率的プログラムを利用して多様なオープンワールドのシナリオと分布的なソフトラベルを生成することで、大規模言語モデルの不確実な帰納的推論能力を大幅に向上させ、人間の判断との整合性を高める新しいファインチューニング手法である、Program-based Posterior Training (PPT) を導入するものである。

原著者： Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く博識な学生（大規模言語モデル、すなわちLLM）に、現実世界について推測する方法を教えようとしていると想像してください。

現在、これらの学生は**演繹的推論（deductive reasoning）**には非常に長けています。これは数学の問題を解いたり、コードを書いたりすることに似ています。そこには明確なルールが存在し、そのルールに従えば、ただ一つの、100%正しい答えに辿り着きます。もし間違えたとしても、それは明確なエラーとして識別されます。

しかし、現実世界はそれほど整然としていません。私たちの日常的な思考の多くは**帰納的推論（inductive reasoning）**です。これは、散らばったわずかな手がかりから何が起きたのかを突き止めようとする探偵のようなものです。

例：友人が遅刻して、疲れ切った様子で時計を何度も確認しているのを見たとします。あなたは「寝坊したのだろう」と推測します。しかし、もしかしたら渋滞に巻き込まれたのかもしれません？あるいはバスに乗り遅れたのかもしれません？そこには唯一の「正解」があるわけではなく、可能性の範囲があり、それぞれの結果には異なる程度の蓋然性（もっともらしさ）が存在します。

問題は、標準的な学習手法ではこれに対応するのが難しいという点です。あらゆる結果の正確な確率を知り尽くした教師が採点してくれるような、「探偵の事件簿」の膨大なライブラリを見つけることは困難です。他のAIモデルにこれらのケースを採点させることも、そのモデル自身が持つバイアスをそのままコピーしてしまうリスクがあるため、危険です。

解決策：「シミュレーション・ゲーム」（プログラムに基づく事後分布学習）

著者たちは、AIに不確実性を扱う方法を教えるための巧妙な手法を考案しました。彼らはこれを**プログラムに基づく事後分布学習（Program-based Posterior Training: PPT）**と呼んでいます。

これは、3つのステップからなるビデオゲームの制作パイプラインのようなものです。

ストーリーテラー（LLM）： まず、強力なAIに、独創的でオープンワールドなシナリオをたくさん発明させます。
- 例：「パワーリフティングの選手権を想像してください。選手のパフォーマンスは、生まれ持った筋力、その日の集中力、そしてどれだけ睡眠をとったかに左右されます」
数学者（確率的プログラム）： 次に、そのストーリーを厳密な数学的コード（「確率的プログラム」）へと翻訳させます。このコードは、完璧なシミュレーション・エンジンとして機能します。これは単に推測するのではなく、物語のルールに基づいたあらゆる結果の正確な数学的確率を計算します。
- 比喩： もしストーリーが「レシピ」であるなら、このステップは、材料に基づいてケーキがどのように膨らみ、どの程度の密度になり、どのくらいの確率で焦げてしまうかを正確にシミュレートするコンピュータ・プログラムを書くことに相当します。
教師（学習データ）： 最後に、そのシミュレーションを数千回実行します。学生に単一の答え（例：「ジャマルが勝つ」）を与えるのではなく、シミュレーションは答えの分布（例：「ジャマルが勝つ確率は60%、引き分けは30%、敗北は10%」）を与えます。

AIの学生は、これら数百万ものシミュレーション・シナリオを用いて学習します。一つの「正解」を暗記するのではなく、シミュレーションによって生成された**「確率の雲」の形**に一致するように学習していくのです。

これを試した結果はどうなったか？

研究者たちは、この新しい「学生」をいくつかの課題でテストしました。

より優れた推測： 未経験のスポーツやヘルスケアのシナリオにおける結果の予測を求められた際、AIはより正確な推定を行いました。単に数字を推測するのではなく、その数字の背後にある不確実性を理解していました。
人間のように考える： AIの推測を実際の人間の判断と比較したところ、この手法で学習したAIは、人間の思考様式と非常によく一致しました。AIは過剰な自信を持つことをやめ、慎重な人間の観察者のように振る舞うようになりました。
汎用性： スポーツからヘルスケアへとトピックを完全に切り替えてテストした場合でも、AIは良好なパフォーマンスを示しました。これは、AIが単にスポーツの事実を暗記したのではなく、「不確実性を伴って考える」という一般的なスキルを習得したことを示唆しています。
較正（キャリブレーション）： AIは「較正（キャリブレーション）」されるようになりました。これは、例えばAIが「ある事象が起こる確率は70%である」と言った場合、実際にそれが起こる頻度が約70%になることを意味します。論文では、この改善は深いレベルで行われていると指摘しています。それは単なる表面的なトリック（後からダイヤルを調整するようなこと）ではなく、モデルが不確実性を表現する方法における根本的な変化なのです。

結論

この論文は、AIを現実世界における推論に長けたものにするためには、単に事実をより多く詰め込むべきではないと主張しています。代わりに、AIに**「世界をシミュレートすること」**を教えるべきだというのです。AIに物語を作らせ、それらの物語を厳密な数学的シミュレーションへと変換し、そのシミュレーションの結果を用いて他のAIを訓練することで、私たちは現実世界の混沌とした、不確実で確率的な性質をより良く扱うことができるモデルを作り出すことができます。

彼らはこの特定の研究において、医療診断や法的助言についてテストしたわけではありません。彼らは、手法が機能することを証明するために、スポーツ、一般的なシナリオ、および特定のベンチマークに焦点を当てました。核心となる教訓は、**「確率的プログラムは完璧な教師として機能する」**ということであり、これによりAIは不確実性を扱う技術を学ぶことができるのです。

技術要約：LLMにおける帰納的推論のためのプログラムベース事後分布学習

問題提起

大規模言語モデル（LLM）は、決定論的かつ検証可能な数学やコーディングなどの演繹的推論タスクにおいて大きな成功を収めていますが、帰納的推論には苦戦しています。現実世界の帰納的問題は、疎で曖昧、かつノイズの多い観測から、不確実な潜在的信念を推論することを必要とします。

これらのタスクに対してLLMを訓練することには、主に2つの課題があります：

データの希少性： オープンワールドの帰納的推論のための高品質かつ大規模なラベル付きデータセットを収集することは困難です。人間の判断はコストが高くスケールさせるのが難しく、より強力なLLMを使用してラベルを生成することは、それらのモデルが持つバイアスやエラーを継承するリスクがあります。
分布的ターゲット： 帰納的推論は、単一の点推定ではなく、不確実性の表現（考えられる回答の分布）を必要とすることがよくあります。標準的なファインチューニング手法は、本質的に確率的なターゲットを扱うことが苦手です。

手法：プログラムベース事後分布学習 (Program-based Posterior Training: PPT)

著者らは、確率的プログラムを用いて、LLMのファインチューニングのためのスケーラブルで根拠のある教師信号を生成するパイプラインであるプログラムベース事後分布学習 (PPT) を提案しています。ワークフローは以下の3つの連続するステップで構成されます（図1に示されています）：

シナリオ合成： 強力なクローズドソースのLLMが、多様でオープンワールドな自然言語のシナリオと、それに関連するクエリを生成します。
確率的プログラム生成： LLMが各シナリオを、構造化された確率的プログラム（具体的にはPythonベースの確率的プログラミング言語であるPyro）へと変換します。このステップには以下が含まれます：
- 関連する潜在変数 ( $z$ )、観測値 ( $x$ )、およびクエリ変数 ( $y$ ) の特定。
- 生成モデル $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ のエンコード。
ターゲット生成： 生成された確率的プログラムを実行して確率的推論（MCMCまたは棄却サンプリングによる）を行い、事後分布 $p_\theta(y|x)$ を算出します。これが「正解」となる教師信号のターゲットとなります。

ファインチューニング戦略：
著者らは、生成された $(scenario, query, posterior)$ のタプルを用いて、低ランク適応（LoRA）によりオープンソースLLM（LLaMA-3-8B-Instruct および Qwen-2-7B-Instruct）をファインチューニングします。彼らは2つの監督形式を検討しています：

分布的ターゲット (PPT Distribution)： LLMが、プログラムから推論された分布に対するクロスエントロピー損失を用いて、回答トークン（例：整数0〜100）に対する離散化された事後確率を予測するように訓練されます。
点ターゲット (PPT Mean)： LLMは、事後平均（最も近い整数に丸められたもの）のみに対して訓練されます。

データセットは、スポーツ、ヘルスケア、および全般の3つのドメインにわたる10,000件以上のユニークなシナリオと59,000件以上のクエリで構成されています。

主な貢献

新しい学習パラダイム： 本論文は、オープンワールドの自然言語と精密な確率モデルを橋渡しすることで、決定論的な点推定による監督を超え、LLMを帰納的推論のためにファインチューニングする手法を導入しています。
スケーラブルなデータセット作成： 著者らは、モデル合成アーキテクチャ（MSA）を拡張した自動パイプラインを通じて、確率的に根拠付けられたラベルを持つ大規模な帰納的推論問題のデータセットを作成しました。
分布的監督の経験的検証： 本研究は、フルな事後分布に対してファインチューニングを行うことが、事後平均や強力なLLMを直接ラベル付けとして使用する場合と比較して、優れた結果をもたらすことを示しています。
較正手法との相補性： 本研究は、PPTが「生の」較正（モデルの内部的な不確実性表現）を改善し、事後的な温度スケーリング（Temperature Scaling）に取って代わるものではなく、それと相補的な関係にあることを示しています。

実験結果

1. ホールドアウト・シナリオにおける帰納的推論

精度： PPTでファインチューニングされたモデルは、未知の推論モチーフを持つホールドアウトのスポーツシナリオにおいて、ベースラインのLLMおよび強力なクローズドソースのベースライン（例：Gemini-3.1-Pro）を大幅に上回りました。事後平均の推定における平均絶対誤差（MAE）は大幅に減少しました。
不確実性の表現： 未較正で特異な確率質量（例：10の倍数への集中）を生み出すベースモデルとは異なり、PPTモデルは、正解の確率的プログラムの推論と密接に一致する回答分布を生成します。
人間との整合性： スポーツシナリオにおいて、PPTモデルは人間による判断との相関（ $R^2$ ）で0.775を達成し、ベースLLM（0.509）を上回り、元のMSAプログラム（0.769）に匹敵する性能を示しました。

2. ドメイン転移（領域外）

ヘルスケアシナリオ（ホールドアウトドメイン）において、スポーツデータでファインチューニングされたモデルは、ヘルスケアのトレーニングデータを一度も見ていないにもかかわらず、パフォーマンスの向上が見られました。これは、モデルが特定のドメインの事実を記憶しているのではなく、ドメイン汎用的な帰納的振る舞いを学習したことを示唆しています。
すべてのドメイン（スポーツ、ヘルスケア、全般）を混合して訓練することで、単一ドメインの訓練よりもさらなる改善が得られました。

3. 外部ベンチマークへの転移

著者らは、OpenEstimate (OE)、Bayesian Teaching (BT)、MMLU、TruthfulQA、HellaSwag、ARC-Challenge、Winograndeを含む7つの外部ベンチマークでの転移を評価しました。

較正： PPT (Distribution) は、すべての多肢選択式ベンチマークにおいて、ベースモデルと比較して期待較正誤差（ECE）および負の対数尤度（NLL）を一貫して減少させました。
相補性： PPTでファインチューニングされたモデルに事後的な温度スケーリング（TS）を適用すると、NLLとECEがさらに改善されました。これは、PPTがモデルの生の不確実性表現を変化させ、TSが信頼度のスケーリングを調整することを示しています。
精度： PPTは事前分布の抽出精度を向上させ（OpenEstimateにおけるMAEを減少）、いくつかのケースでは多肢選択タスクにおけるargmax予測の精度を向上させました。

4. アブレーション研究

分布 vs 平均： フルな分布に対してファインチューニングすること（PPT Distribution）は、すべての指標において事後平均に対してファインチューニングすること（PPT Mean）よりも一貫して優れた結果を示し、分布情報の重要性を浮き彫りにしました。
フォワードサンプリング vs 事後推論： フォワードサンプリングはより大きなデータセット作成を可能にしますが、フルな事後推論ターゲットで訓練されたモデルの方が、より優れた較正と転移性能を達成しました。

意義と主張

本論文は、確率的プログラムを介したファインチューニングが、LLMが近似的な帰納的推論を行うための有望なアプローチであることを主張しています。

不確実性の内部化： 結果は、PPTがモデルに不確実性を「深く内部化」させ、出力を事後的に再スケーリングするだけでなく、較正された信念を生成することを可能にすることを示唆しています。
スケーラブルな教師信号： このアプローチは、確率的プログラムがテスト時の推論ツールとしてだけでなく、複雑で不確実な推論タスクに関するLLMの訓練のための、スケーラブルで自動化された教師信号のソースとしても機能できることを示しています。
汎用性： この手法は、未知の推論構造（モチーフ）や全く新しいドメインへと正常に転移しており、これは表面的なパターンではなく、帰納的推論の根底にある論理を捉えていることを示唆しています。

著者らは、制限事項として、教師信号の品質はLLMが生成する確率的プログラムの忠実度に依存すること、および現在の評価がオープンエンドな推論ではなく、数値および多肢選択式のクエリに焦点を当てていることを認めています。しかし、このパイプラインが推定精度、人間との整合性、およびLLMの較正を効果的に改善すると結論付けています。