技術要約：大規模言語ギブスによる構造化推論

問題提起

大規模言語モデル（LLM）は、ラベルの割り当て、表形式のレコード、組合せ対象などの構造化されたオブジェクトに対する分布を表現するために、ますます活用されるようになっている。しかし、LLMにエンコードされた知識を構造化された確率推論のために活用することには、大きな課題が存在する。標準的なアプローチであるシングルパスの自己回帰的デコーディングによる構造化オブジェクトの生成は、順序依存のバイアス（例：近接効果やコンテキスト無視）を導入し、意図した結合分布を歪めてしまう。さらに、LLMは、独立して、あるいはバッチでサンプルを生成する場合、単純な分布（例：一様分布やガウス分布）から正しくサンプリングできないことが多く、高いバイアスまたは高い自己相関を示す。核心となる問題は、個々の変数に対するLLMの条件付き信念を活用して、固定された生成順序によるアーティファクトなしに、より多くの情報を抽出し、一貫した結合サンプルをどのように生成するかである。

手法：大規模言語ギブス（Large Language Gibbs）

著者らは、LLMの条件付き分布をギブスサンプリング・スキーム内の遷移演算子として扱う、構造化確率推論のためのフレームワークである**大規模言語ギブス（Large Language Gibbs）**を提案している。オブジェクト全体を一度のパスで生成する代わりに、この手法は、他のすべての変数の現在の値に条件付けられた個々の変数を反復的に再サンプリングする。

コアメカニズム

このアプローチは、状態が変数集合 $X = (X_1, \dots, X_n)$ であるマルコフ連鎖を定義する。各ステップにおいて、変数 $X_i$ が選択され、LLMから導出された近似条件付き分布 $q_i(X_i | X_{-i})$ から再サンプリングされる。

1. 基本的な大規模言語ギブス (Section 3.1):
再サンプリングカーネル $q^{LM}_i(X_i | X_{-i})$ を定義するために、この手法は、自己回帰型LLMが特定のシーケンス順序に対してのみ次トークンの確率を提供するという事実に着目する。著者らは、残りの変数のランダムな置換の下での自己回帰カーネルの期待値として、カーネルを定義することを提案する：
$$q^{LM}_i(X_i | X_{-i}) \triangleq \mathbb{E}_{\sigma_{-i}} \left[ p_{LM}(X_i | \text{seq}(X_{-i}, \sigma_{-i}) \oplus [c_i]) \right]$$
ここで、$\sigma_{-i}$ は他の変数をシャッフルするランダムな全単射であり、$c_i$ は $X_i$ を記述する自然言語のコンテキストである。このランダムなシャッフルは、順序依存のバイアスを取り除き、すべてのローカルな条件付き分布の妥協点を反映する定常分布を目指すものである。

2. 識別的カーネル (Section 3.2):
LLMは（特に強化学習による微調整後において）生成よりも識別において優れている可能性があることを認識し、著者らは、LLMの識別的な出力を使用して候補を採択または拒絶する2つのバリアントを導入している：

• バーカー・ギブス (Barker Gibbs): 現在の値と候補値の間の選択にLLMを使用する。LLMがバーカーの規則に従って較正されている場合、定常分布は保持される。
• ギャンブリング・ギブス (Gambling Gibbs): 受理の決定を「賭け」としてフレーム化する。LLMに対し、候補が現在の値よりも妥当であることに賭けるかどうかを問う。これにより、較正された確率に頼るのではなく、貪欲なデコーディング（決定論的な閾値判断）を使用することが可能になる。

3. 実用的なバリアント (Section 3.3):
このフレームワークは、収束を改善するか、あるいは局所的なモードから脱出するために、スイーピング・ギブス (Sweeping Gibbs)（固定された順序で変数を循環させる）およびブロック・ギブス (Block Gibbs)（$B > 1$ 個の変数のセットを同時に再サンプリングする）をサポートしている。

主な貢献

1. 新しい推論スキーム: 本論文は、LLMを構造化確率推論のための遷移演算子へと変貌させる手法である大規模言語ギブスを紹介し、シングルパスの自己回帰的生成を超えたものを提供する。
2. 理論的分析: 著者らは、ギブス連鎖の一意な定常分布の存在を確立する理論的枠組みを提供する。彼らは、ランダムなシャッフルが順序バイアスを取り除くために不可欠であることを示し、定常分布がLLMの対称化された結合分布に対応するという十分条件（仮定3.1）を特定している。
3. アルゴリズムのバリアント: 生成確率が較正されていないシナリオにおいて、LLMの識別能力を活用する代替案として、バーカーおよびギャンブリング・ギブス・カーネルを提案している。
4. 実証的検証: 本手法は、以下の3つの異なる領域に適用されている：
   • 合成分布: 一様分布およびガウス分布からのサンプリング。
   • 一貫した推論: 関連する質問のセット（TruthfulQA, GSM8K）を解き、一貫した回答を見つける。
   • ベイズ構造学習: LLMによって生成された合成データを用いて、因果グラフ発見のための事前分布に情報を与える。

結果

実験により、大規模言語ギブスが標準的なLLMサンプリングの限界を効果的に緩和していることが示された。

• 単純な分布: 合成タスク（一様およびガウス）において、独立サンプリングは高いバイアスを示し、バッチサンプリングは高い自己相関を示した。ギブスサンプリングはこれら両方の問題を大幅に修正し、ベースライン手法よりも低いバイアスと低い自己相関を持つサンプルを生成した。
• 一貫した推論: TruthfulQAおよびGSM8K-Verificationにおいて、ギブスサンプリングによる反復的な条件付き更新は、ゼロショット、シングルパスの自己回帰的生成、さらには内部一貫性最大化（ICM）ベースラインをも上回った。これらの結果は、再サンプリング中に変数をシャッフルすることが、関連する質問間の一貫性を高めることを示唆している。
• ベイズ構造学習: 世界知識に基づいた事前分布を定義するために合成データ（$D_{LLM}$）を使用した場合、大規模言語ギブスは、一様事前分布や直接的な自己回帰サンプリングと比較して、実データセットにおける構造学習の性能（期待構造ハンミング距離およびAUROCで測定）を向上させた。この手法は、メタデータを活用して因果構造を曖昧化することに成功した。

意義と主張

本論文は、LLMの条件付き分布をMCMCフレームワーク内で使用することが、構造化確率推論のための実用的な代替案であると主張している。著者らは、このアプローチが、自己回帰的生成が許容する以上に、モデルの内部的な信念からより多くの情報を抽出することを可能にすると述べている。

その意義は、「ノイズの多い」LLMの条件付き分布を扱うための、原理的な確率的枠組みを提供することにある。変数の順序を反復的に再サンプリングし、平均化することで、この手法はローカルな条件付き分布の妥協点を表す定常分布を生成し、特定の生成順序によるバイアスを効果的に除去する。著者らは、これをLLMを確率プログラム内の事前分布として扱うためのステップとして位置づけている。特に、複数の変数や推論ステップにわたる一貫性を必要とするタスクにおいて重要である。

論文は、本手法がシングルパス生成よりも計算量を必要とすること、および計算上の制約から現在は比較的規模の小さいモデル（32Bパラメータまで）に限定されていることを認め、限界については控えめな記述にとどめている。また、結果の質は、LLMに提供されるメタデータの情報量に大きく依存することも認めている。