🤖 machine learning

Variational Learning for Insertion-based Generation

本論文は、挿入軌跡と置換の間の全単射を通じてデータ駆動型の挿入順序を学習することにより、標準的な左から右への構造を持たない領域におけるモデリングの品質と汎化性能を向上させ、可変長かつ非単調なシーケンス生成を可能にする変分学習フレームワークである挿入プロセス（Insertion Process: IP）を導入するものである。

原著者： Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

レゴのお城を作るという複雑な作業を想像してみてください。

旧来の手法（自己回帰モデル）:
現在のほとんどのAIモデルは、厳格な建設作業員のように、左から右へとしか動けません。最初のブロックを置き、次に2番目、3番目と置いていきます。もし途中で壁の中央に塔が必要だと気づいても、そこにブロックを差し込むことはできません。一度すべて壊して最初からやり直すか、既存の壁の上に無理やり塔を積み上げようとするしかありません。これは、しばしば不安定でグラグラした出来栄しにつながります。単純な文章にはこれで十分ですが、「中間の構造」が「終わりの部分」に依存するような複雑な構造においては苦戦します。

現在の「柔軟な」モデルが抱える問題:
科学者たちは、「マスク付き拡散（masked diffusion）」モデルを用いてこれを修正しようと試みました。これは、あらかじめ決められた数の空のレゴのスロット（固定されたグリッド）を用意し、そこをランダムに埋めていく建設チームのようなものです。

欠点1: 彼らは固定された数のスロットに縛られています。小さな家を作りたいのか、巨大な摩天楼を作りたいのか、事前にサイズを予測しなければなりません。
欠点2: 彼らは、いつスロットを埋めるかについてはあまり気にしません。屋根を基礎より先に作ったり、煙突を壁より先に作ったりすることもあります。これは柔軟ではありますが、非効率です。なぜなら、AIはあらゆる可能な建設順序に対して一貫性を保てるように学習しなければならず、それは非常に混乱を招く膨大なタスクだからです。

新しい解決策：「挿入プロセス（Insertion Process: IP）」
この論文の著者たちは、挿入プロセスと呼ばれる新しい構築方法を提案しています。これは、固定されたグリッドや「左から右へ」というルールに従わないマスター・ビルダーを想像してください。彼らには次のような魔法の能力があります：

半分完成した構造物を観察する。
次にどこにパーツを挿入するかを正確に決定する（例：「壁のちょうど真ん中に窓を入れよう」）。
そこに何のパーツを置くかを決定する。
いつ停止するかを決定する（例：「お城は完成だ、これ以上ブロックは必要ない」）。

このモデルは、タスクごとに最適な順序に従って構築することを学習します。強制的な順序を押し付けるのではなく、最適な方法を学ぶのです。

どのように実現したか（「魔法のトリック」）
難しいのは、この「最適な順序」を数学的に教え込むことでした。もし、ランダムな挿入箇所を推測させることで教えようとすれば、数学的な計算は複雑で不安定になります。

著者たちは、巧妙な数学的ショートカットを発見しました。彼らは、あらゆる可能な構築方法は、実は最終的なパーツの並べ替え（順列）の異なる一種に過ぎないということに気づいたのです。

比喩: トランプのデッキを想像してください。上から一枚ずつ配るのか、あるいは変なパターンでシャッフルして配るのかに関わらず、最終的な手札は同じです。「挿入プロセス」は、「成長していく山の中に挿入する」という複雑な行為を、クリーンで整理された「順列（最終的なカードの特定の並び順）」へと翻訳します。
この翻訳を行うことで、彼らは標準的で効率的な学習手法（変分推論）を用いて、目の前のデータに対してどの順序が最適であるかをAIに教えることができました。

何をテストしたのか
この新しいビルダーを、「左から右へ」というルールが通用しない2つの具体的な課題でテストしました。

経路計画（迷路）:
- タスク: AIは、特定のチェックポイントを経由しながら迷路の中を通る経路を生成しなければなりません。
- 結果: 旧来の「左から右へ」のビルダーは、経路の間の隙間を埋めるために簡単に戻ることができないため、行き詰まってしまいました。新しい挿入プロセスは、あちこちへ飛び回り、チェックポイント間の隙間を完璧に埋めることができました。それは最も難しい迷路のほぼ100%を解決しましたが、旧来の手法は惨敗しました。
分子設計（化学）:
- タスク: AIは、有効な化学文字列（SMILES）を生成しなければなりません。これらの文字列は、分子の地図のようなものです。有効な地図には、（リングを閉じるための括弧のように）対応する括弧や、離れた部分をつなぐ数字が必要です。
- 結果: 新しいモデルは、「スマート」な構築方法を学習しました。原子をランダムに追加するのではなく、まず「骨格」（リングや結合）を構築し、その後に原子を埋めていくことを学習したのです。
- なぜ重要か: これにより、AIは単に末尾にパーツを付け足すモデルよりも、はるかに優れた、有効でユニークかつ斬新な分子を作成できるようになりました。AIは、ルールを明示的に教えられなくても、化学の「文法」を学んだのです。

結論
この論文は、シーケンス（テキスト、計画、または化学式など）を生成するための、新しい方法を提示しています。それは、厳格な「最初から最後まで」という順序を強制しません。代わりに、必要な時に、必要な場所にパーツを挿入することを学習します。「挿入」を「順序付け」へと翻訳する巧妙な数学的トリックを用いることで、彼らは、従来のメソッドよりも複雑で長さの変動があるタスクをより巧みに扱うモデルを訓練することに成功しました。

技術要約：挿入ベースの生成のための変分学習

1. 問題設定

自己回帰的なシーケンスモデルは、通常、固定された左から右への順序でトークンを生成する。これは多くのタスクにおいて効果的であるが、この因数分解はすべてのデータ構造に固有のものではなく、生物学的配列設計、プログラム合成、構造化プランニングなど、出力の一部が将来のコンテキストに依存する場合がある実世界の生成問題とは、整合しない可能性がある。

既存の代替案、例えばマスク付き拡散モデル（非単調生成）は、固定長のグリッド上でマスクされた位置のサブセットを更新することによって柔軟性を提供する。しかし、これらのアプローチには主に2つの制限がある：

静的なキャンバス: これらは規定された固定長のグリッド上で動作するため、外部からの長さの指定が必要となり、可変長生成が間接的になる。
順序に対する無関心: それらの学習目的関数は、多くの可能な更新スケジュールを周辺化するか、あるいは暗黙的に仮定している。これにより、モデルは、たとえその一部のみがデータの基礎となる構造と一致していたとしても、階乗的な数の生成順序に対する条件付き確率を近似することを強いられる。

近年の研究では、これらの問題を個別に扱っている。挿入ベースのモデルは、任意の挿入を通じて可変長のシーケンスを可能にし、学習順序の手法は置換の分布を導入している。しかし、これらを組み合わせることは非自明である。なぜなら、挿入モデルにおいては、挿入位置は固定された座標ではなく、部分的なシーケンスと共に進化するため、生成順序と中間状態が密に結合しているからである。

2. 手法：挿入プロセス (IP)

著者らは、以下の事項を共同で学習する挿入プロセス (Insertion Process: IP) という確率的フレームワークを提案している：

どこに挿入するか: 挿入決定に関するデータ駆動型の選好（スロット選択）。
何を挿入するか: トークン分布。
いつ終了するか: 停止ルール（ポリシーベースまたは分類器ベース）。

2.1. 置換による再パラメータ化

核心となる理論的貢献は、挿入の軌跡とターゲットシーケンスのインデックスの置換との間の全単射な対応関係の定式化である。

課題: 挿入軌跡に対する直接的な変分推論は困難である。なぜなら、相対的なスロットインデックス ( $z_i$ ) は軌跡に依存するため、相対的なアクションの空間において安定した順序の事後分布を定義することが難しいためである。
解決策: 著者らは、シーケンス $y_L$ を生成するすべての有効な挿入軌跡を、ターゲットシーケンスのインデックスの一意な置換 $\sigma \in S_L$ （ここで $\sigma_i$ はステップ $i$ で埋められる要素のインデックス）へとマッピングする。
決定的マッピング: ステップ $i$ における相対的な挿入スロットは、置換のプレフィックス ( $\sigma_{\le i}$ ) の決定的な関数となる。具体的には、 $z_i = 1 + |\{j \in \sigma_{<i} : j < \sigma_i\}|$ である。
尤度の因数分解: この変数変換により、軌跡依存のアクションに関する周辺化が、置換の厳密な和へと変換され、データ尤度の厳密な再パラメータ化が可能になる：
$p(y_L) = \sum_{\sigma \in S_L} p(y_L, \sigma)$

2.2. 変分推論と学習

モデルを学習するために、著者らは生成順序（置換 $\sigma$ ）を潜在変数として扱い、データの対数尤度に対する証拠下界 (ELBO) を最大化する。

変分事後分布: 彼らは、プラケット・ルーチェ (Plackett-Luce: PL) モデルとしてパラメータ化された、償却変分事後分布 $q_\theta(\sigma | y_L)$ を導入する。
最適化: 潜在的な順序は離散的であるため、目的関数は微分不可能である。著者らは、以下の手法を用いて ELBO を最適化する：
- Gumbel-Top-k トリック: PL 分布から置換を効率的にサンプリングするため。
- Leave-One-Out を用いた REINFORCE (RLOO): 勾配を推定するため。
- 分散減少: 置換・軌跡構造を利用することで、次のインデックス $\sigma_i$ （固定されたプレフィックスに条件付けられたもの）に関する内部の期待値は、閉じた形式で厳密に評価でき、モンテカルロ推定量の分散を低減できる。

2.3. ネットワークアーキテクチャ

生成デコーダ: Transformer ベースのデコーダが、部分的なシーケンス（境界トークンで拡張されたもの）を処理して、文脈に応じた埋め込みを出力する。
- ロケーションヘッドは、埋め込みに基づいて、候補となる挿入スロット（終了アクションを含む）のスコアを算出する。
- コンテンツヘッドは、選択されたスロットに条件付けられたトークン分布を予測する。
推論エンコーダ: 双方向 Transformer エンコーダが、観測された完全なシーケンスを処理し、各グローバルインデックスに対するスコアを出力する。これらのスコアは、生成順序をサンプリングするためのプラケット・ルーチェ分布をパラメータ化する。

3. 主な貢献

可変長挿入のための確率的フレームワーク: 置換への全単射なマッピングを用いて、可変長シーケンスのための挿入順序を学習する最初のフレームワークであり、厳密な尤度再パラメータ化を可能にした。
置換周辺化された尤度: データ尤度が置換の和として表現できるという理論的導出を行い、潜在的な順序変数を用いた変分推論を容易にした。
効率的な学習アルゴリズム: 離散的で微分不可能な潜在的な順序を扱うために、プラケット・ルーチェモデル、Gumbel-Top-k サンプリング、および RLOO 勾配を用いた、分散減少型の学習手法を提供した。
ネイティブな可変長サポート: 固定キャンバスの拡散モデルとは異なり、IP は可変長の生成をネイティブにサポートし、データ駆動型の挿入順序の選好を学習する。

4. 実験結果

著者らは、目標条件付きプランニングと分子文字列生成の2つのドメインで IP を評価した。

4.1. 目標条件付きプランニング

ベンチマーク: メイズプランニング (Braided, Imperfect, Perfect) および Star Graph プランニング。
ベースライン: 固定順序 ARM (FO-ARM)、任意順序 ARM (AO-ARM)、マスク付き拡散モデル (MDM)、学習順序 ARM (LO-ARM)。
結果: IP はすべてのメイズファミリーおよびグラフベンチマークにおいて最先端の性能を達成した。
- Perfect Mazes (高度に制約された環境) では、FO-ARM は著しく性能が低下したが、IP は高い精度を維持した（例：Hard Perfect Mazes において、FO-ARM の 27.2% に対し、IP は 99.9% の精度を達成）。
- IP は、シーケンスおよびトークンの精度を大幅に向上させ、編集距離を減少させた。これは、長距離の制約を持つタスクにおいて、インスタンス固有の挿入順序を学習することが極めて重要であることを示している。

4.2. 分子文字列 (SMILES) 生成

ベンチマーク: GuacaMol 無条件および条件付き生成。
結果:
- 妥当性と新規性: IP は高い妥当性 (97.2–97.4%) と最高の新規性 (~95%) を達成し、ランダム順序挿入 (AO-IP) が妥当性 88.2% に低下したのと対照的に、全てのモデルの中で最も優れた結果を示した。これは、IP が化学的な構文規則を正常に内面化していることを示唆している。
- 分布的指標: 分布の類似性 (KL ダイバージェンス, FCD) に関しては FO-ARM がわずかに IP を上回ったが、IP は化学空間をより効果的に探索するという点で、より優れたトレードオフを提供した。
- 条件付き生成: 固定された断片の間に挿入を行うタスク（リンカー設計など）において、IP は ~100% の妥当性を維持したが、固定順序モデルはこのような制約に苦慮する。
解釈可能性: 学習された挿入スケジュールの分析により、解釈可能で一貫した生成順序が明らかになった：(1) 分子骨格（環や括弧）の構築、(2) 原子の挿入、(3) 終了。これは、明示的な文法的な事前知識なしに実現された。

5. 意義と主張

本論文は、標準的な左から右への構造を持たない領域において、データ依存の挿入順序を学習することが、モデリングの質と汎化性能を大幅に向上させることを主張している。挿入の軌跡と置換との接続を定式化することにより、著者らは、挿入ベースのモデルを学習するための、扱いやすく偏りのない変分手法を提供している。

著者らは、自身の研究を、生成順序が曖昧または非線形である領域における生成モデリングへの一歩として位置づけている。彼らは、将来的な研究として、この手法をタンパク質設計などの他の領域に適用できる可能性があることを明示している。論文は控えめなトーンを維持しており、IP が複雑な構造タスクにおいて汎化性能や妥当性を向上させる一方で、単純な分布マッチング指標においては必ずしも固定順序モデルを凌駕するわけではないことを指摘し、柔軟性と厳密な分布忠実度の間のトレードオフを強調している。