技術要約：動的方策勾配による離散潜在構造の生成モデリング

問題定義

本論文は、科学的分野において、間接的な観測値（$X$）から、組合せ爆発を起こす潜在的なメカニズム的状態（$S^*$）を推論するという課題に取り組んでいる。これは、人工的な潜在表現を学習する一般的な教師なし学習（クラスタリングやトピックモデルなど）とは異なり、化学反応経路、輸送ネットワーク、遺伝子アイソフォームといった「真の」メカニズム的状態を再構成することに焦点を当てている。

核心となる問題は、観測データ $X_{1:N}$ の尤度を最大化するように、生成分布 $Pr(S|\theta)$ のモデルパラメータ $\theta$ を見つける学習タスク（問題 2.1）として定式化される。ここで、$Pr(X|\theta) = \sum_{S} Pr(X|S)Pr(S|\theta)$ である。二次的な推論タスク（問題 2.2）は、各観測 $X_i$ に対する特定の潜在状態 $\hat{S}_i$ を推定することを含む。

古典的な手法である期待値最大化（EMアルゴリズム）は、指数関数的に巨大な状態空間における期待値を計算する必要があるため、ここでは困難に直面する。強化学習（RL）は構造化された状態の逐次生成に適しているが、標準的な方策勾配法は、間接的な観測の周辺尤度ではなく、定常的な報酬関数下での期待報酬を最適化するように設計されている。

手法：GReinSS

著者らは、間接的な観測の周辺尤度を最適化するために方策勾配を適応させたフレームワークである GReinSS（Generative Reinforcement Learning of Structured States）を導入する。

動的報酬リスケーリング

中心となる革新は、動的にリスケールされた報酬関数である。標準的なRLにおける方策勾配は $\mathbb{E}_{\tau}[r(\tau) \nabla_\theta \log Pr(\tau|\theta)]$ である。GReinSSでは、軌跡 $\tau$（潜在状態 $S(\tau)$ を生成するもの）に対する報酬 $r(\tau)$ を以下のように定義する：
$$r(\tau) = \sum_{i=1}^{N} \frac{Pr(X_i | \tau)}{Pr(X_i | \theta)}$$
ここで、$Pr(X_i | \theta) = \mathbb{E}_{\tau}[Pr(X_i | \tau)]$ である。

定理 3.1 は、この特定の報酬関数を用いることで、方策勾配がデータ対数尤度の勾配 $\nabla_\theta \log Pr(X_{1:N} | \theta)$ の不偏推定量になることを確立している。

• メカニズム: 分母の $Pr(X_i | \theta)$ が各観測の寄与をリスケールする。これにより、単一の高報酬な軌跡への崩壊（一つの観測の尤度は最大化するが他の観測には失敗する現象）を防ぎ、すべての観測に対して尤度のバランスを取るような分布 $Pr(S|\theta)$ を学習することを促す。
• 学習ループ: アルゴリズムは、軌跡のサンプリング、現在の $\theta$ に基づく動的報酬の計算、および勾配上昇法による $\theta$ の更新を交互に行う。

オフポリシー学習

特定の観測に対して非ゼロの尤度を与える軌跡の希薄さに対応するため、本論文ではオフポリシー・サンプリングを採用している。定理 3.3 は、最適な分散最小化オフポリシー提案分布として $q(\tau | X_{1:N}, \theta) = \frac{1}{N} \sum_{i=1}^N Pr(\tau | X_i, \theta)$ を特定している。正確なサンプリングはしばしば困難であるため、著者らは（観測の特徴に基づいたバイアス付きサンプリングなどの）ヒューリスティックを活用し、不偏な勾配推定を維持するために重要度サンプリングによる補正を組み合わせている。

ミニバッチ化

本フレームワークはミニバッチ化（系 3.2）をサポートしており、観測のサブセット $B \subset [N]$ 上で報酬を計算することで、大規模なデータセットへのスケーリングを可能にしている。

主な貢献

1. 定式化: 離散的な潜在状態の分布を間接的な観測から学習する問題を、方策最適化問題として定式化し、確率的モデリングと強化学習の間の溝を埋めた。
2. 理論的結合: 動的にスケールされた報酬を用いた方策勾配が、間接的な観測の周辺尤度の最大化と等価であることを理論的に証明した（定理 3.1）。これは、標準的なRLや変分推論（VI）の定式化では達成されていない結果である。
3. 汎用性: 類似の手法（がんの系統発生やコピー数変異への適用など）とは異なり、本研究は任意の離散構造（グラフ、集合、シーケンス）へと手順を一般化し、特定の条件下で既存の手法（GFlowNetsなど）との関連性を確立した。

実験結果

著者らは、シミュレーションおよび実世界のデータセットを用いて、ローカルサーチ、標準的な方策勾配、GFlowNets、およびVAE、自己回帰モデル、離散拡散モデルを用いたGEMベースの実装と比較してGReinSSを評価した。

1. シミュレーションによるプロセスグラフ推論

• タスク: ランダムウォークの終点から有向グラフを再構成する。
• 結果: GReinSSは一貫して最も高い中央値F1スコアを達成した。特に、観測あたりの情報量が少ない場合（$k=10$ のランダムウォーク）、G-ReinSSはF1スコア0.891を達成したが、すべてのベースライン（ナイーブな方策勾配やGFlowNetsを含む）は0.55を下回った。ナイーブな方策勾配のベースラインは、空のグラフを予測する方向に崩壊することが多く、動的報酬リスケーリングの必要性を浮き彫りにした。

2. シミュレーションによる部分集合推論

• タスク: ノイズを含む要素測定値から部分集合を再構成する。
• 結果: GReinSSは、ノイズレベル（$\sigma$）およびユニバースサイズ（$|U|$）の変化に関わらず、すべてのベースラインを上回った。
  • 小規模なユニバース（$|U|=10$）では、ほとんどの手法が良好な結果を示した。
  • 大規模なユニバース（$|U|=1000$）では、ベースライン（VAE、拡散、自己回帰）は崩壊した（中央値F1 < 0.4）が、GReinSSは0.938の中央値F1を維持した。
  • これらの結果は、他の生成モデルが失敗する大規模な組合せ空間に対しても、GReinSSが効果的にスケールすることを示している。

3. 実世界の応用：RNAアイソフォーム再構成

• タスク: ロングリード・シーケンシングのグラウンドトゥルースに対して検証された、ショートリード・シーケンシングデータ（GTExデータセット）からのRNAアイソフォーム構造と比率の推論。
• 比較: GTExプロジェクトで使用されている標準的なEMアルゴリズムであるRSEMと比較。
• 結果: GReinSSはRSEMを大幅に上回った。
  • 遺伝子 MBD2 において、RSEMは主要なアイソフォームの比率を18%と予測したが（真の値は96%）、誤ったマイナーアイソフォームも予測し、予測誤差は0.5374であった。一方、GReinSSは主要なアイソフォームに対して92%と予測し、誤差は0.0067であった。
  • 14,390個の遺伝子全体で、G-ReinSSは46.6%のケースでRSEMに対して $\ge 0.05$ のマージンで上回り、RSEMがG-ReinSSを上回ったのはわずか9.4%であった。中央値の誤差差は、G-ReinSSに有利な $-0.0405$ であった。

意義と主張

本論文は、GReinSSが組合せ空間における生成モデリングのための「原理的かつ実用的に効果的なアプローチ」であると主張している。その主な意義は以下の通りである：

• 困難性の克服: 正確なEMが指数関数的な複雑さのために実行不可能な潜在状態推論に対して、解決策を提供する。
• 標準的なRLに対する優位性: 動的な報酬リスカルリングなしでは、この文脈において標準的な方策勾配が失敗すること、およびGFlowNets（軌跡の確率のバランスを取るもの）が、報酬構造が観測尤度と完全に一致しない場合には不十分であることを示している。
• 実世界への影響: 生理学的なスプライシングへの適用において、実世界の生物学的データに対して広く使用されている標準（RSEM）を上回ったことは、本手法の有用性を検証している。

著者らは、現在のメソッドがオフポリシー・サンプリングにおいてヒューリスティックに依存しており、$Pr(X|S)$ が既知であることを前提としているものの、本フレームワークがQ学習、アクター・クリティック、および観測モデル自体の学習を含む将来的な拡張への基礎を提供することを述べている。