技術的概要：離散拡散言語モデルのための証拠に関する接線上界（TUBE）

問題提起

対数尤度は、生成モデルの分布適合度を評価するための標準的な指標である。自己回帰モデル（ARM）は固定された分解により正確な対数尤度の計算を可能にするのに対し、離散拡散モデル（特にマスク拡散モデル、MDM）や任意順序自己回帰モデル（AO-ARM）は一般的にそれを可能にしない。これらのモデルは、生成順序（またはマスク解除の軌道）の潜在空間上で平均化することでデータ分布を定義しており、周辺尤度を解析的に計算することは困難である。

したがって、これらのモデルの評価は証拠の下界（ELBO）に依存している。しかし、ELBO は下界を提供するに過ぎず、その下界と真の対数尤度の間のギャップの大きさは不明である。この曖昧さにより、ARM と拡散ベースのモデル間の厳密な比較が妨げられている。なぜなら、観測された性能の差がモデルアーキテクチャによるものなのか、それとも単に ELBO 近似の緩さによるものなのか、明確ではないからである。既存の上界推定量（CUBO、TVO、IS-VG-B など）は、有限サンプルのモンテカルロ推定に適用される際にバイアスを被ることが多く、実際には真の上界を保証できない。

手法：証拠に関する接線上界（TUBE）

著者は、不偏なモンテカルロ推定量を許容する対数尤度の変分上界である**証拠に関する接線上界（TUBE）**を提案する。

理論的基盤

この手法は、対数関数の凹性に依存している。点 $b$ における接線近似を用いると、すべての $a, b > 0$ に対して不等式 $\log a \leq \log b + \frac{a-b}{b}$ が成り立つ。
真の尤度 $p(x)$ を $a$ とし、計算可能な代理関数 $\psi(x)$ を $b$ とみなすことで、著者は以下の上限を導出する：
$$\log p(x) \leq \text{TUBE}_\psi(x) := \log \psi(x) + \frac{p(x) - \psi(x)}{\psi(x)}$$
等号は $\psi(x) = p(x)$ の場合のみ成り立つ。

不偏推定

TUBE の重要な貢献は、尤度項 $p(x)$ に対する線形性にある。$p(x) = \mathbb{E}_\pi[p(x|\pi)]$ となる潜在変数モデルにおいて、項 $p(x)$ は TUBE の式において線形に現れる。これにより、不偏なモンテカルロ推定量を構成できる：
$$\widehat{\text{TUBE}}_{\psi, K}(x) = \log \psi(x) + \frac{\hat{p}_{\text{model}, K}(x) - \psi(x)}{\psi(x)}$$
ここで、$\hat{p}_{\text{model}, K}(x)$ は $p(x|\pi)$ の $K$ 個のサンプルの標準的なモンテカルロ平均である。モンテカルロ平均に非線形関数（対数など）を適用することでジェンセンの不等式によるバイアスを導入する他の上界（CUBO など）とは異なり、TUBE のアフィン構造は期待値において上限の方向性を保持する。

代理関数の構築（$\psi$）

上限の tightness（厳密さ）は、代理関数 $\psi(x)$ が真の $p(x)$ にどの程度近いかによって決まる。本論文では 2 つの戦略を提案する：

1. 正確な尤度代理関数：同じデータで訓練された（または拡散モデルからの合成データで微調整された）ARM を $\psi$ として使用する。
2. 自己代理関数：複数のランダムな順序 $\pi$ に対して条件付き尤度 $p(x|\pi)$ を平均化する。これは、モデルの最適点において条件付き尤度は完全な周辺尤度に近づくという事実を利用する。

両側局所化

標準的な ELBO（下界）と TUBE（上界）を組み合わせることで、真の対数尤度に対する両側局所化が得られる：
$$\text{ELBO}(x) \leq \log p(x) \leq \text{TUBE}_\psi(x)$$

主要な貢献

1. 方法論的革新：離散拡散モデルおよび任意順序自己回帰モデルに対して、不偏かつ上限を保持するモンテカルロ推定量を許容する変分上界 TUBE を初めて導入した。
2. 実証的分析：事前学習済みのブロック AO-ARM とブロック MDM に TUBE を適用し、ARM ベースラインに対する尤度を厳密に評価した。
3. 評価の曖昧さの解消：ELBO のギャップの不確実性を超えて、真の対数尤度を局所化できる能力。

実験結果

著者は、OpenWebText (OWT) および LM1B データセットにおいて、ブロックサイズ $L' \in \{4, 8, 16\}$ のブロックモデル（BM）に対して本手法を評価した。

• 厳密さ：TUBE は、競合する推定量（CUBO、TVO、IS-VG-B）と比較して、一貫してパープレキシティ（PPL）に対する最も厳密な上界を提供した。特に、CUBO や他のバイアスのある推定量は、期待される上限関係（ELBO より低い値を生成するなど）を時折破るのに対し、TUBE は上限を維持した。
• 尤度ギャップ：実験により、明確な実証的な尤度ギャップが明らかになった。すべてのブロックサイズおよび生成レジーム（関数評価回数 NFE を変化させる）において、AO-ARM および MDM の真の対数尤度は、標準的な ARM ベースラインよりも厳密に低いことが判明した。
  • 例えば、ブロックサイズ $L'=4$ の OWT において、正確な ARM ベースラインは PPL 17.54 を達成したが、AO-ARM/MDM モデルは厳密に高い（悪い）PPL を達成し、NFE が増加してもギャップは縮小したが正のままであった。
• 代理関数の性能：複数の順序を平均化する「自己代理関数（$\psi_M$）」は、TUBE 推定量と真の尤度の間のギャップを埋めるための最も効果的な構築法であることが判明し、外部の ARM 代理関数を上回った。

意義と主張

本論文は、TUBE が離散拡散モデリングにおける根本的な評価のボトルネックを解決すると主張している。信頼できる上界を提供することで、MDM や AO-ARM におけるランダムな順序や並列生成の柔軟性にもかかわらず、テストされたモデルおよびデータセットにおいて、尤度の観点では ARM が依然として優位であることを示した。

著者は、この発見が ELBO のみの評価に内在する不確実性を排除する両側局所化から導かれたものであるため、頑健であると強調している。この研究は、拡散モデルが推論速度や生成品質において利点を提供する一方で、対数尤度で測定される分布適合度においては現在 ARM に劣後していることを示唆している。論文は、バイアスのある上限の曖昧さなしに、強化学習のための方策比推定や科学的生成モデリングなどのより厳密なダウンストリーム応用を可能にする信頼できる両側推定が可能であると結論付けている。