🤖 machine learning

x-Prediction Is All You Need:Training-Free Accelerated Generation via Endpoint Decodability

本論文は、標準的な確率パスに内在する $x_0$ 情報を利用してODEサンプリング中にクリーンなサンプルを早期にデコードすることで、再学習やアーキテクチャの変更を必要とせずに、様々な拡散モデルおよびフローマッチングモデルにおいてニューラル関数評価を20〜70%削減する、Truncated Jump Sampling（TJS）と呼ばれるエンドポイントデコーダビリティによる学習不要の加速生成手法を提案する。

原著者： Xin Peng, Ang Gao

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xin Peng, Ang Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題の核心：長く、遅い歩行

想像してみてください。あなたは、大理石の塊から美しい彫像を刻もうとしています。現在、画像生成AI（Stable Diffusionなど）は、非常に慎重で動きの遅い彫刻家のように動いています。

鮮明な画像を得るために、AIは純粋な静止ノイズ（テレビの砂嵐のようなもの）から始まり、その下にある絵を明らかにするために、一歩ずつ、少しずつ削り取っていきます。

従来の方法： 高品質な彫像を作るために、この彫刻家は完成させるまで30回から100回の小さな、丁寧なノミ打ち（ステップ）を必要とします。
コスト： 各ノミ打ちには、AIによる重い計算が必要です。これを100回繰り返すには、長い時間と膨大なコンピュータパワーを消費します。

新しいアイデア：「水晶玉」によるショートカット

この論文の著者たちは、AI自身の学習プロセスの中に隠された「秘密のトリック」を発見しました。彼らは、AIは単にノイズを削っていく方法を知っているだけでなく、プロセスのほぼすべての段階において、最終的な彫像がどのような姿をしているかを実際に知っているということに気づいたのです。

次のように考えてみてください。

標準的なプロセス： あなたは頂上に到達するために、暗く曲がりくねった山の道を登っています。頂上に着くまでに100歩の小さなステップを踏む必要があります。
論文の発見： ステップ20、ステップ40、あるいはステップ10の時点でも、AIは実は、頂上の完璧で鮮明な景色を見せる**「水晶玉」**を手に持っています。ただ、標準的な指示では、AIに対してその水晶玉を無視し、物理的に頂上に到達するまで歩き続けなさいと命じているだけなのです。

解決策：「Truncated Jump Sampling (TJS)」

著者たちは、Truncated Jump Sampling (TJS) と呼ばれる新しい戦略を提案しています。

AIに山の頂上まで100歩すべて歩かせる代わりに、TJSはこう命じます。

AIにほんの数ステップ（例えば20ステップ）だけ歩かせる。
そこで止まる。
AIが持っている水晶玉（エンドポイント・デコーダー）を見る。
その水晶玉に映っている画像へと、一気にジャンプする。

結果： 100ステップではなく、わずか20ステップで、ほぼ完璧な画像が得られます。時間の80%とエネルギーを節約でき、しかも見た目は元のプロセスとほとんど変わりません。

なぜこれが機能するのか（魔法の数学）

論文では、これが可能である理由として、主に2つのことを証明しています。

地図はすでに描かれている： AIは、あらゆる瞬間において最終的な画像を予測するように訓練されています。たとえ画像がまだ非常にぼやけている段階（プロセスの初期段階）であっても、AIの内部にある数学的構造には、鮮明な画像を即座に「デコード（復元）」するための十分な情報が含まれています。これは、たとえ渋滞に巻き込まれていても、出発した瞬間に目的地を知っているGPSを持っているようなものです。
道は真っ直ぐである必要はない： 従来の手法では、AIが大きなステップを踏めるように、山の道を完璧に真っ直ぐにしようとしてきました。しかし、この論文は、道が真っ直ぐである必要はないことを示しています。たとえ道が曲がりくねっていても、「水晶玉（デコーダー）」は機能します。あなたは途中で立ち止まり、道の曲がり具合に関わらず、ゴールへ向かってジャンプできるのです。

これがあなたにとって何を意味するか

再学習は不要： これは、ゼロから教え込む必要がある新しいAIモデルではありません。SDXLやSD3.5のような、人々がすでに持っているモデルに対して機能します。それは、新しい車を買うのではなく、すでに知っているドライバーに新しい指示を与えるようなものです。
無料のスピードアップ： 追加の学習も、追加の費用も、AIのアーキテクチャの変更も必要ありません。AIの世界における「無料のランチ（おあずけなしの恩恵）」です。
スイートスポット： ほとんどの画像において、プロセスの30%から70%程度まで進んだところで停止すれば、フルプロセスによる結果と区別がつかない結果を得ることができます。

「早すぎる」ことへの注意

論文では、もし停止するのが早すぎた場合（例えばステップ1や2）、水晶玉がまだぼやけすぎていて、はっきりと見えないという警告もあります。その場合、画像は漠然としたぼやけた塊になってしまいます。しかし、ある一定の閾値（複雑な画像の場合は通常ステップ10〜15あたり）を超えると、品質は急速に向上し、安全にゴールへジャンプできるようになります。

まとめ

論文のメッセージはこうです。「道のすべてを歩き通す必要はない。AIはすでに目的地を知っている。ただ、それを聞き出せばいいのだ」。

AIがすべてのステップにおいて、最終的な画像の答えをポケットの中に持っているという事実に気づくことで、私たちは退屈で遅い旅の大部分をスキップし、結果を即座に得ることができるのです。

技術要約: x-Prediction Is All You Need

問題提起

拡散モデルおよびフローマッチングモデルは、生成タスクにおいて最先端の性能を確立しているが、1サンプルあたり通常数十から数百のニューラル関数評価（NFE）を必要とする高い推論コストという課題を抱えている。既存の加速戦略（軌跡の整流化（Rectified Flow）、蒸留（漸進的、一貫性ベース、ブートストラップ）、および高度なODEソルバーなど）は、一般に学習レシピ、モデルアーキテクチャ、または軌跡そのものの変更を必要とする。その結果、これらの手法は、再学習コストをかけることなく既存の膨大な学習済みチェックポイント（例：SDXL, SD3.5M, FLUX）と互換性を持たせることが困難である。この分野には、モデルを「そのままの状態で」使用できる、学習フリーの加速戦略が欠けている。

手法: Truncated Jump Sampling (TJS)

本論文は、終端デコーダブル性（endpoint decodability）の概念に基づく、学習フリーの推論戦略であるTruncated Jump Sampling (TJS) を提案する。

コアとなる洞察: 終端デコーダブル性

著者らは、任意の非退化なアフィン確率パス（拡散およびフローマッチングモデルで定義される標準的な構造 $x_t = \alpha_t x_0 + \sigma_t \epsilon$ ）に対して、クリーンなサンプル $x_0$ は、任意の中間状態 $x_t$ とそのパスの速度 $u_t$ から閉形式のデコーダーを介して一意に復元可能であることを定式化した。

代数的復元: 位置と速度の結合線形システムが与えられたとき、 $x_0$ は $x_0 = (\sigma_t u_t - \dot{\sigma}_t x_t) / \Delta_t$ （ここで $\Delta_t$ はパスの行列式）として復元される。
最適性: 標準的な $\ell_2$ 学習目的関数の下では、この代数的なデコーダーは最小平均二乗誤差（MMSE）推定器 $E[x_0 | x_t]$ に対応する。これは、標準的な学習済みモデルが、たとえノイズや速度を予測するように訓練されていても、すべてのタイムステップにおいて暗黙的に終端 $x_0$ を予測するように学習していることを意味する。
曲率への独立性: 決定的なことに、この終端予測のエラーは、モデルの推定精度と状態 $x_t$ の不可避な不確実性にのみ依存し、軌跡の曲率（ $\|\ddot{x}_t\|$ ）には依存しない。これは、正確な数ステップ生成のために直線的な軌跡（Rectified Flowのような）が必要であるという、支配的な仮定に異を唱えるものである。

アルゴリズム

TJSは、ODE積分を途中の時刻 $t^*$ で停止し、 $t=0$ まで継続するのではなく、直ちにデコードされた $x_0$ を出力するという洞察を実用化する。

部分的積分: モデルは全ステップの割合 $\gamma$ 分のODEを積分する（ $k^* = \lceil \gamma K \rceil$ ）。
早期終了: ステップ $k^*$ において、アルゴリズムは学習された速度場と閉形式のデコーダーを使用して、終端推定値 $\hat{x}_0$ を計算する。
終了: プロセスを停止し、 $\hat{x}_0$ を最終的なサンプルとして返す。

このアプローチは、再学習、蒸留、アーキテクチャの変更を一切必要としない。これは、あらゆるODEソルバー、ノイズスケール、Classifier-Free Guidance (CFG) スケール、および既存のチェックポイントと互換性がある。

主な貢献

理論的定式化: 本論文は、終端デコーダブル性（定理5）をアフィンパスの普遍的な特性として確立した。これは、誘導されたデコーダーがMMSE最適推定器であることを証明し（定理6）、エラー分解が軌跡の曲率に依存しないことを証明した（定理9）。
軌跡の直線化への挑戦: 著者らは、直線的な軌跡は正確な終端予測には十分であるが、必要条件ではないことを証明した（命題12）。これにより、推論の加速を軌跡の整流化の必要性から切り離し、Euler積分が失敗するような曲がったパスにおいてもTJSが機能する理論的根拠を提供した。
学習フリーのアルゴリズム (TJS): モデルや学習データを変更することなく、多様なモデルファミリーにおいてNFEを20〜70%削減する実用的なサンプラーである。
包括的な実証実験: 6つのモデルファミリー（SDXL, SD3.5M, Z-Image-Turbo, ImageNet-256, CIFAR-10, MNIST）を用いた広範な実験により、TJSがフルODEの軌跡と同等またはそれ以上の品質を実現することを実証した。

実験結果

著者らは、クラス条件付きおよびテキスト・トゥ・イメージのベンチマークにおいてTJSを評価した：

NFE削減: TJSは、品質をほぼ維持したまま、NFEを**20〜70%**削減する。
- SDXL/SD3.5M: フルODEの品質（ImageRewardで測定）の95%を達成しつつ、約37〜40%のNFE削減を実現した（30ステップ中 $k^* \approx 18$ で停止）。
- Z-Image-Turbo: 蒸留された10ステップモデルにおいて、TJSは95%の品質保持率と70%の追加削減（ $k^*=2$ 、つまり計3 NFEで停止）を達成しており、終端デコーダブル性が蒸留された軌跡においても持続することを示している。
- クラス条件付き: MNISTおよびCIFAR-10において、TJSは時としてフルODEを上回る（「オーバーシュート」現象）。これは、Euler積分の最終ステップで蓄積される離散化誤差を回避するためである。
メトリックの階層性: 実験は、意味的内容（CLIP, PickScore）は早期に解決される（多くの場合 $k^* \approx 12$ まで）一方で、微細な美的詳細（ImageReward, AES）にはより深い積分が必要であるという、収束の階層性を明らかにしている。
堅牢性: TJSの性能は、ODEソルバー（DDIM, DPM++, UniPCなど）、ノイズスケール（Beta, Karrasなど）、およびCFGスケールの選択に依存せず、既存の推論コンポーネントに対する直交性を確認している。

意義と主張

本論文は、中程度の数ステップの加速には、軌跡の直線化、蒸留、または学習の再設計を必要としないと主張している。その意義は、終端デコーダブル性を、アフィンパス上の生成モデルにおける固有の構造的特性として認識した点にある。

実用的な影響: TJSは、再学習や蒸留が困難な場合が多い、コミュニティの既存のファインチューニング済みチェックポイントのライブラリに対し、即座にコストゼロの加速パスを提供する。
理論的転換: 直線的な軌跡が終端予測に必須ではないことを証明することで、本研究は、推論加速に関するRectified FlowやConsistency Modelsの基礎的な動機付けに疑問を投げかけている。
補完的な性質: 著者らは、TJSを蒸留に対して直交するものとして位置づけている。蒸留が全軌跡の長さを圧縮するのに対し、TJSは残された軌跡の冗長な末尾を排除するため、加算的な加速（例：Z-Image-Turboのような蒸留モデルへのTJSの適用）が可能となる。

結論として、この特性を認識することは「コストがかからない」ことであり、これを無視することはパフォーマンスを損なうことになる。本論文は、生成サンプルの品質を犠牲にすることなく、積分深度と推論速度をトレードオフするための、原理的な方法を提示している。