🤖 machine learning

Bayesian Tensor Decomposition with Diffusion Model Prior

本論文では、事前学習済み拡散モデルをデータ事前分布として統合し、自動的なランク選択のための累積収縮プロセスを備えたベイズ・テンソル分解フレームワークであるDiffBCPを提案し、スプリット・ギブス・サンプラーを利用することで扱いやすい推論を可能にし、深刻な破損条件下における画像インペインティングおよびデノイジングにおいて優れた性能を実現する。

原著者： Zerui Tao, Qibin Zhao

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zerui Tao, Qibin Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、都市の風景や顔の写真のような複雑な画像を表す、巨大な3Dパズル（「テンソル」）を持っていると想像してください。あいにく、そのパズルのピースの大部分が大量に抜き取られてしまい、残ったピースにはノイズ（砂嵐や傷）が覆いかぶさっています。あなたの目標は、元の画像がどのようなものだったかを突き止めることです。

この論文は、このパズルを解くための新しい手法であるDiffBCPを紹介しています。その仕組みを、シンプルな概念に分解して説明します。

1. 古いやり方：「低ランク（Low-Rank）」による推測

従来、コンピュータはこの問題を、画像が単純な基礎構造を持っているという仮定に基づいて解こうとしてきました。これを**「低ランク性（Low-Rankness）」**と呼びます。

比喩： 画像が、わずか数種類の独特な筆致（ブラシストローク）だけで描かれた絵画だと想像してください。もし、その数少ない筆致のパターンさえ分かれば、欠けている部分を推測することができます。
問題点： 画像がきれいな状態であれば、これは非常にうまく機能します。しかし、画像が激しく損傷していたり、大きな塊が失われていたりする場合、「単にシンプルである」と仮定するだけでは不十分です。コンピュータは行き詰まり、ぼやけた、奇妙な結果を出力してしまいます。

2. 新しい要素：「拡散モデル（Diffusion Model）」（芸術のエキスパート）

著者たちは、「低ランク性」は優れた目安ではあるものの、乱れた現実世界のデータに対してはそれだけでは不十分であることに気づきました。そこで、彼らはよりスマートな助っ人である**「拡散モデル」**を加えることにしました。

比喩： 拡散モデルを、何百万枚もの写真を見てきた世界クラスの芸術のエキスパートだと考えてください。このエキスパートは、単に数学を知っているだけでなく、現実的な顔や木、あるいは建物が「どうあるべきか」という直感的な「感覚」を持っています。
革新性： 通常、こうした芸術のエキスパートを数学的なパズル解決法と組み合わせるのは困難です。著者たちは、数学的な整合性を壊すことなく、このエキスパートにパズル解決プロセスを導いてもらう方法を見出したのです。

3. ハイブリッド・チーム：DiffBCB

新しい手法であるDiffBCPは、「低ランク」の数学と「芸術のエキスパート」のチームアップです。

彼らの連携方法：
1. 数学（低ランク）： 構造を整理し、パズルのピースが論理的に組み合わさるようにします。また、これは「実際に必要な筆致がいくつあるか」を自動的に判断するスマートなフィルターとしても機能し、複雑にしすぎることを防ぎます。
2. エキスパート（拡散）： 乱れて不完全なパズルを見て、「おい、その欠けている部分は、ただの塊ではなく、窓であるはずだ」と指摘します。そして、欠落した細部に現実的なテクスチャを補います。
どのように協力するか： 数学的な論理とAIによる創造的な直感を組み合わせることで、損傷が激しい場合でも、より正確でリアルな復元が可能になります。

4. 秘伝のレシピ：「分割ギブスサンプラー（Split Gibbs Sampler）」

これら二つを混ぜ合わせるのは、彼らが話す言語が異なる（一方は厳格な数学を話し、もう一方は確率を話す）ため、非常にトリッキーです。これらを対話させるために、著者たちは**「分割ギブスサンプラー」**と呼ばれる特別な通信プロトコルを考案しました。

比喩： 二人の人間が家を建てようとしている場面を想像してください。一人は厳格な建築家（数学）、もう一人はクリエイティブなインテリアデザイナー（拡散モデル）です。
- 彼らは言い争う代わりに、翻訳者（サンプラー）を使います。
- 建築家が骨組みを作ります。
- 翻訳者がその骨組みをデザイナーに渡し、デザイナーがリアルな壁紙や家具を追加します。
- 翻訳者がそれを建築家に返し、建築家は新しい家具に合わせて骨組みを調整します。
- 彼らは、家が完璧になるまでこのやり取りを繰り返します。
メリット： これにより、コンピュータはノイズを自動的に処理できます。人間が「ノイズレベルは5%です」と教える必要はありません。システムは作業しながら、自らノイズレベルを判断するのです。

5. 結果：何が分かったのか？

著者たちは以下のテストを行いました。

画像インペインティング（画像補完）： 写真の欠けている部分を埋めること（例：群衆の中から人を消したり、破れた写真を修復したりすること）。
デノイジング（ノイズ除去）： 粒状のノイズや砂嵐が混じった画像を綺麗にすること。
高解像度および分布外（Out-of-Distribution）データ： 巨大な高精細画像や、エキスパートが学習したデータとは全く異なる画像（例：顔で学習したエキスパートに対して、夜の街並みの画像を使用）に対しても、従来の手法より優れた性能を発揮しました。

要約すると： 彼らは、数学の構造的な論理と、AI生成器の創造的な直感を組み合わせたシステムを構築しました。これにより、損傷が激しい場合や画像が非常に大きい場合でも、従来のメソッドよりもはるかに正確かつリアルに、損傷した画像を復元することが可能になりました。

技術要約：拡散モデルの事前分布を用いたベイズ・テンソル分解

問題提起

低ランク・テンソル分解（TD）は、多次元データ解析における標準的な手法であり、データがクリーンで完全に観測されている場合には効果的である。しかし、深刻な欠損やノイズが存在する場合、その性能は著しく低下する。低ランク仮定は構造的な事前分布として機能するが、現実世界のデータを復元するには不十分なことが多い。従来のTDに対し、手作業で設計された事前分布（例：スパース性や平滑性）を拡張しようとする試みは、複雑なデータ分布の豊かな統計量を捉えるには至らない。一方で、最先端の拡散モデルは強力で学習されたデータ事前分布を提供するものの、現在のTDフレームワークとの互換性が低く、特に低ランク制約や自動ランク選択と組み合わせた場合に、推論の計算量的な扱い（tractability）が困難である。

手法：DiffBCP

著者らは、学習済みの拡散事前分布と構造的な低ランク制約を統合するように設計された、ハイブリッド事前分布を持つベイズCP分解フレームワークであるDiffBCPを提案する。

1. 確率的定式化

本モデルは、観測データ $Y$ 、再構成されたテンソル $X$ 、および潜在的なCP因子（ $\lambda, A^{(1:N)}$ ）に関する結合確率分布を以下のように定義する：
$p(Y, X, \lambda, A^{(1:N)}, \tau) \propto p(Y | X, \tau) \cdot p(X | A^{(1:N)}, \lambda) \cdot p(A^{(1:N)}) \cdot p(\lambda) \cdot p(X) \cdot p(\tau)$

主要な構成要素は以下の通りである：

尤度（Likelihood）: 観測されたエントリーが精度 $\tau$ を持つ正規分布に従うと仮定する。
構造的制約: $p(X | A^{(1:N)}, \lambda)$ は、ディラックのデルタ関数を介してCP分解の構造（ $X = \text{CP}(\lambda, A^{(1:N)})$ ）を強制する。
潜在因子の事前分布:
- CUSP事前分布: CP重み $\lambda$ は累積収縮プロセス（CUSP）事前分布に従う。この階層的事前分布により、ランクが増加するにつれて冗長な成分を小さな定数 $\theta_\infty$ へと収縮させ、自動的なランク選択を可能にする。
- ガウス事前分布: 因子行列 $A^{(n)}$ は、ノルムを正則化するための標準的なガウス事前分布に従う。
拡散事前分布: 再構成されたテンソル $X$ には、強力で学習済みの拡散モデル事前分布 $p(X)$ が割り当てられる。これは、低ランク仮定だけでは捉えきれない複雑なテクスチャや構造を捉えることができる、暗黙的かつデータ駆動型の正則化因子として機能する。

2. 推論：分割ギブスサンプラー（Split Gibbs Sampler, SGS）

尤度、低ランク制約、および暗黙的な拡散事前分布の間の結合により、直接的な事後分布の推論は困難である。著者らは、これらの項をデカップリングするために補助変数 $Z$ を用いた分割ギブスサンプラーを採用している：

拡張（Augmentation）: 結合項 $\phi(Z, X; \rho) = \frac{1}{2\rho^2}\|Z - X\|_F^2$ を伴う補助変数 $Z$ を導入する。
潜在変数の更新: $Z$ が与えられたとき、CP因子（ $\lambda, A^{(n)}$ ）およびハイパーパラメータ（ $\tau, \theta, \nu$ ）は、共役な閉形式の更新（ガウス、ガンマ、ベータ分布など）が可能である。
拡散ブロックの更新: $X$ が与えられたとき、補助変数 $Z$ は、拡散事前分布と結合項によって定義される分布からサンプリングされる。これは、低ランク推定値 $X$ によってガイドされた、学習済みスコアネットワーク $s_\psi$ を用いる確率微分方程式（SDE）の逆過程によるデノイジング問題として解かれる。
ノイズ適応型結合: 結合パラメータ $\rho$ が、推論されたノイズ精度 $\tau$ に基づいて動的に調整される（具体的には $\tau\rho^2 = c$ ）スケジュールの導入。これにより、手動のアニーリング・スケジュールの感度が軽減される。

3. ランク適応

本フレームワークには双方向のランク適応スキームが含まれる。CUSP事前分布は不活性な成分を収縮させ、一方で、現在のランクが不十分な場合には新しい成分を追加する別のメカニズムが作動する。これにより、初期のランク誤指定に対する堅牢性が確保される。

主な貢献

ハイブリッド事前分布フレームワーク: オフザシェルフの学習済み拡散モデルを、再構成されたテンソルに対するデータ事前分布として、構造的な低ランクCP事前分布と統合した最初のベイズ・テンソル分解モデル。
計算可能な推論: 尤度、低ランク制約、および拡散事前分布の間の複雑な結合にもかかわらず、事後分布の推論を可能にする分割ギブスサンプラーの開発。これには、潜在因子のための閉形式の更新と、低ランクにガイドされたデノイジングが含まれる。
自動ランクおよびノイズ推論: CUSP事前分布の使用と完全ベイズ的なノイズ推定により、ランクやノイズレベルの手動チューニングを不要にする。
堅牢性: 適応的な結合スケジュールを通じて、初期のランク誤指定や様々なノイズレベルに対する堅牢性を示す。

実験結果

本手法は、FFHQおよびImageNetデータセットを用いた画像インペインティングおよびデノイジングのタスク、ならびに高解像度の分布外（OOD）画像を用いて評価された。

性能: DiffBCPは、従来のベイズTD（BCP, BTR）、ディープラーニングベースのTD（HLRTF, DeepTensor）、およびプラグアンドプレイ手法（GLON, PnP-DM）を含むベースラインを一貫して上回った。
- 90%の欠損（一様マスク）があるFFHQにおいて、DiffBCPは28.28 dB PSNRを達成し、最良のベースライン（DeepTensor）を2.17 dB上回った。
- 不規則なマスクの場合、その差はさらに顕著となった（DeepTensorに対して**+2.33 dB**）。
OODおよび高解像度: 本手法は、256×256の画像で学習された拡散モデルを用いて、2048×2048の画像（例：マルセイユ、東京）を正常に再構成し、他の手法（PuTTなど）がアーティファクトを導入したり失敗したりする場面でも、一貫性と詳細さを維持した。
アブレーション研究:
- 拡散事前分布を除去すると、構造化されたマスク（ストライプ、不規則）において性能が著しく低下し、空間的な連続性を回復する上での拡散事前分布の役割が確認された。
- CUSP事前分布は、初期ランクが著しく過小指定されている場合（例：ランク10から200で開始）の復元において極めて重要であることが証明された。
拡散サンプラーとの比較: PnP-DMと比較して、DiffBCPはノイズレベルのスケジューリングに関する安定性と、高解像度画像における優れた性能を示したが、PnP-DMはノイズパラメータを手動で最適値に調整すれば、競争力のある結果を得られる場合もあった。

意義と主張

論文は、DiffBCPが低ランク・テンソル分解の構造的な帰納バイアスと、現代的な生成拡散モデルの表現力を橋渡しすることに成功したと主張している。この統合を完全な確率的枠組みの中で定式化することにより、以下の達成を実現している：

ノイズが多く不完全なテンソルデータに対する最先端の復元性能。
未知のランクやノイズレベルへの自動適応による、広範なハイパーパラメータ・チューニングの排除。
低ランク構造を、拡散事前分布がOODデータに直面した際の安定化のための帰納バイアスとして活用することで、分布シフトや高解像度入力に対する堅牢性。

著者らは、本手法の性能は、信号が意味のある低ランク構造を持つという仮定に依存していると述べている。この仮定が満たされない場合、構造的な寄与は減少するが、拡散事前分布は依然として機能する。今後の展望として、本フレームワークを他の逆問題（圧縮センシングなど）や他のテンソル分解（Tensor Train, Tensor Ring）へ拡張することが示唆されている。