🤖 machine learning

Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates

本論文は、拡散ベースの逆問題における測定条件に起因するハルシネーションを緩和するために、事前分布の更新ステップを安定化させるソルバーレベルのモジュールであるRobust Prior Update（RPU）を導入し、それによって様々なタスクにおいてインスタンスへの忠実度と再構成品質を大幅に向上させるものである。

原著者： Pengfei Jin, Yiqi Tian, Kailong Fan, Bingjie Qi, Quanzheng Li

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengfei Jin, Yiqi Tian, Kailong Fan, Bingjie Qi, Quanzheng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「創造性が高すぎる」アーティスト

あなたは、古くて損傷した写真を修復しようとしていると想像してください。一部が欠けていたり（傷によって顔が隠れているなど）、画像がぼやけていたりします。そこで、あなたは非常に才能のあるアーティスト（拡散モデル）を雇い、足りない部分を補ってもらうことにしました。

このアーティストは、何百万もの顔を見てきた経験に基づき、「本来なら顔はこうあるべきだ」という推測を行うのが非常に得意です。しかし、あまりにもクリエイティブすぎるため、時として元の写真には存在しなかったディテールを付け加えてしまうことがあります。

問題点： 例えば、眼鏡をかけていなかった人物に眼鏡を描いてしまったり、単に「見た目が良くなるから」という理由で口の形を変えてしまったりすることがあります。
論文の用語： これは**ハルシネーション（幻覚）**と呼ばれます。この文脈では、単なる間違いではなく、アーティストが証拠（損傷した写真）が支持していない事実を捏造していることを意味します。

論文の著者たちは、このアーティストは助けになろうとしているものの、実際の証拠を確認する前に、自分の推測に対して自信を持ちすぎてしまっていることに気づきました。

2ステップのダンス

この論文は、AIソルバーが画像を修正するために、どのような2ステップのダンスを行っているかを説明しています。

「推測」ステップ（事前更新 / Prior Update）： アーティストはぼやけた画像を見て、「ここには鼻があるはずだ」と考えます。彼らは自身の学習に基づき、大胆な推測を行います。
「確認」ステップ（計測条件付け / Measurement Conditioning）： 次に、アーティストは実際の損傷した写真を見て、「待てよ、私の推測は、今見えているピクセルと一致しているだろうか？」と考えます。そして、証拠に適合するように画像を調整します。

欠陥： 論文では、問題が発生するのはこの「推測」ステップであると主張しています。アーティストは「確認」ステップが行われる前に、大胆な推測（鼻を捏造するなど）を行ってしまいます。たとえ後で修正しようとしても、その捏造されたディテールは、アーティストの自信が強すぎるために、なかなか消えずに残ってしまうのです。

解決策：RPU（「現実確認」のポーズ）

著者たちは、**RPU（Robust Prior Update：ロバストな事前更新）**と呼ばれる新しいモジュールを提案しています。RPUを、アーティストが大きな推測を行う直前に挿入される「一時停止ボタン」や「安定性テスト」と考えてください。

RPUの仕組みを、綱渡りの人の例えで説明します。

RPUがない場合： アーティスト（歩行者）は、直感に基づいて大きく前方に踏み出します。もし直感が間違っていた場合、彼らは綱から落ちてしまう（偽のディテールを作り出す）可能性があります。
RPUがある場合： アーティストが大きな一歩を踏み出す前に、地面の状態を確かめるために、前後へ数歩、慎重に小さく動きます。
- 彼らはこう問いかけます。「もしこの方向に足を動かしたら、地面は安定しているだろうか？それともグラグラしているだろうか？」
- もし地面がグラグラしている（つまり、その推測が不安定である、あるいはハルシネーションである可能性が高い）場合、RPUは「その大きな一歩は踏み出すな」と指示します。
- その代わりに、アーティストを現在の安全な場所に留め、小さく安全な動きだけを許可します。

重要な点： RPUは「確認」ステップを変更するものではありません。AIが損傷した写真をどのように見るかを変えるのではありません。RPUは、AIがいかに初期の推測を行うかを変えることで、その推測をより慎重なものにし、偽のディテールを生み出す可能性を低くするのです。

研究結果

チームはこの新しい手法（RPU）を、顔画像（FFHQデータセット）と一般的な画像（ImageNet）を用いて、標準的な手法（DPS）と比較検証しました。

精度の向上： 数学的指標（PSNRおよびLPIPSスコア）で測定した結果、RPUは標準的な手法よりも、より鮮明で正確な画像を生成しました。
人間の好み： どちらの手法によるものか伏せた状態で、人間に結果を見てもらいました。
- 結果： 人間は圧倒的にRPUによる画像を好みました。
- 理由： 標準的な手法では、AIが（部分的な眼鏡や奇妙な口の形など）リアルではあるものの、実際には間違ったディテールを付け加えてしまうことがよくありました。RPUはこうした「発明」を回避し、元の証拠に忠実な画像を維持しました。
「引き分け」の要因： ケースによっては、違いがあまりに微細であったため、人間が見分けられなかった（引き分けとなった）こともありました。しかし、人間が違いを識別できた場合には、ほとんどの場合において、RPUの方が真のオリジナルに近いと判断しました。

結論

この論文は、AIの「推測」の部分をより安定させ、慎重にさせる（Robust Prior Update）ことで、AIが偽のディテールを「ハルシネーション（幻覚）」することを防げると主張しています。

以前は： AIは大胆に推測し、その後修正を試みますが、捏造されたディテールが残ってしまうことがありました。
現在は（RPUを使用）： AIは推測を行う前に自分自身の安定性をチェックし、付け加える内容が実際に証拠によって裏付けられていることを確認します。

著者らは、これはターゲットを絞った修正であると結論づけています。つまり、AIの「推測する能力」を賢くするのではなく、その写真に対してより**忠実（faithful）**にさせるためのものです。

技術要約：逆問題のためのハルシネーションを考慮した拡散サンプリング：ロバストな事前分布更新によるアプローチ

1. 問題定義

拡散ベースの逆問題ソルバーは、不完全または破損した観測値（例：インペインティング、デブラーリング、MRI）から現実的な再構成を行う能力を持っています。しかし、本論文は、**観測条件付きハルシネーション（measurement-conditioned hallucination）**と呼ばれる決定的な失敗モードを特定しています。これは、無条件生成における失敗（例：解剖学的構造の歪み）とは異なり、再構成結果が視覚的にはもっともらしく見えるものの、観測された観測値 $y$ によって支持されていない詳細を含んでいる場合に発生します。

著者らは、2種類のハルシネーションを区別しています：

Type-I: 視覚的に不自然なアーティファクトや不安定な構造。
Type-II: 見た目は妥当だが、真値 $x^\star$ と矛盾しており、かつ観測モデルによって支持されていない詳細。

標準的な指標（PSNR、LPIPS、FID）は、これら Type-II のハルシネーションを検出できないことがよくあります。なぜなら、これらの指標は分布のリアリズムや画素レベルの一致性を測定するものであり、特定の真値に対するインスタンスレベルの忠実性を測定するものではないからです。核心となる問いは、「いつ、どのようにして、サポートされていない詳細が拡散ベースの逆問題解決プロセスに入り込むのか、そして、観測との整合性を損なうことなく、どのようにそれらを軽減できるのか？」という点です。

2. 手法：交互最適化とRPU

本論文は、ベイズ則に基づく拡散逆問題ソルバー（具体的にはDPS）を、以下の2つの明確なステップからなる**交互最適化（alternating optimization）**プロセスとして再定義しています：

事前分布の更新（Prior Update）: 拡散的な事前分布が、欠落または曖昧なコンテンツを埋めるための変位（displacement）を提案する。
観測条件付け（Measurement Conditioning）: 再構成を、観測された $y$ と演算子 $A$ に基づいて固定（アンカー）する補正ステップ。

著者らは、ハルシネーションは、生成モデルが観測によって弱く制約されたコンテンツを提案する事前分布の更新ステップにおいて発生すると仮定しています。これに対処するため、彼らは**ロバストな事前分布更新（Robust Prior Update: RPU）**を提案します。これは、観測条件付けを変更することなく、事前分布の更新ステップにのみ介入するソルバーレベルのモジュールです。

RPUのメカニクション:

プロービング（Probing）: 拡散モデルが提案するネイティブな事前分布の変位 $d_\theta(x_t, t)$ を受け入れる前に、RPUは局所的な安定性プローブを実行します。正規化された事前分布の変位に対して $K$ ステップ分、わずかな距離だけ逆方向に移動し、摂動を与えられた点 $x_t^{adv}$ を作成します。
再アンカリング（Re-anchoring）: この摂動を与えられた点 $x_t^{adv}$ $x_{t}^{a d v}$ において拡散事前分布を評価し、新しい変位を得ます。重要な点は、この変位が摂動を受けた点ではなく、元のイテレート $x_t$ $x_{t}$ に再アンカリングされることです。
- 式: $\tilde{x}_{t-1}^{prior} = x_t + (p_\theta(x_t^{adv}, t) - x_t^{adv})$ 。
観測補正（Measurement Correction）: その後、プローブされたモデル出力から導出されたデノイズ推定値を用いて、標準的な観測更新が適用されます。

このアプローチは、事前分布の変位が局所的に小さな摂動に対してロバストであることを保証することで、生成的な提案を効果的に安定させ、観測制約が再適用される前にサポートされていない詳細が注入されるのを抑制します。

3. 主な貢献

ハルシネーションの定義: 本論文は、逆問題におけるハルシネーションを、Type-I（不自然）とType-II（観測による支持はないが妥当に見える）に分けて形式的に定義しました。
理論的分解: ベイズ則に基づくソルバーを交互最適化の観点から導出し、観測一致性のステップと事前分布更新のステップを明示的に分離し、ハルシネーションへの介入ポイントとして事前分布の更新を特定しました。
RPUアルゴリズム: 事前分布の更新の局所的な安定性をプローブし、変位を再アンカリングする手法であるRPUを提案し、これを観測更新からデカップリング（分離）しました。
実証的検証: FFHQおよびImageNetデータセットを用い、自動指標および人間による忠実度調査の両方を通じて、DPSフレームワーク内でのRPUの検証を行いました。

4. 実験結果

著者らは、FFHQ (256x256) および ImageNet (256x256) における3つの逆問題（ボックス・インペインティング、ガウス型デブラーリング、モーション・デブラーリング）に対してRPUを評価しました。

定量的指標 (FFHQ):
- ボックス・インペインティング: RPUはPSNR (19.72 $\to$ 20.40) および LPIPS (0.400 $\to$ 0.394) を向上させました。FIDはわずかに上昇（45.44 $\to$ 50.35）しており、これはRPUがインスタンスの忠実度を高めるために、分布の鮮鋭度をある程度犠牲にするトレードオフを示唆しています。
- デブラーリング: RPUは、ガウス型およびモーション・デブラーリングの両方のタスクにおいて、PSNRとLPIPSの継続的な改善を示しました。
人間による忠実度調査:
- ブラインド比較（二者択一）: ボックス・インペインティングにおいて、RPUはDPSに対して 91.9% の非引き分け多数派選好を獲得しました。
- 真値参照比較: 読者が出力と真値を比較した場合、ボックス・インペインティングにおいてRPUは 91.1% の非引き分け選好を獲得しました。
- デブラーリング: ブラインド比較では多くの引き分け（視覚的なリアリズムが同等であることを示す）が発生しましたが、真値参照調査ではRPUへの強い支持が見られました（ガウス型で86.2%、モーション型で82.1%）。これにより、ブラインドでは検知が困難な、微細で観測と矛盾する詳細をRPUが減少させていることが確認されました。
ImageNetへの転用: ImageNetのガウス型デブラーリングにおいて、RPUはPSNR (20.406 $\to$ 20.509) を向上させました。人間による調査では、引き分けが多いものの、非引き分けの場合においてRPUへの支持（72.7%）が見られました。

5. 意義と主張

本論文は、事前分布の更新をロバスト化することが、拡散ベースの逆問題ソルバーにおけるインスタンスの忠実度を向上させるための、標的を絞った効果的な戦略であると主張しています。

メカニズム: 結果は、ハルシネーションが観測補正が行われる前の、事前分布側からの提案から生じることが多いという見解を支持しています。この特定のステップを安定させることで、RPUはサポートされていない詳細の導入を抑制します。
適用範囲: 著者らは、RPUは再構成指標や人間による検査の普遍的な代替物ではなく、また単独のハルシネーション検出器でもないことを強調しています。その有効性は、事前分布が弱く制約されたコンテンツ（例：大きなインペインティング・マスク）を形成するシナリオにおいて最も顕著になります。
限界: 著者らは、この手法がタスク依存的であることを指摘しています。高度に制約されたタスク（一部のデブラーリング・シナリオなど）や、より広範な分布（ImageNet）においては、恩恵はそれほど劇的ではなく、人間による調査において「引き分け」の結果が多くなる傾向があります。主張は控えめであり、RPUを一般的なソルバーの改善ではなく、忠実度を向上させるための特定の介入策として位置付けています。