🤖 AI

Local Intrinsic Dimension Unveils Hallucinations in Diffusion Models

本論文は、拡散モデルにおける構造的ハルシネーションがモデル誘起多様体上の高い局所内次元（LID）に起因する不安定性に由来することを提案し、LID を低減してこれらの異常を効果的に抑制する「内在的鎮静（IQ）」と呼ばれる手法を導入し、特に医療画像における解剖学的整合性の向上を実現するものである。

原著者： Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bartlomiej Sobieski, Matthew Tivnan, Dawid Płudowski, Michał Jan Włodarczyk, Pengfei Jin, Przemyslaw Biecek, Quanzheng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

拡散モデルを、何年もの間何千もの像を研究してきた熟練の彫刻家にたとえてみましょう。彼の仕事は、ノイズという大理石の塊から、欠片を削り取ることで完璧な形が現れるまで、新しい像を創り出すことです。通常、彼らは素晴らしい仕事をします。しかし、時には混乱し、六本の指を持つ像や、三つの目を持つ像、あるいは花のように見える手を持つ像を作ってしまうこともあります。AI の世界では、こうした誤りはハルシネーション（幻覚）と呼ばれます。

この論文は、これらの誤りが起こる理由は、彫刻家が精神の地図の「霧のかかった」部分で迷い込むためだと主張しています。著者たちは、彫刻家の経路がどれほど「ぐらついているか」を測定し、それを優しく滑らかにすることで、この問題を解決する新しい方法を提案しています。

以下に、彼らの発見と解決策の概要を示します。

1. 問題：彫刻家の「ぐらつく」経路

著者たちは、拡散モデルがハルシネーション（例えば六本の指を持つ手）を生成する際、それは単なるランダムな誤りではないと提案しています。これは、モデルの「精神的景観」（多様体と呼ばれる）の特定の部分、つまり幾何学的に不安定な場所で起こっているのです。

モデルの訓練データを、本物の手が存在する滑らかで平坦な谷だと考えてみてください。

通常の生成：モデルは谷の床を滑らかに歩き回り、完璧な手を作り出します。
ハルシネーション：モデルは揺れ動く不安定な崖の上に足を踏み入れてしまいます。ここでは、地面に追加の目に見えない次元があるように見えます。地面がぐらついているため、モデルは誤って余分な指やずれた目を作り出してしまいます。

著者たちは、この不安定性を局所多様体不安定性（LMI）と呼んでいます。奇妙な方向に伸びるトランポリンの上を歩こうとするようなもので、意図しない形に跳ね飛ばされてしまう可能性があります。

2. 発見：「ぐらつき」の測定

これらのぐらつく場所を見つけるために、著者たちは局所内在次元（LID）と呼ばれる概念を検討しました。

比喩：3 次元の部屋に浮かぶ平らな紙（2 次元）を想像してください。紙の小さな点を覗き見ると、それは平ら（2 次元）に感じられます。しかし、紙がしわくちゃになっている場合、あるいはモデルがハルシネーションを起こしている場合、その点は突然、移動するための余分で不要な方向（3 次元や 4 次元など）を持っているように感じられるかもしれません。
発見：この論文は、モデルが誤り（例えば余分な指を追加すること）を起こそうとしているとき、モデルが歩いている空間の「次元」が突然膨張することを示しています。まるで、存在すべきではない方向にモデルが歩こうとしているかのようです。

彼らは、これらの「膨張した次元」を探すフィルターを作成することでこれをテストしました。その結果、このフィルターは、画像が時間とともにどのように変化するかを調べる従来の手法よりも、実際には悪い手を発見する能力が高いことがわかりました。

3. 解決策：「内在的鎮静（Intrinsic Quenching、IQ）」

彼らが誤りがどこで起こるのか（ぐらつきのある高次元の場所）を知った後、内在的鎮静（IQ）と呼ばれる修正策を考案しました。

比喩：モデルを道路を走る車だと想像してください。不安定で凸凹の場所（ハルシネーション）に差し掛かると、車は蛇行し始めます。
修正：IQ はスマートなサスペンションシステムのように機能します。車が凸凹の場所に近づくと、不安定性を検知します。車が蛇行するのを許すのではなく、それを滑らかで安定した道路の部分へ優しく押し戻します。それは、余分で不要な次元を「膨らませる」のではなく、モデルを（「手は五本の指しか持たない」といった）論理的で現実世界のルールに従わせるように「圧縮」します。

彼らはこれを「鎮静（Quenching）」と呼びます。なぜなら、不安定な熱い金属を冷やして再び固く安定させるようなものだからです。

4. 効果はあるか？

著者たちは、この手法をさまざまなタスクでテストしました。

手の描画：他の手法と比較して、IQ が六本の指を持つ手の数を劇的に減少させたことを示しました。
医療画像：医師が使用する脳 CT スキャンの再構成においてこれをテストしました。この場合、ハルシネーションは偽の腫瘍や欠落した脳の一部のように見え、危険です。IQ は、偽の病気を創作することなく、再構成された画像が解剖学的に正しいことを保証するのに役立ちました。
顔と動物：生成された顔や動物の画像の品質も向上し、より自然に見えるようになりました。

まとめ

この論文は、AI のハルシネーションは、モデルが自身の数学の「ぐらつく」部分で迷い込むために起こると主張しています。このぐらつきを測定し（局所内在次元を使用）、モデルを安定した地面へ優しく押し戻す（内在的鎮静を使用）ことで、六本の指を持つ手や偽の腫瘍のような不可能なものを AI に創作させないようにできます。これは、AI に現実の「堅固な地面」にとどまることを教える方法なのです。

技術的概要：局所内次元が拡散モデルにおけるハルシネーションを解明

問題定義

拡散モデル（DM）は、「構造的ハルシネーション」を生成する傾向があります。これは、訓練データの統計的性質には合致するものの、背後にある物理的、論理的、または形態的な規則（例：6 本の指を持つ手や、位置がずれた目など）に違反するサンプルです。最近の研究では、これらの失敗は逆過程中のモード補間と時間的不安定性に起因するとされていますが、その正式な定義と、堅牢な防止メカニズムは依然として未解決の課題です。現在の識別方法は人間の知覚に大きく依存しており、既存の緩和策は追加の訓練データ、外部分類器、または特定のアーキテクチャ仮定を必要とする場合が多いです。

手法

著者らは、時間的な生成挙動の分析から、モデルが誘発する多様体の局所的な不安定性の検討へと視点を転換することを提案します。このアプローチは、階層化多様体仮説に基づいており、高次元データは低次元部分多様体上に存在し、DM はこれらの層の統計的近似を学習すると仮定しています。

1. 理論的基盤：局所内次元（LID）

核心的な洞察は、構造的ハルシネーションがモデルが誘発する多様体（ $M_\theta$ ）上の生成サンプルの**局所内次元（LID）によって直接駆動される局所多様体不安定性（LMI）**として現れるという点です。

LMI の代理指標としての役割: 著者らは、LMI を小さな摂動下での生成器の出力の共分散のトレースとして定義します。彼らは理論的に（命題 1）、LMI が生成器のヤコビアンの特異値の二乗和の LID によって切り捨てられたものとおおよそ比例することを証明しています。
LID 駆動要因としての役割: 彼らは、DM がサンプルの複雑さを過大評価し、LID を膨張させるときにハルシネーションが発生することを示しています。この膨張は「偽の次元」（非論理的な自由度）を導入するか、有効な特異値を過大評価し、不安定で多様体から外れた方向をもたらします。
推定: 最近の知見を活用し、著者らは標準的な拡散訓練損失（ノイズ除去スコアマッチングと情報スコアマッチング）が、小さな時間ステップにおける LID（ $LID_\theta$ ）の効率的で不偏な推定量を提供することを示しています。

2. 内在的クエンチング（IQ）

これらの不安定性に対処するため、著者らは生成過程中に LID を動的に「減衰」させる修正メカニズムである**内在的クエンチング（IQ）**を提案します。

メカニズム: IQ は、LID エネルギー（ $E(x_t) = LID_\theta(\hat{x}^\theta_0(x_t))$ ）から導出された勾配項を減算することにより、逆過程のスコア関数を修正します。
理論的保証: 定理 2 は、この修正が高 LID 状態を罰するボルツマン分布からのサンプリングと同等であることを確立しており、結果として軌道を多様体の低次元で安定した層へと誘導します。
実装戦略:
- 時間的ウィンドウ: 修正は、多様体幾何学が最も重要であり、LID 推定量が有効である逆過程の狭い初期区間（ $t \in [t_1, t_2]$ ）でのみ適用されます。
- 動的スケーリング: ガイド強度（ $\lambda_t$ ）は、安定性を確保するために自然な更新ステップに対する固定比率を維持するように適応的にスケーリングされます。
- フィルタリング: 有効なサンプルを過度に制約することを避けるため、推定された LID エネルギーが時間依存の閾値（ $q_t$ ）を下回るサンプルに対しては IQ を無効にします。この閾値は参照分布のパーセンタイルによって決定されます。

主要な貢献

ハルシネーションに対する幾何学的視点: 本論文は、構造的ハルシネーションをモデルが誘発する多様体上の不安定性として再定義し、局所内次元（LID）の膨張をその主要な駆動要因として特定しています。
優れた検出能力: 著者らは、LID ベースのフィルタが、複数のデータセットにわたって正しいサンプルとハルシネーションを分離する際、最近の時間的フィルタ（Trajectory Variance Filter など）よりも優れていることを実証しています。
内在的クエンチング（IQ）: 彼らは、生成中に LID を動的に減衰させることでハルシネーションを削減する、直接的でモデル非依存の修正メカニズムを導入します。他の手法とは異なり、IQ は追加の訓練データ、外部分類器、またはアーキテクチャの変更を必要としません。
医療画像への応用: この手法は低線量 CT 再構成で検証され、診断ハルシネーション（例：捏造された病変）を削減しつつ、再構成品質を維持できることを示しています。

実験結果

著者らは、合成データセット（GaussianGrid、SimpleShapes、MNIST）および自然画像データセット（11kHands、FFHQ、AFHQV2）において、IQ を Dynamic Guidance（DG）、Adaptive Attention Modulation（AAM）、RODS などのベースラインと比較評価しました。

ハルシネーションの削減: IQ はすべてのベースラインを一貫して上回りました。11kHands データセットにおいて、IQ はハルシネーション比率（HR）を約 70% 削減（約 29% から約 9% へ）し、68% のユーザー選好（UP）スコアを達成しました。これはベースライン（39.8%）を大幅に上回る結果です。
医療画像: 低線量 CT 再構成（RSNA データセット）において、IQ は（訓練に真値ラベルを必要とする）DG と同等の診断性能向上を達成しつつ、画像再構成指標（FID、PSNR、SSIM）を厳密に維持しました。IQ は、出血検出のマイクロ平均 mAP をベースラインの 0.27 から 0.31 に向上させました。
アブレーション研究: 実験により、この手法は初期の時間ステップで適用されたときに最も効果的であり、動的フィルタリング戦略がサンプルをモードに「過度に圧縮」して多様性指標を劣化させるのを防ぐために重要であることが確認されました。

意義と主張

本論文は、IQ が、特に医療画像などハルシネーションが安全性リスクをもたらす下流タスクにおいて、生成モデルにおける解剖学的整合性を強制するための普遍的かつ実用的な解決策を提供すると主張しています。

理論的洞察: この研究は、ハルシネーションに対する幾何学的説明を提供し、それらをモデルが誘発する多様体の次元の過剰な拡大と関連付けています。
実用性: 外部分類器や再訓練を必要とせずに動作する IQ は、実世界の意思決定シナリオにおける拡散モデルの信頼性を向上させるための、非常に有望なゼロショット解決策として提示されています。
限界: 著者らは控えめに、構造的失敗に対する人間の注釈の主観性により、評価が依然としてボトルネックとなっていることを認めています。また、IQ は中程度の計算オーバーヘッド（ベースラインより約 20% 遅いですが、RODS 変種よりは速い）を導入すること、およびより安価な LID 推定量の発見が将来の改善に必要な方向性であることを指摘しています。