💬 NLP

Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models

本論文は、拡散大規模言語モデル（dLLMs）が自己回帰モデルに比べて幻覚発生率が高く、推論計算の特性や拡散プロセス固有の失敗モードが信頼性向上の課題となっていることを初めて体系的に実証した研究です。

原著者： Zhengnan Guo, Fei Tan

公開日 2026-04-14

📖 1 分で読めます☕ さくっと読める

原著者： Zhengnan Guo, Fei Tan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎨 結論：新しい画家は「絵の具を混ぜる」のが下手？

まず、2 つの AI の描き方をイメージしてください。

従来の AI（AR モデル）：
- 例え： 「一筆書きの画家」
- 特徴： 左から右へ、一文字ずつ順番に書いていきます。「A」を書いたら次に「B」、その次に「C」…と、前の文字に縛られながら進みます。
- 弱点： 一度間違った文字を書くと、その間違いが雪だるま式に大きくなり、後半の文章も破綻しやすい（「雪だるま効果」）。
新しい AI（拡散型 dLLM）：
- 例え： 「霧を晴らして絵を描く画家」
- 特徴： 最初、キャンバス全体が真っ白な霧（ノイズ）で覆われています。AI は「ここは空、ここは木」と全体を同時に何度も見直し、霧を晴らしていくように文字を確定させていきます。
- メリット： 全体像を一度に見られるので、前後の文脈を考慮しやすいはず。
- 今回の発見： しかし、実はこの「霧を晴らす」作業が、従来の AI よりも「嘘（幻覚）」を言いやすいことがわかりました。

🔍 研究の核心：何が起きているのか？

研究者たちは、同じ大きさのモデル同士で公平に比較しました。その結果、3 つの大きな発見がありました。

1. 嘘をつく頻度は「新しい AI」の方が高い

「霧を晴らす」方式の AI は、従来の「一筆書き」の AI に比べて、事実と異なることを言う傾向が強くありました。

なぜ？ 全体を一度に描こうとするあまり、**「中途半端な状態で絵を完成させようとしてしまう」**からです。

2. 計算量を増やしても、効果は分かれる

「もっと時間をかけて（計算回数を増やして）霧を晴らせば、嘘が減るのでは？」と期待しましたが、モデルによって結果が真逆でした。

LLaDA（あるモデル）：
- 状況： 早く飽きてしまう。
- 例え： 「一筆書きの癖が抜けない画家」。
- 本来は全体を見られるはずなのに、結局「左から右へ」順番にしか描けないように振る舞ってしまいます。そのため、計算時間を増やしても、最初の間違った方向へ進んでしまったまま、修正が効きません。
Dream（別のモデル）：
- 状況： 計算時間を増やすと嘘が減る。
- 例え： 「本当に全体を見直せる画家」。
- 計算時間を増やすと、霧を晴らす作業が丁寧になり、嘘が減りました。しかし、その代償として**「別の問題」**が生まれました。

3. 新しい AI 特有の「3 つの失敗パターン」

従来の AI にはない、拡散型 AI 特有の「失敗の癖」が見つかりました。

① 早すぎる終了（Premature Termination）
- 例え： 「話の途中で突然『おしまい！』と叫んでしまう」
- 文脈が繋がっていないのに、無理やり文章を終わらせてしまいます。
② 霧が晴れきらない（Incomplete Denoising）
- 例え： 「意味不明な記号や、空の枠が残ったままの絵」
- 重要な部分（固有名詞など）が「霧」のまま残ってしまい、意味のない文字列や「____」のようなものが混じったまま出力されます。
③ 文脈の侵入（Context Intrusion）
- 例え： 「料理の話をしていたのに、突然『数学の公式』を話し始める」
- これが最も奇妙です。AI が「将来のどこかに数式やコードの単語」を誤って見つけてしまい、「あ、ここは数式だ！」と勘違いして、質問とは全く関係ない数学の解説やコードを書き始めてしまう現象です。

💡 なぜこんなことが起きるの？

この研究は、「全体を一度に描く（非逐次的）」というアイデアは素晴らしいが、今の技術では「修正」が難しいことを示しています。

従来の AI は、間違った文字を書いたら「次を間違えないように」頑張ります。
新しい AI は、全体を見ながら「ここを直そう」と思っても、「一度確定した文字を消しゴムで消して書き直す（再マスキング）」という機能が未熟です。
そのため、一度間違った方向に霧が晴れてしまうと、その誤った文脈に引きずられて、変な数学の話や意味不明な記号を混ぜてしまうのです。

🚀 まとめ：これからどうなる？

現状： 拡散型 AI は、文章生成のスピードや全体計画の面では有望ですが、「事実を正確に伝える」という点では、まだ従来の AI に劣ることがわかりました。
課題： 単に「霧を晴らす」だけでなく、**「描き直せる機能（編集機能）」**をどう組み込むかが、この技術が本物になるための鍵です。

つまり、**「新しい画家は天才的な構想力を持っているが、まだ『消しゴム』の使い方が下手で、よく失敗している」**というのが、この論文が伝えたかったことです。

論文サマリー：Lost in Diffusion

Diffusion Large Language Models (dLLMs) における幻覚パターンの解明と失敗モードの特定

1. 背景と問題提起

近年、生成モデルの主流である自己回帰型（AR）大規模言語モデル（LLM）に対し、非自己回帰的なパラダイムである拡散大規模言語モデル（dLLMs）が注目されています。dLLMs は、反復的なノイズ除去（デノイジング）を通じてトークンを並列生成するため、文脈の双方向性やグローバルな計画において理論的な利点を持つとされています。

しかし、dLLMs の信頼性、特に**「幻覚（Hallucination）」**（モデルの出力が入力文脈や訓練データと矛盾すること）に関する研究は未だ不十分です。

AR-LLM の幻覚: 順序誤りの伝播（雪だるま効果）や双方向知識検索の構造的不備（逆転の呪い）が主な原因。
dLLM の懸念: 拡散プロセスの確率的性質がデコードのランダム性を増大させ、幻覚を悪化させる可能性があるか、あるいは双方向性により改善されるかが不明瞭でした。

本研究は、このギャップを埋めるため、dLLM と AR-LLM の幻覚パターンを初めて体系的に比較評価することを目的としています。

2. 手法と実験設計

研究の核心は、モデルの規模や事前学習データなどの交絡因子を最小化し、**「生成メカニズム（拡散 vs 自己回帰）」**そのものの影響を isolated（分離）して評価することにあります。

2.1 対照実験フレームワーク

以下の 2 つの制御グループを用いてペアワイズ比較を行いました。

アーキテクチャ整合グループ:
- LLaDA-8B (dLLM) vs LLaMA-3-8B (AR-LLM)
- 同様のバックボーンとパラメータ数、同程度の汎用性能を持つモデルを比較。
パラメータ整合グループ:
- Dream-7B (dLLM) vs Qwen2.5-7B (AR-LLM)
- Dream は Qwen の重みから直接初期化されているため、パラメータ知識が同一。幻覚率の差異は生成プロセスの違いに起因すると仮定。

2.2 推論設定

dLLM: 半自己回帰やブロックベースの加速手法を回避し、シーケンス長 $L$ に等しいデノイジングステップ数（ $T=L$ ）を設定した「標準的な拡散推論」を使用。これにより、モデルの反復的洗練能力を最大限に評価。
評価指標: HalluLens ベンチマークを適応し、以下の 3 つのタスクで「外部的幻覚（Extrinsic Hallucination）」を評価。
- PreciseWikiQA: 正確な事実の想起能力。
- LongWiki: 長文生成における事実の一貫性。
- NonExistentRefusal: 存在しないエンティティに対する拒否能力（知識境界の検出）。

3. 主要な結果

3.1 幻覚の発生率

結論：現在の dLLM は、同等の条件の AR-LLM に比べて幻覚を起こす傾向が有意に高い。

PreciseWikiQA: Dream-7B の幻覚率は 92.54%（Qwen2.5-7B は 89.06%）、LLaDA-8B の正解率は 3.92%（LLaMA-3-8B は 10.30%）と、dLLM が劣勢。
LongWiki: 両 dLLM は Precision が低く、全体としての F1 スコアが AR ベースラインを下回った。
NonExistentRefusal: dLLM は存在しないエンティティを「実在する」と誤認する（False Acceptance）ケースが非常に多く、特に Dream-7B は 98.50% のケースで拒否に失敗。

考察: 理論的にはグローバルな計画が可能ですが、現在のアーキテクチャは一度デノイジングされたトークンを後から修正する「再マスキング（re-masking）」メカニズムが未熟です。そのため、初期のデノイジング誤りが固定化され、雪だるま効果が排除されずに変容して発生しています。また、双方向注意機構は矛盾を検知できますが、それを修正する能力は備わっていません。

3.2 推論計算量とダイナミクス

デノイジングステップ数（計算量）を増やしても、アーキテクチャによって挙動が全く異なります。

LLaDA-8B（早期飽和）: ステップ数を増やしても性能は向上せず、初期段階で飽和します。これは、高信頼度デコーディングと線形ノイズスケジューラにより、事実上「左から右へ」の生成フロー（準自己回帰的）に制限されているためです。
Dream-7B（連続的洗練）: ステップ数の増加に伴い、F1 スコアが単調に向上します。最小エントロピーデコーディングにより、非逐次的な洗練が可能であり、計算量を増やすことで幻覚を低減できるポテンシャルがあります。

3.3 拡散固有の失敗モード

AR モデルとは異なる、拡散プロセス特有の 3 つの失敗モードを特定しました。

早期終了（Premature Termination）: 文頭と文末が独立してデコードされた際、構文的な整合性が取れず、モデルが EOS トークンを急激に挿入したり、破損した構造で終了したりする。
不完全なデノイジング（Incomplete Denoising）: 稀なエンティティなどで意味のないトークンにアンカーし、双方向注意がそれを正当化しようとして生成全体が崩壊する。無意味な記号や残滓が生成される。
文脈侵入（Context Intrusion）: 将来の位置に高頻度トークン（数値やコードキーワード等）がデノイジングされ、双方向注意がその誤ったアンカーに論理的な道筋を構築しようとする結果、元の質問から全く無関係な話題（数学やコーディングなど）へ突然切り替わる現象。

4. 考察と意義

信頼性の課題: dLLM は汎用タスクでの性能差を縮めつつありますが、その幻覚メカニズムは AR モデルとは異なり、モデルの信頼性に対する重大な課題を提起しています。
アーキテクチャの限界: 現在の dLLM は、人間が執筆時に修正・挿入・削除を行うような「動的なシーケンス編集能力」を欠いています。一度決定されたトークンの修正メカニズムが不十分なことが、幻覚の固定化を招いています。
将来の方向性: 単なるデノイジングの反復だけでなく、推論時の動的な編集や、より高度な再マスキング戦略の開発が、dLLM の実用化には不可欠であることが示唆されました。

5. 結論

本研究は、拡散型 LLM が自己回帰型モデルよりも幻覚を起こしやすいという初めての実証的証拠を示しました。また、推論計算量の増加がアーキテクチャによって異なる効果（飽和 vs 改善）をもたらすこと、および「早期終了」「不完全デノイジング」「文脈侵入」といった拡散固有の失敗モードが存在することを明らかにしました。これらの知見は、より信頼性の高い非自己回帰生成モデルの開発に向けた重要な指針となります。