パズルを解こうとしている場面を想像してみてください。ピースを左から右へと一つずつ置いていくのではなく、すべてのピースを一度にテーブルに投げ込み、全体を見渡しながら、推測を洗練させていくことで、どこに配置すべきかをゆっくりと解明していくようなプロセスです。これが、「拡散言語モデル（Diffusion Language Model: DLM）」と呼ばれる新しい種類の人工知能の基本的な考え方です。従来のAIが、人間が文章をタイピングするように（一単語ずつ、決して振り返ることなく）書いていくのに対し、DLMは空白の、あるいはマスクされたページから始まり、文全体を一度に見渡しながら、反復的に「ノイズを除去（デノイズ）」して言葉を浮かび上がらせていきます。これは一見、スーパーパワーのように聞こえます。もし早い段階でタイポ（打ち間違い）をしてしまっても、従来のAIは混乱して支離滅裂な内容に陥ってしまう可能性がありますが、文全体の構図を把握しているDLMなら、理論的には自らの間違いを修正できるはずだからです。しかし、ここで大きな疑問が生じます。これらのモデルは、状況が混乱しても本当にタフで賢いのでしょうか、それともそれは単なる心地よい理論に過ぎないのでしょうか？

この研究において、研究者たちはこれら「超堅牢」とされる拡散モデルのペアを、従来の、一単語ずつ生成するモデルたちと対決させました。彼らは単に詩を書かせるだけでなく、タイポ、単語の入れ替わり、奇妙なキーボードのミス、さらにはトリッキーな数学の問題など、あらゆるものを彼らに投げつけました。彼らは、新しい拡散スタイルが真にエラーに対する魔法の盾となるのか、それとも、これらのモデルもまた、異なる形での脆さを抱えた従来型と同じなのかを確かめたかったのです。

大いなる堅牢性テスト

研究者たちは公平な戦いをセットアップしました。拡散モデルと、それと同じ数の脳細胞（パラメータ数）を持つ伝統的なモデルをペアにしました。例えば、LLaDA-8Bという拡散モデルを、伝統的なLLaMA-3-8Bと、Dream-7Bという拡散モデルを、伝統的なQwen2.5-7Bと対戦させたのです。そして、文字の入れ替え（例：「the」の代わりに「teh」と打つ）から、単語全体の削除、あるいは他のアルファベットからの似た文字の使用に至るまで、32種類の異なる「ノイズ」をこれらのモデルに浴びせました。

結果は、予想外の展開を見せました。「拡散モデルは本質的にタフである」という考えは、実は神話であることが判明したのです。救ったのはアーキテクチャではなく、特定のトレーニングでした。ある拡散モデル（LLaDA）は、確かにライバルの伝統的なモデルよりもはるかに堅牢であり、ノイズを巧みに処理しました。しかし、もう一方の拡散モデル（Dream）は、ライバルに勝つことができず、場合によってはむしろ性能が悪化しました。研究者たちは、堅牢性はモデル固有の重みや学習データに依存しており、単に拡散を用いているという事実によるものではないことを突き止めました。タフなモデルが欲しいのであれば、単に拡散モデルを選べばよいわけではなく、正しい拡散モデルを選ばなければならないのです。

過信する楽観主義者

しかし、すべての拡散モデルが共有していた一つの特性がありました。それは、非常に危険なものでした。それは「過信」です。これらのモデルが間違いを犯したとき、彼らはただ失敗するだけでなく、絶対的な確信を持って失敗したのです。伝統的なモデルであれば、タイポを目にした際に（「これについては自信がない」と言ったように）自信度を下げるかもしれませんが、拡散モデルは自信を極めて高く保ち、間違った答えを出している時でさえ、しばなる100%に近い数値を示しました。

テストを受けている学生が、問題を間違えたにもかかわらず、「私はこれが正解だと100%確信しています！」と手を挙げて叫ぶ場面を想像してみてください。それがこれらのモデルの危険性です。現実の世界において、モデルが自信満々に間違っている場合、そのエラーをキャッチすることは、モデルが不安げに自信がない状態である場合よりもはるかに困難になります。研究によれば、ノイズが激しい状況下でも、拡散モデルは頑固に自信を保ち続け、その出力に信頼を置こうとする人々にとっての「ハザード（危険）」を生み出していました。

「直せない」という発見

この研究の最も興味深い部分は、なぜこれらのモデルが失敗するのかを掘り下げたところにありました。研究者たちは、AIの脳内で行われていることを見るために、特別な「メカニスティック・プローブ（機械論的プローブ）」（AIの脳に対するX線検査のようなもの）を使用しました。そこで彼らは驚くべき発見をしました。モデルは、入力が破損していることを実際に認識していたのです。

内部信号を確認すると、モデルはタイポやエラーを93%以上の精度で検出できていました。「目」の部分は完璧に機能しており、ノイズを明確に捉えていました。問題は、モデルがミスを見ることができなかったことではなく、そのミスを「無視できなかった」ことにありました。一度ノイズがシステムに入り込むと、モデルの「デコーダー（次に何を言うかを決定する部分）」がそれをフィルタリングすることに失敗したのです。それはまるで、食材が腐っていることを完璧に嗅ぎ分けられるのに、止め方を知らないためにそのまま調理を続けてしまうシェフのようなものでした。

問題が「嗅ぐ」フェーズ（入力）ではなく「調理する」フェーズ（デコード）にあったため、研究者たちは巧妙な解決策を試みました。モデルが調理を始める前に、入力をクリーンアップしようとしたのです。「入力プロンプト・マスキング（IPM）」と呼ばれる手法を用い、モデルがそれを見る前にタイポを特定して隠そうと試みました。しかし、結果はどうだったでしょうか？ うまくいきませんでした。 入力をクリーンにしても、モデルの堅牢性は向上しませんでした。これは、入力を修正するだけでは問題を解決できないことを証明しています。修正は、テキストを生成するプロセスそのものの中に組み込まれていなければならないのです。

アドバーサリアル（敵対的）な驚き

ただし、一つだけ明るい兆しもありました。研究者がモデルを欺こうとする「アドバーサリアル攻撃（敵対的攻撃）」、具体的には、モデルに望まないことを言わせるために末尾に奇妙な文字列を追加する攻撃を行った際、拡散モデルは驚くほど壊れにくいことが分かりました。伝統的なモデルはこの攻撃に屈しましたが、拡散モデルは抵抗しました。

なぜでしょうか？ 実は、拡散モデルの内部的な風景は「ギザギザ」で混沌としているのです。攻撃者がモデルを騙そうとする経路を見つけようとしても、その経路は常に変化し、動き続けるため、間違いへと至る安定したルートを見つけることが不可能なのです。それは、一歩踏み出すたびに岩が再配置される山を登ろうとしているようなものです。これにより、拡散モデルはすべての攻撃に対して免疫があるわけではありませんが、伝統的なモデルを容易に欺いてしまうような、特定の勾配ベースの攻撃に対しては自然な耐性を持っています。

まとめ

では、教訓は何でしょうか？ 拡散言語モデルは、AIを自動的に安全にしたり、より堅牢にしたりするための魔法の杖ではありません。それは、異なる強みと弱みを持つ新しいツールなのです。拡散モデルは、その内部的な数学が混沌としているため、特定のハッキングの試みに対しては自然に強い耐性を持っていますが、自分が不確実であることを知る能力には乏しく、入力が乱れている時に自信満々に間違った答えを出してしまうことがあります。

研究者たちは、これらのモデルをより良くするために、単に「パッチを当てる（修正する）」だけでは不十分であると結論付けました。もし私たちがこれらを信頼できるものにしたいのであれば、生成の仕方を根本的に変え、単に始める前にノイズをフィルタリングするのではなく、書きながらノイズをフィルタリングすることを教えなければなりません。それまでは、注意が必要です。自信満々に間違える拡散モデルは、信頼するには非常に厄介な存在なのです。