Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

あなたはロボットに物語を書く方法を教えようとしていると想像してください。ただし、人間のように一語ずつ書かせるのではなく、すべての単語が「MASK（マスク）」の後ろに隠された白紙のページを与えます。ロボットの仕事は、ページ全体をちらりと見て、空白に入るべき単語を推測し、それらを一つずつゆっくりと明らかにしていくことです。これは、「拡散言語モデル（Diffusion Language Model）」と呼ばれる種類のAIがどのように機能するかを示しています。これは、AIが完全な混乱状態から徐々にイメージを鮮明にしていく、逆再生の「単語当てゲーム」のようなものです。

このゲームをより速く、より賢くするために、研究者たちは「ソフトマスキング（soft-masking）」というトリックを使います。ロボットが単に「はい、この単語は『猫』だと確信しています」とか「いいえ、マスクしたままにします」と言う代わりに、「80%の確率で『猫』、20%の確率で『犬』だと思います」と言うことができるようにするのです。これらは推測を混ぜ合わせ、次のラウンドのための新しい、曖昧なヒントを作り出します。大きな疑問は、この論文が取り組んでいる課題です：これらの推測を数学的にどのように混ぜ合わせるべきか？ ほとんどの人は、AIの脳が平坦で直線的な地図であるかのように、従来の方法で行ってきました。しかし、もしロボットの脳が実は巨大で湾曲した地球儀のような形をしていたらどうなるでしょうか？

---

「補間における迷子」の謎

この論文の著者であるインド工科大学ルルキー校のチームは、これらのAIモデルの内部にある「脳」の形状を調査することに決めました。彼らは、これらのモデルが単語を保存する方法は、紙のように平らではなく、球体の表面のように実際には湾曲していることを発見しました。

AIの語彙を、巨大で目に見えない地球儀だと考えてください。すべての単語は、その球体の表面上の点です。AIが推測を行うとき、それはその地球儀上の特定の地点を指し示しています。問題は、標準的な推測の混合方法（「線形補間」または LERP と呼ばれる）が、地球儀を平らな地図として扱ってしまうことです。もしあなたが平らな地図の上で2つの都市の間の線を引けば、地球の中心を真っ直ぐに突き抜けてしまうかもしれません。しかし、もしあなたが球体の表面を歩いているなら、地面の曲線に従わなければなりません。論文は、標準的な方法がAIに地球の中心を通り抜けるような歩行を強いており、それがモデルを混乱させ、速度を低下させていることを示しています。

「補間における迷子」の発見

研究者たちは、AIが従来の平坦な直線による方法で予測を混合しようとすると、「迷子」になることを発見しました。彼らは「マスクされた状態（空白）」と「予測された状態（推測）」の間の角度を測定しましたが、その角度はトレーニングプロセス全体を通じて一定の73度に保たれていることがわかりました。また、「サイズ（またはノルム）」は、その単語がどれほど一般的か、あるいは稀であるかにかかわらず、ほぼ正確に同じままであることにも気づきました。これら2つの手がかりは、AIがハイパースフィア（高次元の球体）、つまり多次元のボールの上を歩いていることを証明する足跡のようなものです。

AIは球体の中に存在しているため、著者らは、情報を混ぜ合わせるために直線を使用することは誤った道具であると主張しています。それは、地球儀に巻き付けられた紐を使う代わりに、テーブルの上に置かれた定規を使ってニューヨークとロンドンの間の距離を測ろうとするようなものです。

解決策：球面ソフトマスキング (S-SM)

これを修正するために、チームは球面ソフトマスキング (S-SM) という新しい手法を考案しました。S-SMは、AIに地球の中心を通る直線を描かせるのではなく、地球の表面に沿って歩ませるように強制します。

その仕組みは以下の通りです：

1. 地球儀の歩行： 推測を直線的に平均化する代わりに、彼らは「フレシェ平均（Fréchet mean）」と呼ばれる特別な数学的トリックを使用して、球の表面上の平均的な地点を見つけました。
2. 曲線のブレンド： 彼らは SLERP（球面線形補間）というテクニックを使用しました。風船の上の2点間にピンと張られた紐を想像してください。SLERPは、表面から離れることなく、その紐に沿って曲面に沿って進みます。
3. 結果： 彼らはこの新しい手法を1億6900万パラメータを持つAIモデルでテストしました。結果は目覚ましいものでした。新しい手法は単に機能しただけでなく、より優れた成果を出しました。

数字が示すこと

チームは、新しいS-SM法を、従来の標準（TopK/LERP）およびフィードバックが全くないバージョンと比較してテストを行いました。彼らは、異なる「思考時間」（NFE予算、64から512ステップの範囲）を用いてテストしました。

• 品質の向上： 新しい手法は、人間の文章により近いテキストを生成しました。彼らはこれを MAUVE と呼ばれるスコアで測定しました。高い予算（512ステップなど）において、S-SMは従来のTopK/LERPアプローチと比較して、MAUVEスコアを最大 2倍、標準的な手法と比較して 27.5%から56.1% 向上させました。
• 間違いの減少： AIは混乱を招くエラーを減らしました。「生成パープレキシティ（AIが自身のテキストに対して感じる驚きの度合い）」は、ベースラインと比較して 16.9%から19.6% 低下しました。
• トレードオフなし： 通常、AIを賢くすると創造性が低下（繰り返しが発生）しますが、著者らは、S-SMが従来のメソッドと全く同じ「エントロピー（創造性やランダム性の尺度）」を維持していることを発見しました。つまり、退屈になることなく、より賢くなったのです。

なぜ従来の方法は失敗したのか

この論文は、平坦な直線による方法が単に「まあまあ」あるいは「十分良い」ものであるという考えを明確に否定しています。データは、このタイプのAIにとって、その方法が根本的に間違っていることを示唆しています。研究者が「信頼度重み（AIが自身の推測をどの程度信頼するかを決定するために学習する数値）」を調べたとき、興味深いことがわかりました。新しいS-SM法の下では、AIは幾何学的なフィードバックをより多く信頼することを学習し、約 0.056 の重みに落ち着きましたが、旧来の方法では 0.030 でしか信頼していませんでした。これは、AIが地球の中心を歩かされることがなくなったとき、より自信を感じていたことを示唆しています。

結論

この論文は単に新しいアイデアを提案しているだけではありません。AIの脳の幾何学は球体であり、私たちはこれまで間違った数学を用いて対話してきたのだという強力な証拠を提示しています。直線から曲線（SLERP）へと切り替えることで、著者らは、これらのモデルが創造性を失うことなく、より速く、より優れたテキストを生成できることを示しました。これは、前進するためには、時に直線を歩くのをやめて、曲線に従わなければならないということを思い出させてくれます。