Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

人工知能の世界を、膨大な、そして超高速な図書館だと想像してみてください。そこでは、ロボットの司書が、一単語ずつ物語を書く任務を負っています。現在の世代のこれらの「大規模言語モデル（LLM）」において、この司書は非常に徹底していますが、同時に非常に不器用でもあります。新しい単語を一つ書き出すたびに、司書は図書館の奥まで全力疾走して、百科事典の全巻（モデルのパラメータ）を取り出し、それを読み通してから、デスクに戻ってたった一つの単語を書かなければなりません。この絶え間ない往復は、非常に体力を消耗します。それは膨大なエネルギーを消費し、多くの時間がかかるため、司書を維持するのは遅くて高価な作業なのです。

科学者たちは、司書に単語を一つずつではなく、パラグラフ（段落）ごとに出力するように教えることで、これを解決しようと試みました。これは「拡散（ディフュージョン）」と呼ばれ、司書が一度の「図書館への往復」で多くの単語を書けるようになるため、非常に効果的です。しかし、落とし穴があります。パラグラフを書いているときでさえ、司書は特定の文章には必要のないページも含めて、百科事典のすべてのページを読まなければならないのです。それは、塩だけが必要なのに、料理本全体を読んでしまうようなものです。この論文は、単にパラグラフを書くだけでなく、重要でないページを無視することを学ぶ、超スマートな司書を紹介しています。この「一度に多くの言葉を書く」テクニックと「無用なページをスキップする」テクニックを組み合わせることで、この新しいシステムは、今日の強力なコンピュータ上でも、はるかに高速で、かつるエネルギー消費を大幅に抑えられることを約束します。

---

論文：新しい種類のスマートな司書

ロンドンの機関と協力して研究を行っている研究者たちは、AIの世界における大きな悩みに取り組んでいます。それは、巨大な言語モデルの知能を損なうことなく、いかにしてより高速かつ安価に動作させるかという問題です。彼らは、Neuromorphic Masked Diffusion Language Models、略してN-MDLMと呼ばれる新しいシステムを提案しています。

N-MDLMがどのように機能するかを理解するために、彼らが組み合わせた2つのテクニックを見てみましょう。まず、「拡散（Diffusion）」の部分です。あなたが秘密の単語を推測しようとしている場面を想像してください。一文字ずつ推測する代わりに、空白のブロックから始めて、数回のラウンドを経て徐々に埋めていき、推測を洗練させていきます。これにより、モデルは標準的なモデルが単語一つに対して行うのと同等の「図書館への往復（メモリへのアクセス）」で、一塊の単語（例えば4つまたは8つ）を生成できるようになります。これは速度面では素晴らしいのですが、依然として問題があります。モデルは、たとえ脳の大部分が静止していても、単語を生成するたびにその脳のあらゆる部分をチェックしてしまうのです。

ここで、2つ目のテクニックである「ニューロモーフィック・スパース性（Neuromorphic Sparsity）」が登場します。標準的なコンピュータを、部屋を照らしている時も暗闇の中にいる時も常に電力を消費し続ける電球だと考えてください。「ニューロモーフィック」なシステムは、もっとモーションセンサー付きのライトのようなものです。何かが実際に起きた時にだけ、オン（スパイクを発火）になります。N-MDLMにおいて、モデルは本当に必要になった時にだけ、読み込みや計算という重労働を行います。もしモデルの一部が活動していないのであれば、それは沈黙したままの状態を保ち、エネルギーを節約し、不要な作業をスキップします。

著者らは、この組み合わせがどの程度うまく機能するかを予測するための数学的モデルを構築しました。彼らは「屋根ライン（roofline）」マップを作成しました。これは、コンピュータが「思考の速さ（演算量）」に制限されているのか（compute-bound）、それとも「データの取り出しの速さ（メモリ帯域）」に制限されているのか（memory-bound）を測定する方法です。彼らの分析によれば、「一度に多くの言葉を書く」テクニックは、データの取り出しが遅い古いコンピュータでは非常に効果的ですが、思考の速さに制限されている現代の超高速なコンピュータでは、あまり恩恵が得られないことが示唆されています。しかし、ここに「モーションセンサー」のようなスパース性を加えると、状況が一変します。これにより、必要な思考量を大幅に削減できるため、現代の高速なコンピュータ上であっても、この新しいモデルは驚異的な効率を実現できるのです。

彼らが発見したこと

アイデアをテストするために、研究者たちはゼロから新しいロボットの脳を作り出したわけではありません。代わりに、すでにドイツ語から英語への翻訳ができるように訓練された既存のモデルを取り出し、それを新しいN-MDLMスタイルへと変換しました。そして、この新しいモデルがどのように動作するかを確認するために、強力なグラフィックスカード（NVIDIA DGX Spark）上でシミュレーションを行いました。

結果は有望でした。現代の高速なコンピュータチップを模したシステム（彼らはこれを「インチップ・メモリ・システム」と呼んでいます）上でシミュレーションを実行したところ、標準的な「一度に多くの言葉を書く」モデル（MDLM）は、従来の「一つずつ単語を書く」モデルよりも速くなれませんでした。なぜなら、思考プロセスが多すぎたからです。しかし、活動していない部分をスキップする能力を持つ新しいN-MDLMは、一気に突き抜けました。

これらのシミュレーションにおいて、N-MDLMはトークン（単語）をはるかに速く生成し、標準的なモデルよりも単語あたりのエネルギー消費量を大幅に抑えることができました。研究者たちは「スイートスポット」を発見しました。もし単語のブロックを大きくしすぎると、膨大な思考量によってシステムが停滞してしまいます。しかし、ブロックのサイズを適度な大きさ（例えば4単語）に保ち、「スパース性（モデルが注意を払う対象をより厳選すること）」を高めると、両方の良い面を得ることができました。

具体的には、モデルがどれほどスパースであるかを制御するKというパラメータを使用することで、K = 1（最もスパースな設定）の時に最高のエネルギー効率を実現できることが観察されました。このモードでは、モデルは必要な時にだけ「ニューロン」を発火させることでエネルギーを節約しました。トレードオフとしては、翻訳の質（BLEUスコアで測定）に極めて微細な低下が見られましたが、速度とエネルギーの向上は極めて大きなものでした。

結論

この論文は、言葉を塊（チャンク）で書く能力と、不要な情報を無視する能力を組み合わせることで、AIモデルを単に速くするだけでなく、より環境に優しいものにできることを示唆しています。著者らは、これらの結果が専用のニューロモーフィック・チップ（この特定のタスクのためのものはまだ存在しません）ではなく、標準的なグラフィックスカード上でのシミュレーションによるものであることに注意を促しています。しかし、数学的根拠とシミュレーションデータは、このアプローチが次世代のAIを阻んでいるエネルギーと速度のボトルネックを解決できる可能性が高いことを強く示しています。これはコンピュータに対して、「ただ一生懸命働くのではなく、休憩を取るべき時を知ることで、より賢く働きなさい」と伝える巧妙な方法なのです。