想像してみてください。あなたは傑作を描こうとしていますが、一本の筆を使う代わりに、数百人の小さなアーティストの魔法のチームを持っています。彼らはそれぞれ異なるスタイルを専門としています。ある者は質感の達人であり、ある者は色彩の達人、またある者はライティングの達人です。これが、現代のAI画像生成器である「拡散トランスフォーマー（Diffusion Transformer）」の仕組みです。彼らは静止画のノイズ（スタティック・ノイズ）で満たされた画面からスタートし、徐々にそのノイズを取り除いていく（デノイジングする）ことで、一歩ずつ、鮮明な絵を浮かび上がらせていきます。これらの画像を素晴らしいものにするために、AIは「混合エキスパート（Mixture-of-Experts: MoE）」と呼ばれる巧妙なトリックを使用します。これは、画像内のあらゆる小さな領域に対して、全員に一度に働いてもらうのではなく、その仕事に最も適した特定のアーティストのチームだけを呼び起こす、賢いマネージャーのようなものです。これにより、エネルギーを節約し、AIを極めてスマートに機能させることができます。

しかし、そこには落とし穴があります。画像の生成には数百回のこれら「デノイジング・ステップ」が必要であり、AIは各ステップごとに膨大な量の計算を行わなければなりません。それは、新しいディテールをレイヤーとして追加するたびに、キャンバス全体を最初から描き直さなければならないようなものです。これを加速させるために、科学者たちは「フィーチャー・キャッシング（特徴量キャッシュ）」と呼ばれる手法を試してきました。これは、「おい、この部分の絵は前のステップからあまり変わっていないから、新しい色を混ぜる代わりに、古い絵の具を再利用しよう」と言うようなものです。問題は、従来の方法が稚拙すぎたことです。それは、画像の小さなパッチ（領域）を一つの単一のユニットとして扱っていました。もしそのパッチ内のたった一つの小さなディテールでも新しく塗り直す必要がある場合、古い方法ではAIにパッチ全体を塗り直させてしまい、時間を無駄にしていました。逆に、あまりに保守的すぎると、パッチの一部が変わっているにもかかわらずパッチ全体を再利用してしまい、ぼやけた絵になってしまいます。

ここで、MoECaという新しい研究が登場します。研究者たちは、AIが専門化された「エキスパート」を使用している以上、キャッシング戦略も同様に専門化される必要があることに気づきました。画像を一つのブロックとして扱うのではなく、MoECaはそのブロックの中に入り込み、そこで働く個々の専門家（エキスパート）を見ます。彼らは、あるエキスパートが葉の質感を変更するのに忙しくなっている一方で、同じパッチで働く別のエキスパートは、空の描写において以前の仕事を再利用することに全く問題がない、ということを発見しました。画像を個々のエキスパートの枝（ブランチ）レベルまで分解することで、MoECaはどの部分を塗り直し、どの部分を再利用すべきかを正確に判断できるのです。

論文によれば、この「きめ細かな（fine-grained）」アプローチはゲームチェンジャーとなります。キャッシング戦略をエキスパートの実際の働き方に合わせることで、AIは品質を損なうことなく冗長な計算をスキップできます。テストにおいて、この新手法は、低速なオリジナル版と同じくらい鮮明で詳細な画像を維持しながら、画像生成プロセスを最大2.93倍高速化しました。それは、窓を修理するたびに家全体を塗り直す建設作業員から、修理が必要な窓だけを塗り、残りの家には手を触れないチームへとアップグレードするようなものです。

問題点： 「全か無か」のミス

なぜMoECaが必要なのかを理解するために、これらのAIモデルがどのように考えているかを見る必要があります。かつて、画像生成を高速化しようとする際、研究者たちは「トークンレベル」のキャッシング手法を使用していました。トークンをキャンバス上の小さな正方形だと想像してください。古いルールは単純でした。「もしこの正方形が少しでも変化したら、正方形全体を塗り直せ。変化していなければ、正方形全体をそのままにせよ」というものです。

しかし、Mixture-of-Experts（混合エキスパート）を備えたモデルでは、単一の正方形は単なる一つのものではなく、いくつかの異なる「エキスパート」の枝によるコラボレーションなのです。論文の分析によれば、古いルールには欠陥がありました。これらのエキスパートはすべて同時に変化するわけではないのです。あるエキスパートは樹皮の粗い質感に取り組んでおり、それは画像が形成される過程で急速に変化します。しかし、同じ正方形の中で働く別のエキスパートは、滑らかな緑の葉に取り組んでおり、その動きは非常に安定しています。

もし古い「全か無か」のルールを使用すると、ジレンマに直面します。樹皮の変化によって正方形全体を塗り直すと決めたら、安定している葉まで塗り直すことになり、時間を無駄にします。逆に、時間を節約するために正方形全体を再利用すると決めたら、樹皮が更新されなかったために、葉がぼやけて正しくない状態になってしまいます。論文は、この「正方形全体」のキャッシングと「分割されたエキスパート」という現実との間のミスマッチこそが、現在の高速化手法が期待通りに機能しない主な理由であると主張しています。

解決策： MoECaの「エキスパートレベル」戦略

著者らは、ゲームのルールを変えるシステムであるMoECa（Mixture-of-Experts Caching）を提案しています。それは、「この正方形全体を塗り直すべきか？」と問うのではなく、「この正方形における、この特定の専門家の仕事を塗り直すべきか？」と問うものです。

MoECaの実践的な仕組みは以下の通りです：

1. ブランチレベルのキャッシング： 各エキスパートの枝を独自の小さなユニットとして扱います。それは「樹皮のエキスパート」と「葉のエキパート」の出力を別々に記憶します。
2. スマートなマッチング： AIが次のステップに進むとき、MoECaはどのエキスパートがアクティブであるかを確認します。もし「樹皮のエキスパート」が前回と同じであれば、その仕事が十分に変化したかどうかをチェックします。「葉のエキスパート」も同じであれば、それについてもチェックします。
3. 適応型コントロール： システムは、あるエキスパートが他のエキスパートよりも敏感であることを理解できるほど賢明です。例えば、細かいディテール（コーヒーポットの縁など）に焦点を当てるエキスパートは非常に敏感です。MoECaはこれらのエキスパートに対してより低い「再利用閾値（リユース・スレッショルド）」を与え、品質を確保するために塗り直しが行われやすくします。一方で、ぼやけた背景を扱うエキスパートにはより高い閾値を与え、より頻繁に再利用できるようにします。
4. 同期されたアップデート： MoECaの重要な部分は、AIの「アテンション（注意）」部分（コンテキストを理解するために画像全体を見る部分）が「エキスパート」部分と同期していることを確認することです。もしエキスパートが更新されているのにアテンション部分が更新されていなければ、画像は混乱してしまいます。MoECaはこれらが共に更新されるようにし、AIが古い情報に「酔ってしまう」のを防ぎます。

結果： ぼやけることなく、より速く

研究者たちは、DSMoeファミリーやDiT-MoEを含むいくつかの人気のあるAIモデルでMoECaをテストしました。結果は目覚ましいものでした。

• 速度： 最良のケースにおいて、MoECaは画像生成を2.93倍高速化しました（具体的には、テキスト・トゥ・イメージ・タスクにおけるHiDream-I1モデル）。他のモデルでも、2.14倍から2.83倍程度の高速化を達成しました。
• 品質： 劇的なスピードアップにもかかわらず、画像の品質はオリジナルの低速な手法とほぼ同一でした。論文では、これらをFID（画像のリアリティを測定する指標）やPSNR（加速された画像がオリジナルにどれだけ近いかを測定する指標）などの指標を用いて測定しました。例えば、DSMoE-L-E48モデルにおいて、MoECaは2.83倍の高速化を達成しながら、FIDスコアを元のモデルの9.20に対し9.54に保ちました。
• 比較： ToCa、DuCa、TeaCacheといった他の高速化手法と比較した際、MoECaは、画像の品質を維持またはわずかに向上させながら、最も速い結果と最も低い計算コスト（FLOPs）を一貫して示しました。

論文では、なぜこれがこれほど上手くいくのかについても考察しています。彼らは、より多くのエキスパートを持つモデル（48個のエキスパートを持つE48構成など）では、再利用できる「安定した」ブランチを見つける機会が多いことを発見しました。これが、E48モデルが（より少ないエキスパートのモデルと比較して）わずかに高い高速化（最大2.83倍）を実現できた理由です。チームが専門化されていればされているほど、誰を働かせ、誰を休ませるかをより細かく選択できるのです。

これが将来にもたらす意味

論文は、これらの強力なAIモデルを高速化する鍵は、単に全体を速く動かすことではなく、それらが内部で「どのように機能しているか」を理解することであると結論づけています。エキスパートがそれぞれ異なるリズムとニーズを持っていることを理解することで、それらの違いを尊重する、よりスマートなキャッシングシステムを構築できるのです。

MoECaはAIモデルを再学習させる必要はなく、モデルがそのままの状態で、画像作成中の情報の処理方法を変更するだけで機能します。現在の研究は単一コンピュータでの画像生成に焦点を当てていますが、著者らは、この「きめ細かな」アプローチが、将来のビデオ生成やより複雑なタスクにおいて、さらに高速な生成を実現するための鍵となる可能性があると示唆しています。現時点において、それは、最も速い傑作の描き方は、適切なアーティストを休ませ、他のアーティストに働き続けてもらうことであるということを証明しています。