🤖 machine learning

VisMMOE: Exploiting Visual-Expert Affinity for Efficient Visual-Language MoE Offloading

VisMMoE は、トークン剪定と予測的オーケストレーションを通じて視覚専門家の親和性を活用し、メモリ制約のあるプラットフォームにおける推論性能を大幅に向上させる大規模な視覚言語混合専門家モデル向けの効率的なオフローディングシステムである。

原著者： Cheng Xu, Xiaofeng Hou, Jiacheng Liu, Chao Li

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cheng Xu, Xiaofeng Hou, Jiacheng Liu, Chao Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

知識の巨大な図書館（巨大な AI モデル）を想像してください。それは、1 つの本棚（コンピュータのグラフィックスカード）に収まりきらないほど大きいです。それを使うためには、最も重要な本を棚に置き、必要な他の本を常に地下室（コンピュータのメインメモリ）へ取りに行き続ける必要があります。この行き来の繰り返しは遅く、時間を浪費します。

これがビジョン・ランゲージ MoE モデルの問題点です。これらは画像を「見て」テキストを「読む」ことができる超スマートな AI システムです。内部には「専門家」と呼ばれる何千もの小さな専門家がいて、AI が画像を見ると、異なる専門家に助けを求めます。

問題点：「混沌とした群衆」

この論文は、これらの AI がテキストを見ると、小さく予測可能な専門家のグループに助けを求めると説明しています。これは、特定の依頼に対して棚からどの 5 冊の本を引けばよいかを正確に知っている図書館司書のようです。

しかし、AI が画像を見ると、圧倒されてしまいます。高解像度の画像は、何千もの小さなピクセル（トークン）で構成されています。論文によると、生画像は AI に、巨大で散らばった専門家のグループに助けを求めるようにさせます。これは、図書館司書が突然、1 つの文ごとに 100 冊もの異なるランダムな本を地下室へ取りに行かねばならなくなったようなものです。この「混沌とした群衆」のようなリクエストにより、システムは遅くなります。なぜなら、コンピュータは実際に思考する時間よりも、行き来する時間の方を多く費やしてしまうからです。

解決策：VisMMOE（スマートな整理係）

著者らはVisMMOEと呼ばれるシステムを作成しました。彼らの大きなアイデアは単純です：「画像の『退屈な』部分を単に捨て去るのではなく、最も混乱を引き起こす部分を捨て去る」。

彼らはこれを**「視覚的専門家親和性」**と呼びます。これは、ゲストが来る前に散らかった部屋を整理するようなものです。床を掃除するだけでなく、ゲストが 10 か所ではなく、特定の 3 か所だけへ歩けば済むように家具を配置し直すのです。

以下が VisMMOE が 3 つのステップでどのように機能するかです：

スマートなフィルター（親和性認識トークン圧縮器）：
通常、システムは画像の「最も重要な」部分（顔や車など）を保持しようとします。VisMMOE もこれを行いますが、さらに確認します：「もしこの画像部分を保持したら、コンピュータに新しいランダムな本を大量に地下室へ取りに行かせないか？」
もしあるピクセルが少し重要度が低くても、大量のリクエストの混乱を引き起こす場合、VisMMOE はそれを切り捨てます。これにより画像は理解可能のままですが、必要な専門家のリストははるかに短く、整理されたものになります。
水晶玉（圧縮誘導先読み予測器）：
必要な専門家のリストがより小さく整理されたため、システムは次に何を必要とするかを、はるかに高い精度で予測できます。これは、図書館司書に*「次の 5 つのリクエストは間違いなく A、B、C の本を必要とする」*と告げる水晶玉を持っているようなものです。
これにより、コンピュータは現在のタスクを処理している間に、それらの本を取り始めることができ、待ち時間を隠すことができます。
交通管理者（パイプラインオーケストレーター）：
この部分は、棚（GPU）と地下室（CPU）間の交通を管理します。コンピュータが本が到着するのを待って何もしない状態になることなく、常に思考するか取りに行くかのいずれかの有用な作業を行っていることを保証します。

結果

この論文は、標準的なコンピュータハードウェアを使用した強力な AI モデルでこのシステムをテストしました。

速度： 既存の手法と比較して、場合によっては AI を2.68 倍、他の場合は1.61 倍高速化しました。
知能： 一部の画像データを捨てたにもかかわらず、AI は以前と同様に画像を理解していました。その「脳力」を失ったのではなく、走り回る時間を浪費しなくなったのです。

結論

VisMMOE は、AI 向けのスマートな交通管理者のようなものです。画像は散らかりやすく、渋滞を引き起こすことを認識しています。AI の内部専門家がより良く連携できるように、画像データを特定の方法で整理することで、より高価なハードウェアを必要とせずに、システム全体を大幅に高速化します。

技術サマリー：VisMMOE

問題定義

大規模なビジョン・言語混合エキスパート（VL-MoE）モデルは強力なマルチモーダル能力を提供する一方、メモリ制約のある単一 GPU プラットフォームでの展開において重大な課題に直面しています。既存の MoE オーバーロードシステムは、エキスパートキャッシングと予測的プリフェッチに依存してテキスト中心のワークロードを効果的に処理しますが、視覚的な入力が多い場合、その性能は著しく低下します。

核心的な問題は、エキスパートアクセスパターンの不一致にあります。テキストトークンは通常、コンパクトで予測可能なエキスパートのサブセットを活性化するため、オーバーロードシステムは高いキャッシュヒット率と効果的なプリフェッチを維持できます。これに対し、生の視覚トークンは層全体にわたって断片化され、広範なエキスパート活性化を引き起こします。この断片化は、実効的なエキスパート作業セットを拡大し、キャッシュの局所性を低下させ、将来のエキスパート需要の予測を困難にします。その結果、エキスパートの移動（CPU から GPU への転送）は頻繁にクリティカルパス上に残り、実行時のレイテンシを支配します。

手法

著者は、視覚 - エキスパート親和性という洞察に基づいた VL-MoE オーバーロードシステム「VisMMOE」を提案します。中心的な仮説は、冗長な視覚トークンを剪定することが計算量（FLOPs）の削減だけでなく、エキスパート需要を再編成し、より集中し予測可能にするという点です。VisMMOE は、この親和性を活用するために、3 つの密接に結合したコンポーネントを統合しています。

1. 親和性認識型トークン圧縮器

セマンティックな重要性や FLOPs 削減を優先する標準的な圧縮方法とは異なり、VisMMOE の圧縮器はエキスパート作業セットの拡大を最小化するように設計されています。

重要なコア: アテンションマップに基づき、セマンティック忠実度を支えるために不可欠な少量の視覚トークンを特定します。
限界拡大スコア: 残りのトークンについて、セマンティック価値とエキスパートセットの「限界拡大」をバランスさせるスコアを計算します。重要なコアによって既にカバーされていない新しいエキスパートを活性化させるトークンにはペナルティを課します。
結果: これにより、必要な視覚証拠を保持しつつ、エキスパート活性化が層内で空間的に集中し、層間で時間的に安定することを保証する圧縮トークンセットが生成されます。

2. 圧縮誘導型先読み予測器

このモジュールは、効果的なプリフェッチを可能にするために、将来の層で必要なスパースなエキスパートセットを予測します。

特徴構築: (i) 最近のルーティング履歴の圧縮ヒストグラム、(ii) 保持された視覚トークンのプーリングされた隠れ状態要約、(iii) 静的な視覚要約の 3 つのソースから導出されたコンパクトな特徴ベクトルを利用します。
ウィンドウ付き予測: 軽量な MLP を用いて、限定された先読みウィンドウ（例：次の $W$ 層）におけるエキスパートの優先度を予測します。
減衰監督: 学習ターゲットには距離減衰因子を使用し、遠い層よりも近い層で必要なエキスパートを優先します。これは、限られた VRAM と帯域幅の制約と整合します。

3. エキスパートキャッシングとパイプラインオーケストレーター

このコンポーネントは、CPU と GPU メモリ間のエキスパートの物理的な移動を管理します。

構造化レジデンス: GPU メモリは、非エキスパートパラメータ、共有エキスパート、および初期 MoE 層の「ピン留めされたプレフィックス」を含む静的レジデント領域と、より深い層のための動的スラブベースのエキスパートキャッシュに分割されます。
パイプラインオーケストレーション: システムは、計算ストリームと転送ストリームに実行を分離します。予測器は転送ストリームを駆動し、優先度の高いエキスパートを非同期的にプリフェッチします。
安全性保証付きエビクション: 自己回帰デコーディング中、キャッシュマネージャーは、予測器の優先度に基づき、実行が完了した層に対応する「期限切れ」のエキスパートのみをエビクトします。これにより、安全性を確保しつつ再利用を最大化します。

主要な貢献

VL 固有の不一致の特定: 本論文は、生の視覚入力が先行する MoE オーバーロードシステムの局所性と予測可能性の仮定を破り、断片化したエキスパート需要を引き起こす方法を特徴づけます。
視覚 - エキスパート親和性: 視覚トークンの圧縮が単なる計算最適化ではなく、オーバーロードのためのシステムメカニズムとして機能することを示します。冗長なトークンの剪定は、エキスパートの局所性とルーティングの規則性を向上させます。
システム設計: VisMMOE は、トークン保持、エキスパート予測、実行時キャッシュ/パイプライン管理を共同設計し、露出した転送オーバーヘッドを削減する、圧縮誘導型のオーバーロードシステムです。
実装と評価: システムは、市販の GPU プラットフォーム（NVIDIA A100、RTX 3090）と組み込みプラットフォーム（Jetson AGX Orin）上で実装され、既存のフレームワーク（Hugging Face Accelerate、KTransformers）と統合されています。

結果

VisMMOE は、複数のベンチマーク（MME、MMBench、POPE、OCRBench）において、代表的な VL-MoE モデル（Qwen3-VL-30B-A3B および DeepSeek-VL2）で評価されました。

性能向上: VisMMOE は、強力なベースライン（Hugging Face Accelerate、SGLang、KTransformers）と比較して、デコード速度で最大2.68 倍のエンデンド推論性能向上を実現し、プリフィルレイテンシを大幅に削減しました。RTX 3090 上では、最大1.61 倍の高速化を達成しています。
精度: システムは競争力のある精度を維持します。例えば、Qwen3-VL で 70% のトークン保持率の場合、精度の低下は最小限（MME および MMBench で 2% 未満）であり、ランダム剪定を上回り、最先端のトークン圧縮方法と同等の性能を示します。
予測の有効性: 先読み予測器は、バッファサイズに応じて 64.1% から 89.8% のホットリコールを達成し、ランダムベースラインに対して 3.8 倍から 8.2 倍の改善を示しています。
オーバーヘッド: 予測器は無視できるオーバーヘッド（平均レイテンシ約 2.72 ms）を導入するのみで、圧縮コストはレジデント層の実行中に戦略的にマスキングされます。

意義と主張

本論文は、VisMMOE がメモリが限られた単一 GPU における大規模マルチモーダルモデルの展開における重要なボトルネックに対処することを主張しています。視覚トークンの冗長性とエキスパートルーティングパターンとの関係を明示的に活用することで、VisMMOE はトークン圧縮を純粋なアルゴリズム的最適化から、オーバーロード効率を向上させるシステムレベルのレバーへと変換します。

著者は、彼らのアプローチが基盤モデルのアーキテクチャ変更を必要とするのではなく、実行時の実行フローを最適化するものであることを強調しています。結果は、モデル入力（親和性認識型圧縮を介して）とシステム実行（予測とオーケストレーションを介して）を共同最適化することが、厳しいメモリ制約下での実用的な VL-MoE 展開にとって実行可能かつ効果的な戦略であることを示唆しています。この研究は、視覚的なワークロードに対しては、テキスト中心のオーバーロード戦略を単に適用するだけでは不十分であり、局所性と予測可能性を回復させるために、システムがエキスパート需要を能動的に再編成する必要があることを浮き彫りにしています。