✨ 要約🔬 技術概要
現代のコンピュータの脳を、巨大で超知的な司書に例えてみましょう。この司書はただ本を読むだけでなく、本を書き、数学の問題を解き、さらには絵を見て物語を語ることさえできます。これを行うために、この司書は「トランスフォーマー（Transformer）」と呼ばれる特別な種類の脳の構造を使用しています。トランスフォーマーを、情報が組み立てラインのように流れる巨大な工場だと考えてみてください。これらのライン上の各ステーションでは、工場は膨大な計算を実行します。それは、巨大な数字のグリッド同士を掛け合わせる作業です。これらが、魔法の原動力となる「行列演算（matrix multiplications）」です。問題は、これらの計算が非常に重たいことです。それは、ティースプーンを使って砂の山を動かそうとするようなもので、膨大なエネルギーと時間を必要とします。AIモデルが賢くなり、大きくなるにつれて、この「山」は高くなり、実行するためのコストと時間が膨れ上がっていきます。科学者たちは長い間、こう疑問に思ってきました。「司書は、あらゆるタスクに対して、本当にその砂山のすべての粒を使っているのだろうか？ それとも、司書に気づかれることなく、取り除くことができる不要な砂がたくさんあるのではないだろうか？」
この論文は、「削減行列演算（Reduced Matrix Multiplication: RMM）」と呼ばれる巧妙な新しいトリックを紹介しています。工場を恒久的に縮小したり、司書の記憶の一部を削除したりする（それは故障の原因になります）代わりに、RMMはスマートな、その場限りのフィルターとして機能します。司書が膨大な計算を行おうとするたびに、RMMは一時停止してこう問いかけます。「今、このグリッドの中で、実際に重労働を担っている具体的な数字はどれだろうか？」そして、最も重要な数字だけ、例えば上位50%や70%だけを選び出し、その特定の瞬間については残りの数字を無視します。それは、シェフがスープを作るために冷蔵庫にあるすべての野菜を刻むのではなく、素早く出汁の味を見て、今まさに「この」味のために必要なニンジンと玉ねぎだけを使うことに似ています。最も素晴らしい点は、司書がこの方法を行うために再学習されたり教えられたりする必要はなく、すでに生成されている数字を用いて自然に機能するという点です。
研究者たちは、10億パラメータを持つ小さなモデルから700億パラメータを持つ巨人まで、幅広いAIモデルを用いてこのアイデアをテストしました。彼らは、これらのモデルが驚くほど柔軟であることを発見しました。数字の一部だけを残して計算量を減らしても、モデルが崩壊することはありませんでした。実際、モデルが大きければ大きいほど、正気を保ったまま手放せる「砂」は多いようでした。例えば、700億パラメータを持つ巨大なモデルは、計算量を50%削減しても、以前とほとんど変わらない精度で質問に答えたり物語を書いたりすることができました。しかし、この論文は、これらの工場がどのように構築されているかについての面白い奇妙な性質も発見しました。「アテンション（attention）」の部分（モデルがどこに集中すべきかを決定する部分）は非常に寛容で、仕事の半分を失っても容易に耐えることができます。しかし、「MLP」の部分（情報を処理し、変換する部分）はもっと敏感です。ここで削りすぎると、モデルはつまずき始めます。
チームはまた、このトリックがテキスト専用のモデルだけでなく、見て話すことができるモデルにも機能することを示しました。彼らはさらに、これらの数字をスキップすることが、特にストーリーや文章が非常に長くなる場合に、現実のコンピュータ上で実際に動作を速くすることを証明するための特別なソフトウェアツールも構築しました。この論文は、これがAIをより安価で高速にする有望な方法であることを示唆していますが、誰にとっても「完璧な」設定が一つ存在するわけではないことも指摘しています。モデルや、何をさせているかに基づいて、どれくらい削るかを調整する必要があります。しかし全体として、RMMは、トレーニング不要でデジタルな巨人をより軽く動かすための新しい方法を提供しており、時には、計算を少なくすることが、実は同じくらい明晰に思考する助けになることを証明しています。
技術要約：LLM推論のための縮小行列積（Reduced Matrix Multiplication: RMM）
問題提起 内部 で行われる収縮計算を、特定の入力に対して適応的に削減できるかという点には直接対処していない。既存の活性化スパース性手法（TEALやCATSなど）は、低振幅の活性化エントリをスキップするが、これらは一般的な行列積の共有された収縮軸を削減することではなく、隠れ状態のスパース化に焦ateしている。
手法：縮小行列積（RMM） Reduced Matrix Multiplication (RMM) を提案する。これは、トレーニングを必要としない、入力適応型の推論手法である。RMMは、Transformerの計算を $Y = ABという統一された形式で扱う。ここで、 という統一された形式で扱う。ここで、 という統一された形式で扱う。ここで、 は活性化行列、 は活性化行列、 は活性化行列、
コアメカニズム: 全体の積 $AB$ を計算する代わりに、RMMは現在の入力の活性化の大きさに基づいて、共有された収縮次元 d d d I I I A : , I B I , : A_{:,I} B_{I,:} A : , I B I , : 選択戦略: 本手法は、**活性化を考慮した次元選択（activation-aware dimension selection）**を採用している。各特徴次元 j j j s j = ∥ A : , j ∥ 2 s_j = \|A_{:,j}\|_2 s j = ∥ A : , j ∥ 2 k k k k = ⌈ ρ d ⌉ k = \lceil \rho d \rceil k = ⌈ ρ d ⌉ ρ \rho ρ 理論的根拠: 著者らは、選択時に A A A B B B 適用範囲: RMMは以下に適用される：
アテンション層: Q K ⊤ QK^\top Q K ⊤ MLPおよび線形投影: フィードフォワード投影（$XW$）における隠れ次元の削減。
実装: 本手法は、特徴スコアの計算と Top-k k k
主な貢献
入力適応型削減: 重みのプルーニング、トークンの圧縮、あるいはキャッシュの管理とは異なる、行列積そのものの収縮計算を削減するという、新しい視点の推論最適化を導入した。トレーニングフリーかつ制御可能: 再学習を必要とせず、単純な保持比率（ρ \rho ρ メカニズムの洞察: アブレーション研究を通じて、論文はTransformerにおける構造的な非対称性 を明らかにしている：
アテンション側の計算 （Q, K, V投影、Q K ⊤ QK^\top Q K ⊤ MLPコンポーネント は削減に対して著しく敏感であり、「Up」投影が最も敏感で、「Down」投影はより頑健である。MLPブロック全体をプルーニングすると、深刻な性能崩壊を招く。
汎用性: この原理が、テキストのみのモデルを超えて、マルチモーダルな視覚言語推論（例：Qwen2.5-VL）にも拡張可能であることを示している。
実験結果
静的/ランダムなベースラインとの比較: 固定の保持比率（例：ρ = 0.5 \rho=0.5 ρ = 0.5 スケーリングの傾向: 一般に、より大きなモデルほど、より積極的な削減に耐えることができる。例えば、LLaMA 3.1 70Bは、ほとんどのベンチマークにおいて ρ = 0.8 \rho=0.8 ρ = 0.8 頑健性: RMMは自己回帰的な生成およびロングコンテキスト設定（最大30Kトークン）においても安定しており、突発的な失敗ではなく、スムーズな劣化を示す。実行効率: カスタムカーネルを用いたNVIDIA A100 GPUでのベンチマークでは、計算量の削減が実質的なウォークスルー（実時間）の高速化につながることが示された（例：4096トークンにおいて1.40倍の高速化）。特筆すべきは、4096トークンの時点で、高密度実装ではメモリ不足（OOM）が発生したが、RMMは推論を完了できたことである。互換性: 本手法はINT8重み量子化と互換性があり、様々な視覚言語モデルのバックボーンにも拡張可能である。
意義と主張 入力適応型の推論時最適化 のためのスケーラブルな方向として位置づけている。その主要な意義は、Transformerの推論における冗長性は一様に分布しているのではなく、特定のコンポーネント（特にアテンション側の操作）に集中しており、かつ入力によって変化することを実証した点にある。この構造的な非対称性と入力依存の活性化情報を活用することで、RMMはモデルの再学習や構造変更を必要とせずに、制御可能な効率向上を実現する。著者らは、行列積レベルの適応的削減は効率的なTransformer推論のための有望な道筋であり、将来の手法はコンポーネント固有の冗長性パターンを考慮すべきであると結論付けている。
限界
毎週最高の machine learning 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。 登録 ×