🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

本論文は、Apple Silicon向けのネイティブMetal推論ランタイムであるBaseRTを紹介しており、これはチップ固有の最適化を活用することで、llama.cppやMLXといった既存のフレームワークを最大1.56倍上回る、大規模言語モデルにおける記録的なスループットを実現しています。

原著者： Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：カスタム・レースカーの製作

想像してみてください。あなたは、非常に特定のコース（Apple SiliconチップであるM3やM4など）を走るための、専用のレースカー（大規模言語モデル、またはLLM）を運転したいと考えています。

現在、ほとんどの人は「汎用アダプター」や「レンタカー・キット」（llama.cppやMLXといった既存のソフトウェア）を使って、これらの車を運転しています。これらのキットは多くの異なるコースでも動作するため非常に優れていますが、この特定の「Appleコース」に対して完璧にチューニングされているわけではありません。余計な重りがあり、不要な手順があり、ショートカットを知らないドライバーが運転しているような状態です。

BaseRTは、Appleコースのためだけに設計された、新しいカスタムメイドのレースカーです。Base Computeのチームは、重いアダプターを取り除き、コース特有のカーブやルールに完全に一致するように、ゼロから車両を構築しました。その結果、劇的に速く走ることができるようになりました。

問題点：なぜ既存のソフトウェアは「遅い」のか？

この論文は、AIをMac上で動かすための既存のソフトウェアが、まるで寄り道が多い配送トラックのようであると主張しています。

「仲介者」の問題： ほとんどのソフトウェアは、コンピュータのグラフィックスチップ（GPU）と通信するために、「フレームワーク」という名の「仲介者」を使用しています。この仲介者は、あらゆるタスクの前にマネージャーがクリップボードでチェックを行うような、余計なステップを追加してしまいます。
「メモリ」の問題： Appleのコンピュータには、CPUとGPUが同じ大きなRAMプールを共有する「ユニファイドメモリ」という特別な機能があります。既存のソフトウェアは、これらをあたかも別々の部屋にあるかのように扱い、データの移動を不必要に往復させてしまっています。

解決策：BaseRTの仕組み

BaseRTは仲介者を排除し、脳（CPU）と筋肉（GPU）の間にダイレクトな高速道路を建設します。彼らが用いた4つの主要なトリックは以下の通りです。

「データ駆動型」の設計図：
あらゆる異なるAIモデル（Qwen、Lama、Gemmaなど）に対して新しい指示セットを書き直す代わりに、BaseRTは単一の柔軟な設計図を使用します。これは、テレビのブランドごとに異なるリモコンを用意する必要があるのではなく、向けているテレビを自動的に検知してボタンを瞬時に切り替える「ユニバーサルリモコン」のようなものです。これにより、再構成のためにエンジンを止めることなく、スムーズに走行を続けられます。
「停車ゼロ」のループ：
AIに文章を書かせるとき、AIは一度に一単語ずつ生成します。古いソフトウェアでは、コンピュータは新しい単語が生成されるたびに、そのための「駐車スペース（メモリ割り当て）」を探さなければなりません。BaseRTは、レースが始まる前にすべての駐車スペースをあらかじめ確保しておきます。AIが話し始めると、駐車場を探すために止まることは一度もなく、ただ走り続けます。これにより、メモリ管理による「交通渋滞」を排除します。
「フュージョン（融合）」キッチン：
通常、AIは材料（行列演算、アテンション、正規化など）を別々の鍋で調理し、その間で食べ物を移動させなければなりません。BaseRTは、これらのステップを一つの巨大な鍋へと融合させます。材料を一度の動作でまとめて調理することで、食べ物を移動させる時間を節約します。
「カスタム・ドライバー」：
このソフトウェアは、自分がどのAppleチップ（M1、M2、M3など）で動作しているかを正確に把握しています。エンジンの大きさに合わせてドライビングスタイルを調整し、燃料の一滴一滴から最大限のパワーを引き出します。

結果：レースの勝者は誰か？

チームはBaseRTを、2つの最大の競合相手である llama.cpp（最も人気のあるオープンソース・ランナー）および MLX（Apple公式のフレームワーク）と比較テストしました。

スピード： BaseRTは、ほぼすべてのテストにおいて最も速い結果を出しました。
- 小規模なモデルでは、llama.cppよりも最大 1.56倍速く なりました。
- 複雑なAIの脳を持つ大規模な「混合エキスパート（Mixture-of-Experts）」モデルでは、初期プロンプトの処理において最大 1.78倍速く なりました。
「小型モデル」のスイートスポット： 最大の勝利は小型モデルで見られました。これは、小型モデルにおいては「オーバーヘッド（管理業務に費やされる時間）」が総時間の大きな割合を占めるためです。この無駄を削ぎ落とすことで、BaseRTは劇的な差を生み出しました。
「大型モデル」の現実： 非常に大規模なモデルでは、スピードは主にデータの移動速度（帯域幅）によって制限されます。完璧なエンジンを持っていても、道路の制限速度を超えることはできません。しかし、BaseRTはここでもさらなるスピードを絞り出すことに成功しており、従来のソフトウェアが道路を効率的に活用できていなかったことを証明しました。

なぜこれが重要なのか？（「エッジ」へのシフト）

この論文は、AIが遠く離れたクラウドサーバーではなく、あなた自身のデバイス（ノートPCやスマートフォン）上で動作する未来に向かっていることを示唆しています。

プライバシー： あなたのデータがコンピュータの外に出ることはありません。
スピード： インターネット経由でリクエストをやり取りするのを待つ必要がありません。
コスト： 単語ごとに月額料金を支払う必要はありません。ハードウェアに一度支払えば済みます。

BaseRTは、適切なソフトウェアを使用すれば、Apple SiliconがローカルでのAI実行において、私たちが考えていた以上に強力であることを証明しています。

BaseRTが「できないこと」（制限事項）

この論文は、このツールがまだ何ではないのかについても正直に述べています。

シングルユーザー専用： これは一度に一人のユーザーがAIを使用することを想定して設計されています。何百人もの人が同時に質問を投げるような負荷（サーバーロード）には対応していません。
Apple専用： これはMacやiPadでのみ動作します。現時点ではWindows、Android、またはNVIDIAのグラフィックスカードでは動作しません。
「視覚」はまだ未実装： 現在はテキストモデルを扱っており、画像を「見る」ことができるモデルには対応していません。

まとめ

著者たちは、Appleコンピュータ上でAIを動かす際の不要な荷物をすべて取り除いたカスタムエンジン（BaseRT）を構築しました。そうすることで、ハードウェアのフルスピードの可能性を解き放ち、ローカルAIをかつてないほど速く、プライベートで、効率的なものにしました。GitHubでぜひ自分で試してみてください。

技術要約: BaseRT – Apple SiliconにおけるネイティブMetalによる最高水準のLLM推論

問題提起

本論文は、Apple Siliconにおける大規模言語モデル（LLM）推論のパフォーマンスにおけるギャップを指摘している。Appleのユニファイドメモリ・アーキテクチャ（UMA）は、ローカルでのLLM展開に適した高帯域幅と容量を提供しているが、既存のランタイムはこのハードウェアを十分に活用できていない。

フレームワークのオーバーヘッド: llama.cpp（元々はCPUファーストでMetalバックエンドを持つ）やMLX（遅延評価を行う汎用配列フレームワーク）といった主要なランタイムは、アーキテクチャ上の制約を導入している。これらには、不必要な抽象化レイヤー、フレームワークレベルのスケジューリング、およびディスパッチのオーバーヘッドが含まれ、これらはMetalの実行モデルに対して最適化されていない。
リソース利用の最適化不足: これらのフレームワークは、特にカーネル起動のオーバーヘッド、メモリレイアウトの非効率性、およびチップ固有のカーネル融合（kernel fusion）の不全に関して、パフォーマンスを「取りこぼして」いることが多い。
エッジ推論の文脈: 業界がプライバシー、レイテンシ、接続性、およびコストの懸念に裏打ちされたエッジ推論へとシフトする中で、現在のランタイムがコンシューマ向けハードウェア上のスループットを最大化できないことは、オンデバイスAIの実現可能性を制限している。

メソドロジー

BaseRTは、MLX、PyTorch、またはCoreMLといった中間フレームワークへの依存を排除し、AppleのMetal GPU APIに直接構築されたネイティブC++推論ランタイムである。その設計は、オーバーヘッドを最小限に抑えるための4つのコア原則に基づいている：

データ駆動型アーキテクチャ記述子: 推論ループ内に条件分岐を用いてアーキテクチャのバリエーション（アテンション機構、正規化など）をハードコードする代わりに、BaseRTはこれらの差異をデータとして捉える。コンパクトな記述子がエンジンを駆動することで、「ホットパス」は異なるモデルファミリー（LLaMA、Qwen3、Gemmaなど）間で同一に保たれ、分岐が減少し均一性が向上する。
ゼロアロケーション・デコードループ: メモリ管理の競合を排除するため、すべての中間バッファ（残差、アテンション・スクラッチ、ロジット、KVキャッシュ）はロード時に事前割り当てされる。デコードループは動作中にゼロバイトを割り当てず、GPUコマンドのディスパッチと軽量なCPU側のパッチ適用のみに依存する。
カーネル融合と特化:
- 融合 (Fusion): BaseRTは、他のランタイムでは個別のカーネルとしてディスパッチされるオペレータシーケンス（アテンションパスやフィードフォワードブロック内など）を融合させる。これにより、グローバルメモリへのラウンドトリップとカーネル起動のオーバーヘッドを削減できる。これは、個々のカーネルの実行時間が短いデコードフェーズにおいて極めて重要である。
- 特化 (Specialization): ランタイムには、各量子化形式（Q2–FP16）に対する専用のGEMV（デコード用）およびGEMM（プリフィル用）を備えた手書きのMetalシェーダーライブラリが含まれている。重みをグローバルメモリ上に実体化させることを避けるため、逆量子化（Dequantization）は内部ループに直接組み込まれている。
- ハードウェア適応性: カーネル選択、スレッドグループサイズ、および融合の決定は、特定のチップ（M1–M5）およびGPUコア数に基づいて動的に構成される。
プリフィル最適化: プリフィル操作は、simdgroup行列イントリンジクスを用いたタイル型GEMMカーネルを利用する。FlashAttentionの実装は、オンラインソフトマックスを用いてタイル単位でアテンションを計算し、 $O(n)$ のメモリ複雑性を達成することで、 $O(n^2)$ のフルアテンション行列の実体化を回避する。

主な貢献

ネイティブMetalランタイム: MLXや他の中間フレームワークに依存せず、Metal上でネイティブに構築された、Apple Silicon向けの初のLLM推論ランタイム。
チップ固有の最適化: Apple Siliconのトポロジーに特化したカーネル融合戦略とユニファイドメモリを意識したデータレイアウトの実装。
カスタムディスパッチロジック: フレームワークベースのランタイムに見られる、オペレータごとのスケジューリングやグラフ評価の作業を取り除く、低オーバーヘッドのコマンドディスパッチメカニズム。
包括的なベンチマーク: M3およびM4 Proデバイス上で、複数のモデルファミリー（Qwen3、Llama 3.2、Gemma 4）および量子化レベル（Q4、Q8）にわたる厳格な評価を実施し、新たなスループットの基準を確立。

結果

論文によれば、BaseRTはApple Siliconにおいて現在最高水準の推論スループットを達成しており、llama.cpp、MLX、およびネイティブMetalランタイムであるuzu（Mirai）を上回っている。

デコード・スループット（トークン生成）:
- BaseRTは、テストされたモデル全体でllama.cppよりも1.04倍〜1.56倍高いスループットを達成している。この改善は、固定のトークンあたりのオーバーヘッドがレイテンシの大きな割合を占める小型のデンスモデル（例：Qwen3-0.6Bで56%高速化）において最も顕著である。
- BaseRTは、ほとんどのモデルにおいてMLXよりも1.01倍〜1.35倍高いスループットを達成している。
- M3 Baseデバイスにおいて、BaseRTはllama.cppを1.13倍〜1.34倍、MLXを1.01倍〜1.22倍リードしている。
プリフィル・スループット（プロンプト処理）:
- デンスモデル: プリフィルは計算量に依存し、GPUのmatmulユニットを飽和させるため、ランタイム間の性能は互角である。BaseRTは短いプロンプトでリードするが、一部のデンスモデルにおいて長いプロンプトではわずかに後塵を拝する。
- 混合エキスパート (MoE) モデル: BaseRTは大幅なリードを示し、短いプロンプト長において、MoEモデル（例：Qwen3-30B-A3B）でMLXより最大1.78倍、llama.cppより1.81倍高いスループットを達成している。
uzuとの比較: BaseRTは、ほとんどの構成においてデコード・スループットでuzuを上回っている（Qwen3-0.6Bで最大1.19倍）。しかし、uzuはデンスモデルのプリフィル・スループットにおいてリードしており、これは恐らくBaseRT（GPUのみのパス）が現在活用していないMPSGraph経由のApple Neural Engine (ANE) の利用に起因すると考えられる。

意義と主張

本論文は、BaseRTがApple SiliconにおけるオンデバイスLLM推論の新たなパフォーマンス・ベースラインを確立し、フレームワークベースのアプローチによってハードウェアのポテンシャルが系統的に過小評価されてきたことを示していると主張している。

ハードウェア能力の再定義: 結果は、フレームワークの抽象化オーバーヘッドを取り除くことで、パフォーマンスの天井が大幅に高まり、Apple Siliconがこれまで報告されていたよりも有能な推論プラットフォームであることを示唆している。
エッジ推論の実現: 1B未満から30Bパラメータまでのモデルに対して一貫して最高水準のスループットを提供することで、BaseRTは、プライバシー要件、レイテンシ制約、およびクラウドコストの圧力によって推進されるエッジ推論パラダイムへの移行における重要なエンタイトル層として機能する。
オープンな可用性: このランタイムは公開されており、コミュニティがこれらのネイティブ最適化を活用することを可能にしている。

著者らは、BaseRTが現在はシングルデバイス推論のみをサポートしており、継続的バッチング（continuous batching）やテンソル並列化を欠いており、またApple Metalに限定されている（CUDA/Vulkanバックエンドはまだない）という制限についても、謙虚に述べている。今後の課題は、アーキテクチャのカバー範囲の拡大と、より幅広いプラットフォーム互換性のためのバックエンドサポートの追加である。