🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

Le document présente BaseRT, un moteur d'inférence Metal natif pour Apple Silicon qui exploite des optimisations spécifiques à la puce pour atteindre un débit record pour les modèles de langage de grande taille, surpassant les frameworks existants comme llama.cpp et MLX jusqu'à 1,56x.

Auteurs originaux : Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Construire une voiture de course sur mesure

Imaginez que vous vouliez conduire une voiture de course (un grand modèle de langage, ou LLM) sur une piste très spécifique (les puces Apple Silicon comme la M3 ou la M4).

Actuellement, la plupart des gens conduisent ces voitures en utilisant un « adaptateur universel » ou un « kit de voiture de location » (les logiciels existants comme llama.cpp ou MLX). Ces kits sont excellents car ils fonctionnent sur de nombreuses pistes différentes, mais ils ne sont pas parfaitement réglés pour cette piste spécifique Apple. Ils ont du poids superflu, des étapes inutiles et un conducteur qui ne connaît pas les raccourcis.

BaseRT est une nouvelle voiture de course construite sur mesure, conçue uniquement pour la piste Apple. L'équipe de Base Compute a supprimé les adaptateurs lourds et a construit un véhicule de toutes pièces pour correspondre aux courbes et aux règles uniques de la piste. Le résultat ? Elle roule nettement plus vite.

Le problème : Pourquoi les logiciels actuels sont « lents »

L'article soutient que les logiciels existants pour faire fonctionner l'IA sur Mac sont comme un camion de livraison qui fait trop d'arrêts.

Le problème de l'intermédiaire : La plupart des logiciels utilisent un « framework » (comme un intermédiaire) pour parler à la puce graphique (le GPU) de l'ordinateur. Cet intermédiaire ajoute des étapes supplémentaires, comme un gestionnaire qui vérifie un presse-papiers avant chaque tâche.
Le problème de la mémoire : Les ordinateurs Apple possèdent une caractéristique spéciale appelée « Mémoire Unifiée », où le CPU et le GPU partagent le même grand réservoir de RAM. Les logiciels existants traitent souvent ces composants comme s'ils étaient dans des pièces séparées, forçant les données à faire des allers-retours inutiles.

La solution : Comment fonctionne BaseRT

BaseRT supprime l'intermédiaire et construit une autoroute directe entre le cerveau et le muscle. Voici les quatre astuces qu'ils ont utilisées :

Le plan directeur « piloté par les données » :
Au lieu d'écrire un nouvel ensemble d'instructions pour chaque modèle d'IA différent (comme Qwen, Llama ou Gemma), BaseRT utilise un plan directeur unique et flexible. Imaginez cela comme une télécommande universelle qui détecte automatiquement la télévision vers laquelle vous pointez et change instantanément ses boutons, plutôt que de nécessiter une télécommande différente pour chaque marque. Cela permet au moteur de fonctionner sans interruption pour reconfiguration.
La boucle « sans arrêt » :
Lorsque vous demandez à une IA d'écrire une phrase, elle génère un mot à la fois. Dans les anciens logiciels, l'ordinateur doit trouver une place de stationnement (allocation de mémoire) pour chaque nouveau mot créé. BaseRT pré-réserve tous les emplacements avant le début de la course. Une fois que l'IA commence à parler, elle ne s'arrête jamais pour chercher une place de parking ; elle continue simplement de rouler. Cela élimine les « embouteillages » causés par la gestion de la mémoire.
La cuisine de la « fusion » :
Habituellement, une IA doit cuisiner les ingrédients dans des casseroles séparées (Multiplication de matrices, Attention, Normalisation) et déplacer la nourriture entre elles. BaseRT fusionne ces étapes en une seule grande casserole. Il cuit les ingrédients ensemble en un seul mouvement, économisant le temps nécessaire pour déplacer la nourriture.
Le « chauffeur sur mesure » :
Le logiciel sait exactement sur quelle puce Apple il fonctionne (M1, M2, M3, etc.). Il ajuste son style de conduite en fonction de la taille spécifique du moteur, garantissant qu'il tire le maximum de puissance de chaque goutte de carburant.

Les résultats : Qui a gagné la course ?

L'équipe a testé BaseRT contre ses deux plus grands concurrents : llama.cpp (le moteur open-source le plus populaire) et MLX (le propre framework officiel d'Apple).

Vitesse : BaseRT était le plus rapide dans presque tous les tests.
- Sur les petits modèles, il était jusqu'à 1,56 fois plus rapide que llama.cpp.
- Sur les grands modèles « Mixture-of-Experts » (cerveaux d'IA complexes), il était jusqu'à 1,78 fois plus rapide pour traiter l'invite initiale.
Le point fort des « petits modèles » : Les plus grandes victoires ont eu lieu sur les petits modèles. C'est parce que, sur les petits modèles, la « surcharge » (le temps perdu en tâches administratives) représente une énorme partie du temps total. En supprimant ce gaspillage, BaseRT a fait une différence massive.
La réalité des « grands modèles » : Sur les modèles très volumineux, la vitesse est principalement limitée par la rapidité avec laquelle les données circulent dans la mémoire (la bande passante). Même avec un moteur parfait, on ne peut pas dépasser la limite de vitesse de la route. Cependant, BaseRT a tout de même réussi à extraire une vitesse supplémentaire ici, prouvant que les logiciels précédents n'utilisaient pas la route efficacement.

Pourquoi est-ce important ? (Le basculement vers l'« Edge »)

L'article suggère que nous nous dirigeons vers un avenir où l'IA fonctionne sur votre propre appareil (votre ordinateur portable ou votre téléphone) plutôt que sur un serveur distant dans le cloud.

Confidentialité : Vos données ne quittent jamais votre ordinateur.
Vitesse : Pas besoin d'attendre que l'internet renvoie votre requête.
Coût : Vous ne payez pas un abonnement mensuel par mot ; vous ne payez le matériel qu'une seule fois.

BaseRT prouve que l'Apple Silicon est bien plus puissant pour faire fonctionner l'IA localement que nous le pensions, si vous utilisez un logiciel conçu spécifiquement pour lui.

Ce que BaseRT ne fait PAS (Les limites)

L'article est honnête sur ce que cet outil n'est pas encore :

Utilisateur unique uniquement : Il est conçu pour une seule personne utilisant l'IA à la fois. Il ne gère pas des centaines de personnes posant des questions simultanément (charge serveur).
Uniquement Apple : Il ne fonctionne que sur les Mac et les iPad. Il ne fonctionne pas encore sur Windows, Android ou les cartes graphiques NVIDIA.
Pas encore de « Vision » : Il traite actuellement les modèles de texte, pas les modèles capables de « voir » des images.

L'essentiel à retenir

Les auteurs ont construit un moteur personnalisé (BaseRT) qui supprime tout le bagage inutile de l'exécution de l'IA sur les ordinateurs Apple. Ce faisant, ils ont débloqué le plein potentiel de vitesse du matériel, rendant l'IA locale plus rapide, plus privée et plus efficace que jamais. Vous pouvez l'essayer vous-même sur GitHub.

Résumé Technique : BaseRT – L'inférence LLM de premier plan sur Apple Silicon via Metal Natif

Problématique

Le document identifie un écart de performance dans l'inférence des grands modèles de langage (LLM) sur Apple Silicon. Bien que l'architecture de mémoire unifiée (UMA) d'Apple offre une bande passante et une capacité élevées adaptées au déploiement local de LLM, les runtimes existants ne parviennent pas à exploiter pleinement ce matériel.

Surcoût des Frameworks : Les runtimes dominants comme llama.cpp (conçu à l'origine pour le CPU avec un backend Metal) et MLX (un framework de calcul matriciel généraliste à évaluation paresseuse) introduisent des contraintes architecturales. Celles-ci incluent des couches d'abstraction inutiles, une planification au niveau du framework et des surcoûts de dispatch qui ne sont pas optimisés pour le modèle d'exécution de Metal.
Utilisation Sous-optimale des Ressources : Ces frameworks laissent souvent de la performance « sur la table », particulièrement en ce qui concerne les surcoûts de lancement de kernels, les inefficacités de disposition de la mémoire et l'incapacité à réaliser la fusion de kernels spécifique à la puce.
Contexte de l'Inférence en Périphérie (Edge) : Alors que l'industrie s'oriente vers l'inférence en périphérie, portée par des enjeux de confidentialité, de latence, de connectivité et de coût, l'incapacité des runtimes actuels à maximiser le débit sur le matériel grand public limite la viabilité de l'IA embarquée.

Méthodologie

BaseRT est un runtime d'inférence C++ natif construit directement sur l'API GPU Metal d'Apple, éliminant les dépendances vis-à-vis des frameworks intermédiaires comme MLX, PyTorch ou CoreML. La conception est guidée par quatre principes fondamentaux pour minimiser le surcoût :

Descripteurs d'Architecture Pilotés par les Données : Au lieu de coder en dur les variations d'architecture (ex: mécanismes d'attention, normalisation) dans la boucle d'inférence via des branchements conditionnels, BaseRT capture ces différences sous forme de données. Un descripteur compact pilote le moteur, garantissant que le « chemin critique » (hot path) reste identique pour différentes familles de modèles (LLaMA, Qwen3, Gemma, etc.), réduisant ainsi les branchements et améliorant l'uniformité.
Boucle de Décodage à Allocation Zéro : Pour éliminer la contention de la gestion de la mémoire, tous les buffers intermédiaires (résidus, scratch d'attention, logits, cache KV) sont pré-alloués lors du chargement. La boucle de décodage n'alloue aucun octet pendant l'opération, s'appuyant entièrement sur le dispatch de commandes GPU et un patch léger côté CPU.
Fusion et Spécialisation de Kernels :
- Fusion : BaseRT fusionne les séquences d'opérateurs (par exemple, au sein des chemins d'attention et des blocs feed-forward) qui sont typiquement lancées comme des kernels séparés dans d'autres runtimes. Cela réduit les allers-retours en mémoire globale et le surcoût de lancement de kernel, ce qui est crucial durant la phase de décodage où les runtimes de kernels individuels sont courts.
- Spécialisation : Le runtime inclut une bibliothèque de shaders Metal écrits à la main avec des variantes dédiées GEMV (pour le décodage) et GEMM (pour le prefill) pour chaque format de quantification (Q2–FP16). La déquantification est intégrée directement dans la boucle interne pour éviter de matérialiser les poids en mémoire globale.
- Adaptativité Matérielle : La sélection des kernels, la taille des threadgroups et les décisions de fusion sont configurées dynamiquement en fonction de la puce spécifique (M1–M5) et du nombre de cœurs GPU.
Optimisation du Prefill : Les opérations de prefill utilisent des kernels GEMM titrés avec des intrinsèques de matrice simdgroup. Une implémentation de FlashAttention calcule l'attention par tuiles en utilisant un softmax en ligne pour atteindre une complexité mémoire de $O(n)$ , évitant la matérialisation de la matrice d'attention complète en $O(n^2)$ .

Contributions Clés

Runtime Metal Natif : Le premier runtime d'inférence LLM pour Apple Silicon construit nativement sur Metal sans dépendre de MLX ou d'autres frameworks intermédiaires.
Optimisations Spécifiques aux Puces : Implémentation de stratégies de fusion de kernels et de dispositions de données conscientes de la mémoire unifiée, spécifiquement adaptées à la topologie d'Apple Silicon.
Logique de Dispatch Personnalisée : Un mécanisme de dispatch de commandes à faible surcoût qui supprime le scheduling par opérateur et le travail d'évaluation de graphe présents dans les runtimes basés sur des frameworks.
Évaluation Rigoureuse : Une évaluation approfondie à travers plusieurs familles de modèles (Qwen3, Llama 3.2, Gemma 4) et niveaux de quantification (Q4, Q8) sur des appareils M3 et M4 Pro, établissant de nouveaux référentiels de débit.

Résultats

Le papier rapporte que BaseRT atteint le débit d'inférence le plus élevé sur Apple Silicon à ce jour, surpassant llama.cpp, MLX et le runtime Metal natif uzu (Mirai).

Débit de Décodage (Génération de Tokens) :
- BaseRT atteint un débit 1,04× à 1,56× supérieur à celui de llama.cpp sur les modèles testés. L'amélioration est la plus significative sur les petits modèles denses (ex: 56 % plus rapide sur Qwen3-0.6B) où le surcoût fixe par token représente une fraction plus importante de la latence.
- BaseRT atteint un débit 1,01× à 1,35× supérieur à celui de MLX sur la plupart des modèles.
- Sur les appareils M3 de base, BaseRT devance llama.cpp de 1,13× à 1,34× et MLX de 1,01× à 1,22×.
Débit de Prefill (Traitement de Prompt) :
- Modèles Denses : Les performances sont très proches entre les runtimes, car le prefill est limité par le calcul et sature les unités de matmul du GPU. BaseRT mène sur les prompts courts mais suit légèrement derrière sur les prompts longs pour certains modèles denses.
- Modèles Mixture-of-Experts (MoE) : BaseRT démontre une avance substantielle, atteignant jusqu'à 1,78× plus de débit que MLX et 1,81× plus que llama.cpp sur les modèles MoE (ex: Qwen3-30B-A3B) pour des longueurs de prompt courtes.
Comparaison avec uzu : BaseRT surpasse uzu en débit de décodage sur la plupart des configurations (jusqu'à 1,19× sur Qwen3-0.6B). Cependant, uzu mène en débit de prefill sur les modèles denses, probablement en raison de son utilisation du Neural Engine d'Apple (ANE) via MPSGraph, une capacité que BaseRT (chemin GPU uniquement) n'exploite pas actuellement.

Signification et Revendications

Le papier affirme que BaseRT établit un nouveau référentiel de performance pour l'inférence LLM sur appareil via Apple Silicon, démontnant que le potentiel du matériel a été systématiquement sous-utilisé par les approches basées sur des frameworks.

Redéfinition des Capacités Matérielles : Les résultats suggèrent qu'Apple Silicon est une plateforme d'inférence plus capable qu'on ne le rapportait précédemment, le plafond de performance étant nettement plus élevé lorsque le surcoût d'abstraction des frameworks est supprimé.
Activation de l'Inférence en Périphérie : En offrant un débit constant de premier plan, des modèles de moins de 1B à 30B de paramètres, BaseRT sert de couche d'activation critique pour la transition vers le déploiement sur appareil. Cela soutient le paradigme émergent de l'inférence en périphérie dicté par les exigences de confidentialité, les contraintes de latence et les pressions sur les coûts du cloud.
Disponibilité Ouverte : Le runtime est public, permettant à la communauté de tirer parti de ces optimisations natives.

Les auteurs restent modestes quant aux limites, notant que BaseRT ne supporte actuellement que l'inférence sur un seul appareil, manque de batching continu ou de parallélisme de tenseur, et est exclusif à Apple Metal (pas encore de backend CUDA/Vulkan). Les travaux futurs visent à étendre la couverture des architectures et à ajouter un support de backend pour une compatibilité de plateforme plus large.