🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

Het artikel introduceert BaseRT, een native Metal-inferentieruntime voor Apple Silicon die chipspecifieke optimalisaties benut om een recordbrekende doorvoer voor grote taalmodellen te bereiken, waarbij het bestaande frameworks zoals llama.cpp en MLX met wel 1,56x overtreft.

Oorspronkelijke auteurs: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Custom Raceauto Bouwen

Stel je voor dat je een raceauto (een Large Language Model, of LLM) wilt besturen op een heel specif으로 specifiek circuit (Apple Silicon-chips zoals de M3 of M4).

Momenteel besturen de meeste mensen deze auto's met een "universele adapter" of een "huurauto-kit" (bestaande software zoals llama.cpp of MLX). Deze kits zijn geweldig omdat ze op veel verschillende circuits werken, maar ze zijn niet perfect afgestemd op dit specifieke Apple-circuit. Ze hebben extra gewicht, onnodige stappen en een bestuurder die de korte routes niet kent.

BaseRT is een nieuwe, custom-built raceauto die alleen is ontworpen voor het Apple-circuit. Het team van Base Compute heeft de zware adapters weggehaald en een voertuig vanaf de grond opgebouwd om te passen bij de unieke bochten en regels van het circuit. Het resultaat? De auto rijdt aanzienlijk sneller.

Het Probleem: Waarom Huidige Software "Traag" is

Het paper beargumenteert dat bestaande software voor het draaien van AI op Macs lijkt op een bezorgwagen die te veel stops maakt.

Het "Middelman"-probleem: De meeste software gebruikt een "framework" (zoals een tussenpersoon) om met de grafische chip (de GPU) van de computer te communiceren. Deze tussenpersoon voegt extra stappen toe, zoals een manager die voor elke taak een klembord controleert.
Het "Geheugen"-probleem: Apple-computers hebben een speciale functie genaamd "Unified Memory", waarbij de CPU en GPU hetzelfde grote deel van het RAM delen. Bestaande software behandelt ze vaak alsof ze in aparte kamers zijn, waardoor data onnodig heen en weer moet lopen.

De Oplossing: Hoe BaseRT Werkt

BaseRT snijdt de tussenpersoon eruit en bouwt een directe snelweg tussen de hersenen en de spieren. Dit zijn de vier belangrijkste trucs die ze hebben gebruikt:

Het "Data-gestuurde" Blauwdruk:
In plaats van een nieuwe set instructies te schrijven voor elk ander AI-model (zoals Qwen, Llama of Gemma), gebruikt BaseRT een enkele, flexibele blauwdruk. Denk aan een universele afstandsbediening die automatisch detecteert naar welke tv je wijst en direct de knoppen aanpast, in plaats van dat je voor elk merk een andere afstandsbediening nodig hebt. Dit houdt de motor draaiende zonder te stoppen voor een herconfiguratie.
De "Zonder-Stop" Lus:
Wanneer je een AI vraagt om een zin te schrijven, genereert het één woord tegelijk. Bij oude software moet de computer voor elk nieuw woord dat het creëert, een parkeerplaats zoeken (geheugentoewijzing). BaseRT reserveert alle parkeerplaatsen al voordat de race begint. Zodra de AI begint te praten, stopt hij nooit meer om een parkeerplaats te zoeken; hij blijft gewoon doorrijden. Dit elimineert "files" veroorzaakt door geheugenbeheer.
De "Fusie"-Keuken:
Normaal gesproken moet een AI ingrediënten in aparte potten bereiden (Matrixvermenigvuldiging, Attention, Normalisatie) en het eten tussen de potten verplaatsen. BaseRT voegt deze stappen samen tot één grote pan. Het bereidt de ingrediënten samen in één beweging, wat de tijd bespaart die nodig is om het eten te verplaatsen.
De "Custom Chauffeur":
De software weet precies op welke Apple-chip hij draait (M1, M2, M3, etc.). Hij past zijn rijstijl aan op basis van de specifieke motorinhoud, zodat hij de maximale kracht uit elke druppel brandstof haalt.

De Resultaten: Wie Won de Race?

Het team heeft BaseRT getest tegen de twee grootste concurrenten: llama.cpp (de meest populaire open-source runner) en MLX (Apple's eigen officiële framework).

Snelheid: BaseRT was de snelste in bijna elke test.
- Op kleine modellen was het tot wel 1,56 keer sneller dan llama.cpp.
- Op grote "Mixture-of-Experts"-modellen (complexe AI-hersenen) was het tot wel 1,78 keer sneller bij het verwerken van de initiële prompt.
De "Small Model" Sweet Spot: De grootste winsten vonden plaats op kleinere modellen. Dit komt omdat bij kleine modellen de "overhead" (de tijd die wordt verspild aan administratieve taken) een groot deel van de totale tijd beslaat. Door die verspilling weg te snijden, maakte BaseRT een enorm verschil.
De "Big Model" Realiteit: Bij zeer grote modellen wordt de snelheid vooral beperkt door hoe snel data door het geheugen kan bewegen (bandbreedte). Zelfs met een perfecte motor kun je niet sneller gaan dan de snelheidslimiet van de weg. BaseRT slaagde er echter nog steeds in om hier extra snelheid uit te persen, wat bewijst dat vorige software de weg niet efficiënt gebruikte.

Waarom Dit Er Toe Doet (De "Edge" Verschuiving)

Het paper suggereert dat we bewegen naar een toekomst waarin AI op je eigen apparaat draait (je laptop of telefoon) in plaats van op een verre cloudserver.

Privacy: Je gegevens verlaten je computer nooit.
Snelheid: Geen wachten tot het internet je verzoek heen en weer stuurt.
Kosten: Je betaalt geen maandelijk via een abonnement per woord; je betaalt gewoon één keer voor de hardware.

BaseRT bewijst dat Apple Silicon veel krachtiger is voor het lokaal draaien van AI dan we dachten, als je software gebruikt die er specifiek voor gebouwd is.

Wat BaseRT Niet Doet (De Beperkingen)

Het paper is eerlijk over wat dit hulpmiddel nog niet is:

Alleen voor één gebruiker: Het is ontworpen voor één persoon die de AI tegelijkertijd gebruikt. Het gaat niet om het afhandelen van honderden mensen die tegelijkertijd vragen stellen (serverbelasting).
Alleen voor Apple: Het werkt alleen op Macs en iPads. Het werkt nog niet op Windows, Android of NVIDIA-videokaarten.
Nog geen "Visie": Het gaat momenteel over tekstmodellen, niet over modellen die afbeeldingen kunnen "zien".

De Kernboodschap

De auteurs hebben een custom motor gebouwd (BaseRT) die alle onnodige bagage verwijdert bij het draaien van AI op Apple-computers. Door dit te doen, hebben ze het volledige snelheidspotentieel van de hardware vrijgemaakt, waardoor lokale AI sneller, privater en efficiënter is dan ooit tevoren. Je kunt het zelf proberen op GitHub.

Technische Samenvatting: BaseRT – Best-in-Class LLM-inferentie op Apple Silicon via Native Metal

Probleemstelling

Het paper identificeert een prestatiekloof in de inferentie van Large Language Models (LLM) op Apple Silicon. Hoewel de unified memory-architectuur van Apple een hoge bandbreedte en capaciteit biedt die geschikt zijn voor lokale LLM-implementatie, slagen bestaande runtimes er niet in dit hardwarepotentieel volledig te benutten.

Framework-overhead: Dominante runtimes zoals llama.cpp (oorspronkelijk CPU-gericht met een Metal-backend) en MLX (een algemeen bruikbaar array-framework met lazy evaluatie) introduceren architecturale beperkingen. Deze omvatten onnodige abstractielagen, framework-niveau scheduling en dispatch-overheads die niet geoptimaliseerd zijn voor het Metal-executiemodel.
Suboptimale resourcebenutting: Deze frameworks laten vaak prestaties "liggen", met name wat betreft kernel launch-overheads, inefficiënte geheugenlay-outs en het onvermogen tot chip-specifieke kernelfusie.
Context van Edge-inferentie: Nu de industrie verschuift naar edge-inferentie gedreven door zorgen over privacy, latentie, connectiviteit en kosten, beperkt het onvermogen van huidige runtimes om de throughput op consumentenhardware te maximaliseren de levensvatbaarheid van on-device AI.

Methodologie

BaseRT is een native C++ inferentie-runtime gebouwd direct op Apple's Metal GPU API, waardoor afhankelijkheden van tussenliggende frameworks zoals MLX, PyTorch of CoreML worden geëlimineerd. Het ontwerp wordt geleid door vier kernprincipes om overhead te minimaliseren:

Data-gestuurde Architectuur-descriptors: In plaats van architecturale variaties (bijv. attention-mechanismen, normalisatie) via conditionele vertakkingen hard te coderen in de inferentie-loop, legt BaseRT deze verschillen vast als data. Een compacte descriptor stuurt de engine aan, waardoor de "hot path" identiek blijft voor verschillende modelfamilies (LLaMA, Qwen3, Gemma, etc.), wat vertakkingen vermindert en uniformiteit verbetert.
Zero-Allocation Decode Loop: Om strijd om geheugenbeheer te voorkomen, worden alle tussenliggende buffers (residuals, attention scratch, logits, KV cache) vooraf gealloceerd tijdens het laden. De decode-loop alloceert nul bytes tijdens de operatie en vertrouwt volledig op GPU command dispatch en lichte CPU-zijde patching.
Kernel Fusie en Specialisatie:
- Fusie: BaseRT fuseert operator-sequenties (bijv. binnen attention-paden en feed-forward blokken) die in andere runtimes doorgaans als afzonderlijke kernels worden gedispatched. Dit vermindert globale geheugen-round-trips en kernel launch-overhead, wat cruciaal is tijdens de decode-fase waar individuele kernel-runtimes kort zijn.
- Specialisatie: De runtime bevat een bibliotheek van handgeschreven Metal shaders met specifieke GEMV (voor decode) en GEMM (voor prefill) varianten voor elk kwantisatieformaat (Q2–FP16). Dekwantisatie is direct geïntegreerd in de inner loop om te voorkomen dat gewichten in het globale geheugen worden gematerialiseerd.
- Hardware Adaptiviteit: Kernelselectie, threadgroup-groottes en fusiebeslissingen worden dynamisch geconfigureerd op basis van de specifieke chip (M1–M5) en het aantal GPU-cores.
Prefill Optimalisatie: Prefill-operaties maken gebruik van tiled GEMM kernels met simdgroup matrix-intrinsics. Een FlashAttention-implementatie berekent attention in tiles met online softmax om een $O(n)$ geheugencomplexiteit te bereiken, waardoor het materialiseren van de volledige $O(n^2)$ attention-matrix wordt vermeden.

Belangrijkste Bijdragen

Native Metal Runtime: De eerste LLM-inferentie-runtime voor Apple Silicon die native op Metal is gebouwd zonder afhankelijkheid van MLX of andere tussenliggende frameworks.
Chip-specifieke Optimalisaties: Implementatie van kernel fusie-strategieën en unified memory-bewuste data-lay-outs specifiek afgestemd op de topologie van Apple Silicon.
Custom Dispatch Logica: Een low-overhead command dispatch-mechanisme dat per-operator scheduling en graph-evaluatie werk verwijdert dat in framework-gebaseerde runtimes voorkomt.
Uitgebreide Benchmarking: Een rigoureuze evaluatie over meerdere modelfamilies (Qwen3, Llama 3.2, Gemma 4) en kwantisatieniveaus (Q4, Q8) op M3 en M4 Pro apparaten, waarmee nieuwe throughput-baselines zijn vastgesteld.

Resultaten

Het paper rapporteert dat BaseRT de hoogste inferentie-throughput op Apple Silicon bereikt tot nu toe, waarbij het llama.cpp, MLX en de native Metal runtime uzu (Mirai) overtreft.

Decode Throughput (Token Generatie):
- BaseRT bereikt een 1,04× tot 1,56× hogere throughput dan llama.cpp over de geteste modellen. De verbetering is het meest significant bij kleinere dense modellen (bijv. 56% sneller op Qwen3-0.6B) waar de vaste per-token overhead een groter deel van de latentie uitmaakt.
- BaseRT bereikt een 1,01× tot 1,35× hogere throughput dan MLX op de meeste modellen.
- Op M3 Base-apparaten leidt BaseRT llama.cpp met 1,13× tot 1,34× en MLX met 1,01× tot 1,22×.
Prefill Throughput (Prompt Processing):
- Dense Modellen: De prestaties komen nauw overeen tussen de runtimes, aangezien prefill compute-bound is en de GPU matmul-units verzadigt. BaseRT leidt bij kortere prompts, maar loopt bij sommige dense modellen iets achter op langere prompts.
- Mixture-of-Experts (MoE) Modellen: BaseRT vertoont een aanzienlijke voorsprong, met een tot 1,78× hogere throughput dan MLX en 1,81× hoger dan llama.cpp op MoE-modellen (bijv. Qwen3-30B-A3B) bij kortere promptlengtes.
Vergelijking met uzu: BaseRT presteert beter dan uzu in decode-throughput op de meeste configuraties (tot 1,19× op Qwen3-0.6B). Echter, uzu leidt in prefill-throughput op dense modellen, waarschijnlijk door het gebruik van de Apple Neural Engine (ANE) via MPSGraph, een capaciteit die BaseRT (GPU-only pad) momenteel niet exploiteert.

Betekenis en Claims

Het paper claimt dat BaseRT een nieuwe prestatiebaseline vestigt voor on-device LLM-inferentie op Apple Silicon, waarbij wordt aangetoond dat het potentieel van de hardware systematisch onderbenut is door framework-gebaseerde benaderingen.

Herdefiniëren van Hardwarecapaciteiten: De resultaten suggereren dat Apple Silicon een krachtiger inferentieplatform is dan eerder gerapporteerd, waarbij de prestatieplafond aanzienlijk hoger ligt wanneer de overhead van framework-abstractie wordt verwijderd.
Facilitering van Edge-inferentie: Door consistente best-in-class throughput te leveren voor modellen van minder dan 1B tot 30B parameters, dient BaseRT als een cruciale faciliterende laag voor de transitie naar on-device deployment. Dit ondersteunt het opkomende edge-inferentieparadigma gedreven door privacy-eisen, latentiebeperkingen en cloud-kostendruk.
Open Beschikbaarheid: De runtime is publiekelijk beschikbaar, waardoor de community kan profiteren van deze native optimalisaties.

De auteurs blijven bescheiden over beperkingen en merken op dat BaseRT momenteel alleen single-device inferentie ondersteunt, geen continuous batching of tensor parallelism heeft, en exclusief is voor Apple Metal (geen CUDA/Vulkan backend vooralsnog). Toekomstig werk is gericht op het uitbreiden van de architecturale dekking en het toevoegen van backend-ondersteuning voor bredere platformcompatibiliteit.