🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

Das Papier stellt BaseRT vor, eine native Metal-Inferenz-Laufzeitumgebung für Apple Silicon, die chipspezifische Optimierungen nutzt, um einen rekordverdächtigen Durchsatz für große Sprachmodelle zu erzielen und dabei bestehende Frameworks wie llama.cpp und MLX um bis zu das 1,56-fache übertrifft.

Ursprüngliche Autoren: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Den Bau eines maßgeschneiderten Rennwagens

Stellen Sie sich vor, Sie möchten ein Rennauto (ein Large Language Model oder LLM) auf einer ganz speziellen Rennstrecke fahren (Apple Silicon Chips wie den M3 oder M4).

Derzeit fahren die meisten Menschen diese Autos mit einem „Universaladapter“ oder einem „Mietwagen-Kit“ (bestehende Software wie llama.cpp oder MLX). Diese Kits sind großartig, weil sie auf vielen verschiedenen Strecken funktionieren, aber sie sind nicht perfekt auf diese spezifische Apple-Strecke abgestimmt. Sie haben zusätzliches Gewicht, unnötige Schritte und einen Fahrer, der die Abkürzungen nicht kennt.

BaseRT ist ein neuer, maßgeschneiderter Rennwagen, der nur für die Apple-Strecke gebaut wurde. Das Team von Base Compute hat die schweren Adapter entfernt und ein Fahrzeug von Grund auf neu konstruiert, um den einzigartigen Kurven und Regeln der Strecke zu entsprechen. Das Ergebnis? Es fährt deutlich schneller.

Das Problem: Warum aktuelle Software „langsam“ ist

Das Paper argumentiert, dass bestehende Software zum Ausführen von KI auf Macs wie ein Lieferwagen ist, der zu viele Stopps einlegt.

Das „Mittelsmann-Problem“: Die meisten Software nutzen einen „Framework“ (wie einen Mittelsmann), um mit dem Grafikchip (GPU) des Computers zu kommunizieren. Dieser Mittelsmann fügt zusätzliche Schritte hinzu, wie etwa ein Manager, der vor jeder einzelnen Aufgabe ein Klemmbrett prüft.
Das „Speicher-Problem“: Apple-Computer haben eine spezielle Funktion namens „Unified Memory“, bei der CPU und GPU denselben großen Arbeitsspeicher (RAM) teilen. Bestehende Software behandelt sie oft so, als befänden sie sich in getrennten Räumen, wodurch Daten unnötigerweise hin- und herlaufen müssen.

Die Lösung: Wie BaseRT funktioniert

BaseRT schneidet den Mittelsmann heraus und baut eine direkte Autobahn zwischen dem Gehirn und dem Muskel. Hier sind die vier Haupttricks, die sie angewendet haben:

Der „datengetriebene“ Bauplan:
Anstatt für jedes andere KI-Modell (wie Qwen, Llama oder Gemma) einen neuen Satz von Anweisungen zu schreiben, nutzt BaseRT einen einzigen, flexiblen Bauplan. Denken Sie an eine Universalfernbedienung, die automatisch erkennt, auf welchen Fernseher Sie zeigen, und ihre Tasten sofort anpasst, anstatt für jede Marke eine andere Fernbedienung zu benötigen. Dies hält den Motor am Laufen, ohne dass er zur Neukonfiguration anhalten muss.
Die „Null-Stopp“-Schleife:
Wenn Sie eine KI bitten, einen Satz zu schreiben, generiert sie ein Wort nach dem anderen. Bei alter Software muss der Computer für jedes neue Wort, das er erstellt, einen Parkplatz (Speicherallokation) finden. BaseRT reserviert alle Plätze im Voraus, bevor das Rennen beginnt. Sobald die KI zu sprechen beginnt, hält sie nie an, um einen Parkplatz zu suchen; sie fährt einfach weiter. Dies eliminiert „Verkehrsstaus“, die durch die Speicherverwaltung verursacht werden.
Die „Fusions“-Küche:
Normalerweise muss eine KI Zutaten in separaten Töpfen zubereiten (Matrix-Multiplikation, Attention, Normalisierung) und die Lebensmittel zwischen ihnen bewegen. BaseRT verschmilzt diese Schritte zu einem einzigen riesigen Topf. Es bereitet die Zutaten zusammen in einer einzigen Bewegung zu, was die Zeit spart, die man zum Hin- und Herbewegen der Lebensmittel benötigt.
Der „maßgeschneiderte Fahrer“:
Die Software weiß genau, auf welchem Apple-Chip sie läuft (M1, M2, M3 usw.). Sie passt ihren Fahrstil an die jeweilige Motorengröße an und stellt so sicher, dass sie aus jedem Tropfen Kraftstoff das Maximum herausholt.

Die Ergebnisse: Wer hat das Rennen gewonnen?

Das Team hat BaseRT gegen die zwei größten Konkurrenten getestet: llama.cpp (der populärste Open-Source-Runner) und MLX (Apples eigener offizieller Framework).

Geschwindigkeit: BaseRT war in fast allen Tests am schnellsten.
- Bei kleinen Modellen war es bis zu 1,56-mal schneller als llama.cpp.
- Bei großen „Mixture-of-Experts“-Modellen (komplexen KI-Gehirnen) war es bei der Verarbeitung des initialen Prompts bis zu 1,78-mal schneller.
Der „Sweet Spot“ für kleine Modelle: Die größten Gewinne gab es bei kleineren Modellen. Das liegt daran, dass bei kleinen Modellen der „Overhead“ (die Zeit, die mit administrativen Aufgaben verschwendet wird) einen großen Teil der Gesamtzeit ausmacht. Durch das Abschneiden dieser Verschwendung konnte BaseRT einen massiven Unterschied machen.
Die Realität bei großen Modellen: Bei sehr großen Modellen wird die Geschwindigkeit hauptsächlich durch die Geschwindigkeit begrenzt, mit der Daten durch den Speicher fließen können (Bandbreite). Selbst mit einem perfekten Motor kann man nicht schneller als das Tempolimit der Straße fahren. BaseRT hat es jedoch geschafft, auch hier zusätzliche Geschwindigkeit herauszukitzeln, was beweist, dass bisherige Software die Straße nicht effizient genutzt hat.

Warum ist das wichtig? (Der „Edge“-Wandel)

Das Paper legt nahe, dass wir uns auf eine Zukunft zubewegen, in der KI auf Ihrem eigenen Gerät (Ihrem Laptop oder Smartphone) statt auf einem fernen Cloud-Server läuft.

Privatsphäre: Ihre Daten verlassen niemals Ihren Computer.
Geschwindigkeit: Kein Warten darauf, dass das Internet Ihre Anfrage hin- und hersendet.
Kosten: Sie zahlen keine monatliche Gebühr pro Wort; Sie bezahlen einfach einmalig für die Hardware.

BaseRT beweist, dass Apple Silicon viel leistungsfähiger für das lokale Ausführen von KI ist, als wir dachten, wenn man die passende Software verwendet, die speziell dafür gebaut wurde.

Was BaseRT nicht tut (Die Einschränkungen)

Das Paper ist ehrlich darüber, was dieses Werkzeug noch nicht kann:

Nur für Einzelnutzer: Es ist darauf ausgelegt, dass eine Person zur Zeit die KI nutzt. Es bewältigt keine Hunderte von Menschen, die gleichzeitig Fragen stellen (Serverlast).
Nur für Apple: Es funktioniert nur auf Macs und iPads. Es funktioniert derzeit noch nicht auf Windows, Android oder NVIDIA-Grafikkarten.
Noch keine „Vision“: Es behandelt derzeit Textmodelle, keine Modelle, die Bilder „sehen“ können.

Das Fazit

Die Autoren haben einen maßgeschneiderten Motor (BaseRT) gebaut, der den unnötigen Ballast beim Ausführen von KI auf Apple-Computern entfernt. Dadurch haben sie das volle Geschwindigkeitspotenzial der Hardware freigesetzt und machen lokale KI schneller, privater und effizienter als je zuvor. Sie können es selbst auf GitHub ausprobieren.

Technisches Resümee: BaseRT – Best-in-Class LLM-Inferenz auf Apple Silicon via Native Metal

Problemstellung

Das Paper identifiziert eine Performance-Lücke bei der Inferenz von Large Language Models (LLMs) auf Apple Silicon. Während die Unified-Memory-Architektur (UMA) von Apple eine hohe Bandbreite und Kapazität bietet, die für die lokale LLM-Bereitstellung geeignet ist, nutzen bestehende Runtimes diese Hardware nicht voll aus.

Framework-Overhead: Dominante Runtimes wie llama.cpp (ursprünglich CPU-zentriert mit einem Metal-Backend) und MLX (ein allgemeines Array-Framework mit Lazy Evaluation) führen architektonische Einschränkungen ein. Dazu gehören unnötige Abstraktionsebenen, Framework-basiertes Scheduling und Dispatch-Overheads, die nicht für das Metal-Ausführungsmodell optimiert sind.
Suboptimale Ressourcenausnutzung: Diese Frameworks lassen oft Performance „auf dem Tisch liegen“, insbesondere im Hinblick auf Kernel-Launch-Overheads, ineffiziente Speicherlayouts und die Unfähigkeit zur chipspezifischen Kernel-Fusion.
Edge-Inferenz-Kontext: Da sich die Industrie in Richtung Edge-Inferenz bewegt, die durch Datenschutz, Latenz, Konnektivität und Kosten getrieben wird, begrenzt die Unfähigkeit aktueller Runtimes, den Durchsatz auf Consumer-Hardware zu maximieren, die Lebensfähigkeit von On-Device-KI.

Methodik

BaseRT ist eine native C++ Inferenz-Runtime, die direkt auf Apples Metal GPU API aufgebaut ist und Abhängigkeiten von Zwischen-Frameworks wie MLX, PyTorch oder CoreML eliminiert. Das Design wird von vier Kernprinzipien geleitet, um den Overhead zu minimieren:

Datengetriebene Architektur-Deskriptoren: Anstatt Architekturvariationen (z. B. Attention-Mechanismen, Normalisierung) über bedingte Verzweigungen direkt in die Inferenzschleife zu hartkodieren, erfasst BaseRT diese Unterschiede als Daten. Ein kompakter Deskriptor steuert die Engine, wodurch der „Hot Path“ über verschiedene Modellfamilien hinweg (LLaMA, Qwen3, Gemma etc.) identisch bleibt, was Verzweigungen reduziert und die Einheitlichkeit verbessert.
Zero-Allocation Decode-Loop: Um die Konkurrenz bei der Speicherverwaltung zu eliminieren, werden alle Zwischenpuffer (Residuals, Attention-Scratch, Logits, KV-Cache) zur Ladezeit vorallokiert. Die Decode-Schleife alloziert während des Betriebs null Bytes und verlässt sich vollständig auf GPU-Command-Dispatch und leichtgewichtiges CPU-seitiges Patching.
Kernel-Fusion und Spezialisierung:
- Fusion: BaseRT fusioniert Operatorensequenzen (z. B. innerhalb von Attention-Pfaden und Feed-Forward-Blöcken), die in anderen Runtimes typischerweise als separate Kernel aufgerufen werden. Dies reduziert die globalen Speicher-Round-Trips und den Kernel-Launch-Overhead, was während der Decode-Phase, in der die einzelnen Kernel-Laufzeiten kurz sind, entscheidend ist.
- Spezialisierung: Die Runtime enthält eine Bibliothek handgeschriebener Metal-Shader mit dedizierten GEMV- (für Decode) und GEMM-Varianten (für Prefill) für jedes Quantisierungsformat (Q2–FP16). Die Dequantisierung ist direkt in den inneren Loop integriert, um zu vermeiden, dass Gewichte im globalen Speicher materialisiert werden.
- Hardware-Adaptivität: Kernel-Selektion, Threadgroup-Größen und Fusion-Entscheidungen werden dynamisch basierend auf dem spezifischen Chip (M1–M5) und der Anzahl der GPU-Kerne konfiguriert.
Prefill-Optimierung: Prefill-Operationen nutzen getilte GEMM-Kernel mit simdgroup Matrix-Intrinsics. Eine FlashAttention-Implementierung berechnet die Attention in Tiles unter Verwendung von Online-Softmax, um eine $O(n)$ -Speicherkomplexität zu erreichen und die Materialisierung der vollen $O(n^2)$ Attention-Matrix zu vermeiden.

Zentrale Beiträge

Nativer Metal-Runtime: Die erste LLM-Inferenz-Runtime für Apple Silicon, die nativ auf Metal aufgebaut ist, ohne Abhängigkeit von MLX oder anderen Zwischen-Frameworks.
Chipspezifische Optimierungen: Implementierung von Kernel-Fusion-Strategien und Unified-Memory-bewussten Datenlayouts, die speziell auf die Topologie von Apple Silicon zugeschnitten sind.
Custom Dispatch Logic: Ein Low-Overhead Command-Dispatch-Mechanismus, der das pro-Operator-Scheduling und die Graph-Evaluierung findet, die in Framework-basierten Runtimes üblich sind, entfernt.
Umfassendes Benchmarking: Eine rigorose Evaluierung über mehrere Modellfamilien (Qwen3, Llama 3.2, Gemma 4) und Quantisierungsstufen (Q4, Q8) auf M3 und M4 Pro Geräten, die neue Durchsatz-Baselines etabliert.

Ergebnisse

Das Paper berichtet, dass BaseRT den höchsten Inferenz-Durchsatz auf Apple Silicon bis heute erreicht und dabei llama.cpp, MLX sowie die native Metal-Runtime uzu (Mirai) übertrifft.

Decode-Durchsatz (Token-Generierung):
- BaseRT erzielt einen 1,04× bis 1,56× höheren Durchsatz als llama.cpp über die getesteten Modelle hinweg. Die Verbesserung ist bei kleineren dichten Modellen (z. B. 56 % schneller bei Qwen3-0.6B) am signifikantesten, wo der feste pro-Token-Overhead einen größeren Anteil an der Latenz ausmacht.
- BaseRT erzielt einen 1,01× bis 1,35× höheren Durchsatz als MLX bei den meisten Modellen.
- Auf M3-Basisgeräten führt BaseRT llama.cpp um den Faktor 1,13× bis 1,34× und MLX um den Faktor 1,01× bis 1,22×.
Prefill-Durchsatz (Prompt-Verarbeitung):
- Dichte Modelle: Die Performance ist zwischen den Runtimes eng beieinander, da Prefill rechengebunden ist und die GPU-Matmul-Einheiten sättigt. BaseRT führt bei kürzeren Prompts, liegt aber bei längeren Prompts für einige dichte Modelle leicht zurück.
- Mixture-of-Experts (MoE) Modelle: BaseRT zeigt einen erheblichen Vorsprung und erzielt bei kürzeren Prompt-Längen bis zu 1,78× höheren Durchsatz als MLX und 1,81× höher als llama.cpp bei MoE-Modellen (z. B. Qwen3-30B-A3B).
Vergleich mit uzu: BaseRT übertrifft uzu im Decode-Durchsatz in den meisten Konfigurationen (bis zu 1,19× bei Qwen3-0.6B). uzu führt jedoch bei der Prefill-Durchsatzrate bei dichten Modellen, was wahrscheinlich auf die Nutzung der Apple Neural Engine (ANE) via MPSGraph zurückzuführen ist – eine Fähigkeit, die der rein GPU-basierten Pfad von BaseRT derzeit nicht nutzt.

Bedeutung und Ansprüche

Das Paper behauptet, dass BaseRT einen neuen Performance-Benchmark für die On-Device-LLM-Inferenz auf Apple Silicon setzt und zeigt, dass das Potenzial der Hardware durch Framework-basierte Ansätze systematisch untergenutzt wurde.

Neudefinition der Hardware-Fähigkeiten: Die Ergebnisse legen nahe, dass Apple Silicon eine leistungsfähigere Inferenz-Plattform ist als bisher berichtet, da die Performance-Obergrenze signifikant höher liegt, wenn der Overhead durch Framework-Abstraktionen entfernt wird.
Ermöglichung von Edge-Inferenz: Durch die Bereitstellung eines konsistenten Best-in-Class-Durchsatzes von Sub-1B bis 30B Parametern dient BaseRT als kritische Enabling-Layer für den Übergang zur On-Device-Bereitstellung. Dies unterstützt das aufkommende Edge-Inferenz-Paradigma, das durch Datenschutzanforderungen, Latenzbeschränkungen und Cloud-Kosten getrieben wird.
Open Availability: Die Runtime ist öffentlich verfügbar, sodass die Community diese nativen Optimierungen nutzen kann.

Die Autoren bleiben hinsichtlich der Einschränkungen bescheiden und merken an, dass BaseRT derzeit nur Single-Device-Inferenz unterstützt, kein Continuous Batching oder Tensor-Parallelismus besitzt und exklusiv für Apple Metal ist (derzeit kein CUDA/Vulkan-Backend). Zukünftige Arbeit zielt darauf ab, die Architekturabdeckung zu erweitern und Backend-Support für eine breitere Plattformkompatibilität hinzuzufügen.