Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU
Diese Arbeit präsentiert Rigel, eine empirische Studie, die den Apple M4 Max Metal 4.1 Tensor-Rechenpfad mittels Reverse Engineering untersucht, um aufzuzeigen, dass dessen fp8 matmul2d-Operation speichergebunden und emuliert statt hardwarebeschleunigt ist, während sie gleichzeitig verborgene Ausführungsdetails aufdeckt und einen hand-fusionierten Kernel ermöglicht, der den standardmäßigen dekomponierten Pfad um bis zu 12,9 % übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Apples neuen M4 Max Computerchip als eine riesige, hochtechnologische Küche vor. Jahrelang wurden Entwickler (die Köche) darauf hingewiesen, dass diese Küche einen speziellen, superschnellen „Tensor-Ofen“ besitzt, der speziell dafür entwickelt wurde, komplexe KI-Rezepte (wie Large Language Models) mit Lichtgeschwindigkeit zu backen. Das offizielle Handbuch (die Metal 4.1 Spezifikation) sagt: „Ja, wir haben diesen Ofen, und er unterstützt diese spezifischen Zutaten.“ Aber das Handbuch ist frustrierend vage: Es sagt nicht aus, wie der Ofen funktioniert, wo er sich befindet oder ob er tatsächlich schneller ist als der Standardherd.
Das Papier RIGEL ist wie ein Team von Lebensmittelwissenschaftlern, die beschlossen haben, nicht länger das Handbuch zu lesen, sondern das Essen zu probieren, um herauszufinden, was in der Küche wirklich vor sich geht. Sie bauten eine Reihe von ultrapräzisen Messwerkzeugen, um das Verhalten des M4 Max zu dekonstruieren (Reverse Engineering).
Hier ist, was sie herausgefunden haben, übersetzt in alltägliche Analogien:
1. Der „Spezialofen“ ist eigentlich nur ein normaler Herd
Die Behauptung: Das Papier beweist, dass der M4 Max keinen dedizierten „Tensor Core“ besitzt (eine spezielle Hardware-Einheit, die nur für KI-Mathematik zuständig ist).
Die Analogie: Betrachten Sie die „Tensor“-Operation als eine bestimmte Art von Kuchen. Das Handbuch impliziert, dass es ein spezielles, Hochgeschwindigkeits-Förderband nur für diese Kuchen gibt. RIGEL fand heraus, dass es auf dem M4 Max kein solches Förderband gibt. Stattdessen bereitet das Küchenpersonal (die GPU-Shader-Kerne) diese Kuchen einfach von Hand auf dem normalen Herd zu, unter Verwendung derselben Werkzeuge, die sie für alles andere benutzen. Sie machen es effizient, aber sie nutzen keine geheime, dedizierte Maschine.
2. Die „magische Zutat“ (FP8) ist ein Trick, keine Superkraft
Die Behauptung: Das Papier testet ein Niedrigpräzisions-Datenformat namens FP8 (das nur halb so viel Speicher benötigt wie das Standard-FP16-Format). Die Spezifikation legt nahe, dass dies schneller sein könnte, weil es kleiner ist. RIGEL fand heraus, dass es nicht schneller ist; es ist tatsächlich etwas langsamer.
Die Analogie: Stellen Sie sich vor, Sie tragen Wassereimer. Das FP16-Format ist ein großer Eimer; das FP8-Format ist ein kleiner Eimer. Man könnte denken: „Wenn ich kleine Eimer benutze, kann ich in der gleichen Zeit mehr Wege zurücklegen!“ Aber die Wissenschaftler fanden heraus, dass die Arbeiter auf dem M4 Max anhalten müssen, um das kleine Wasser in einen großen Eimer umzugießen, bevor sie es verwenden können. Dieses „Umgießen“ (Entpacken) kostet Zeit.
- Das Ergebnis: Die Verwendung der kleinen Eimer (FP8) macht die Arbeit nicht schneller. Sie spart lediglich Platz, da man nicht so viele schwere Eimer gleichzeitig tragen muss (Speicherplatzersparnis). Es ist ein Platzsparfeature, kein Geschwindigkeitsfeature. Das Papier nennt dies ein „Memory-Footprint-Feature, kein Performance-Feature“.
3. Das „Geheime Rezept“-Layout
Die Behauptung: Das Handbuch besagt, dass die Art und Weise, wie Daten im „Tensor“-Speicher angeordnet sind, „opak“ (undurchsichtig) und „gerätespezifisch“ ist. RIGEL hat genau herausgefunden, wie sie angeordnet sind.
Die Analogie: Stellen Sie sich vor, dem Küchenpersonal wird gesagt, es solle die Zutaten in einem Gitter anordnen, aber das Handbuch sagt nur: „Mach es in einem geheimen Muster.“ RIGEL beobachtete das Personal und stellte fest, dass sie die Zutaten in einem sehr spezifischen 8x8-Quadratmuster anordnen. Sobald die Wissenschaftler dieses geheime Gitter entschlüsselt hatten, konnten sie die Zutaten so umordnen, dass der Kochprozess reibungsloser abläuft.
4. Das „Versions-Tor“ (Der Türsteher)
Die Behauptung: Das Handbuch besagt, dass man diese Funktionen mit einer bestimmten Softwareversion (Xcode 26.1+) nutzen kann, aber RIGEL fand heraus, dass das eine Lüge ist.
Die Analogie: Das Handbuch sagt: „Jeder mit einem roten Hut darf den VIP-Raum betreten.“ Aber als RIGEL versuchte, mit einem roten Hut vom letzten Jahr (Xcode 26.5) einzutreten, warf sie der Türsteher raus. Man braucht tatsächlich einen brandneuen roten Hut (Xcode 27) und einen spezifischen Ausweis (macOS 27.0), um die Tür überhaupt öffnen zu können. Das Handbuch war schlichtweg falsch darüber, wer eintreten darf.
5. Die „Super-Chef“-Optimierung
Die Behauptung: Da die Wissenschaftler nun genau wissen, wie die Küche funktioniert (kein Geheimofen, 8x8-Gitter, FP8 ist langsam), haben sie ein neues, maßgeschneidertes Rezept geschrieben.
Die Analogie: Anstatt der Standard-Schritt-für-Schritt-Anweisungen zu folgen (Kuchen backen -> Glasur hinzufügen -> Früchte hinzufügen), was bedeutet, dreimal zwischen dem Herd und der Speisekampe hin und her zu laufen, schrieben die Wissenschaftler ein „Fusion“-Rezept. Sie kombinierten das Backen, das Glasieren und das Hinzufügen der Früchte zu einer einzigen, flüssigen Bewegung direkt am Herd.
- Das Ergebnis: Dieses maßgeschneiderte Rezept war bei Aufgaben, die in den unmittelbaren Arbeitsbereich der Küche passen (Cache-resistent), 6,5 % bis 12,9 % schneller. Bei riesigen Aufgaben jedoch, die viele Wege zwischen dem Lager (Hauptspeicher) und dem Herd erfordern, verschwindet der Geschwindigkeitsvorteil, da die Gehzeiten die Kochzeit dominieren.
Zusammenfassung der „Großen Enthüllung“
Das Papier kommt zu dem Schluss, dass auf dem Apple M4 Max gilt:
- Keine magische Hardware: Es gibt keine spezielle KI-Engine; alles läuft über die Standard-Grafikkerne.
- FP8 ist für die Speicherung, nicht für die Geschwindigkeit: Die Verwendung kleinerer Zahlen spart Platz, macht Berechnungen aber nicht schneller.
- Das Handbuch ist unvollständig: Die offizielle Dokumentation verbirgt die Realität der Hardware, das exakte Speicherlayout und die wahren Softwareanforderungen.
- Custom Code gewinnt: Wenn man das geheime Layout kennt, kann man ein maßgeschneidertes Programm schreiben, das die Standard-Apple-Tools um eine kleine, aber messbare Marge schlägt.
Die Autoren betonen, dass diese Erkenntnisse auf harten Daten eines einzelnen M4 Max Chips basieren, der eine Beta-Version des Betriebssystems ausführt, und sie haben den gesamten Code veröffentlicht, damit jeder die Ergebnisse selbst verifizieren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.