Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU
Dit artikel presenteert Rigel, een empirische studie die de Apple M4 Max Metal 4.1 tensor compute path reverse-engineert om te onthullen dat de fp8 matmul2d operatie geheugenbeperkt en geëmuleerd is in plaats van hardwarematig versneld, terwijl het ook verborgen uitvoeringsdetails blootlegt en een hand-gefuseerde kernel mogelijk maakt die de standaard gedecodeerde pad met wel 12,9% overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de nieuwe M4 Max computerchip van Apple voor als een enorme, high-tech keuken. Jarenlang zijn ontwikkelaars (de chefs) verteld dat deze keuken een speciale, supersnelle "Tensor Oven" heeft, ontworpen om complexe AI-recepten (zoals Large Language Models) met de snelheid van het licht te bakken. De officiële handleiding (de Metal 4.1 specificatie) zegt: "Ja, we hebben deze oven, en hij ondersteunt deze specifieke ingrediënten." Maar de handleiding is frustrerend vaag: het zegt niet hoe de oven werkt, waar hij zich bevindt, of hij eigenlijk wel sneller is dan het standaard fornuis.
Het papier RIGEL is als een team voedingswetenschappers dat besloot te stoppen met het lezen van de handleiding en in plaats daarvan het eten te gaan proeven om te ontdekken wat er echt in de keuken gebeurt. Ze bouwden een set uiterst precieze meetinstrumenten om het gedrag van de M4 Max te reverse-engineeren.
Hier is wat ze ontdekten, vertaald naar alledaagse analogieën:
1. De "Speciale Oven" is Eigenlijk Gewoon een Regulier Fornuis
De Bewering: Het papier bewijst dat de M4 Max geen toegewijde "Tensor Core" heeft (een speciale hardware-unit die alleen voor AI-berekeningen is bedoeld).
De Analogie: Denk aan de "Tensor"-operatie als een specif으로 type taart. De handleiding suggereert dat er een speciale, hogesnelheids lopende band is voor deze taarten. RIGEL ontdekte dat er op de M4 Max geen lopende band is. In plaats daarvan maken de keukenmedewerkers (de GPU shader cores) deze taarten gewoon met de hand op het reguliere fornuis, met dezelfde gereedschappen die ze voor alles anders gebruiken. Ze doen het efficiënt, maar ze gebruiken geen geheim, toegewijd apparaat.
2. Het "Magische Ingrediënt" (FP8) is een Trucje, Geen Superkracht
De Bewering: Het papier test een formaat met lage precisie genaamd FP8 (dat de helft van de geheugenruimte gebruikt van het standaard FP16-formaat). De specificatie suggereert dat dit sneller zou kunnen zijn omdat het kleiner is. RIGEL ontdekte dat dit niet sneller is; het is zelfs iets langzamer.
De Analogie: Stel je voor dat je emmers water draagt. Het FP16-formaat is een grote emmer; het FP8-formaat is een kleine emmer. Je denkt misschien: "Als ik kleine emmers gebruik, kan ik in dezelfde tijd meer ritjes maken!" Maar de wetenschappers ontdekten dat de werkers op de M4 Max even moeten stoppen om het kleine water in een grote emmer te gieten voordat ze het kunnen gebruiken. Dit "gieten" (uitpakken) kost tijd.
- Het Resultaat: Het gebruik van de kleine emmers (FP8) maakt de klus niet sneller. Het bespaart je alleen het dragen van minder zware emmers tegelijk (het bespaart geheugencapaciteit). Het is een ruimtebespaarder, geen snelheidsbespaarder. Het papier noemt dit een "memory-footprint feature, not a performance feature."
3. De "Geheime Receptuur" Lay-out
De Bewering: De handleiding zegt dat de manier waarop data in het "Tensor"-geheugen is gerangschikt "opaak" (verborgen) en "devicespecifiek" is. RIGEL heeft precies uitgezocht hoe dit is gerangschikt.
De Analogie: Stel je voor dat de keukenmedewerkers de opdracht krijgen om ingrediënten in een raster te rangschikken, maar de handleiding zegt alleen: "Doe het in een geheim patroon." RIGEL observeerde het personeel en realiseerde zich dat ze de ingrediënten in een zeer specifiek 8x8 vierkant patroon rangschikken. Zodra de wetenschappers dit geheime raster hadden ontcijferd, konden ze de ingrediënten zo rangschikken dat het kookproces soepeler verliep.
4. De "Versiepoortwachter" (De Uitsmijter)
De Bewing: De handleiding zegt dat je deze functies kunt gebruiken met een bepaalde softwareversie (Xcode 26.1+), maar RIGEL ontdekte dat dit een leugen is.
De Analogie: De handleiding zegt: "Iedereen met een rode hoed mag de VIP-ruimte betreden." Maar toen RIGEL probeerde binnen te komen met een rode hoed van vorig jaar (Xcode 26.5), werd de toegang geweigerd door de uitsmijter. Je hebt daadwerkelijk een gloednieuwe rode hoed nodig (Xcode 27) en een specifieke ID-kaart (macOS 27.0) om de deur überhaupt te laten openen. De handleiding zat er simpelweg naast over wie er naar binnen mocht.
5. De "Superchef" Optimalisatie
De Bewering: Omdat de wetenschappers nu precies weten hoe de keuken werkt (geen geheime oven, 8x8 raster, FP8 is traag), hebben ze een nieuw, op maat gemaakt recept geschreven.
De Analogie: In plaats van de standaard, stapsgewijze instructies te volgen (Taart Baken -> Glazuur Toevoegen -> Fruit Toevoegen), waarbij je drie keer heen en weer loopt naar de voorraadkast, schreven de wetenschappers een "fusion" recept. Ze combineerden de stappen van bakken, glazuren en fruit toevoegen tot één vloeiende beweging, direct bij het fornuis.
- Het Resultaat: Dit aangepaste recept was 6,5% tot 12,9% sneller voor taken die binnen de directe werkruimte van de keuken passen (cache-resident). Echter, voor enorme taken die veel heen en weer lopen naar het magazijn vereisen (hoofdgeheugen), verdwijnt de snelheidswinst omdat de tijd die het lopen kost, de kooktijd domineert.
Samenvatting van de "Grote Onthulling"
Het papier concludeert dat op de Apple M4 Max:
- Geen Magische Hardware: Er is geen speciale AI-engine; alles draait op de standaard grafische kernen.
- FP8 is voor Opslag, Niet voor Snelheid: Het gebruik van kleinere getallen bespaart ruimte, maar maakt berekeningen niet sneller.
- De Handleiding is Incompleet: De officiële documentatie verbergt de realiteit van de hardware, de exacte geheugenlay-out en de ware softwarevereisten.
- Custom Code Wint: Als je de geheime lay-out kent, kun je een aangepast programma schrijven dat de standaard Apple-tools met een kleine maar meetbare marge verslaat.
De auteurs benadrukken dat deze bevindingen gebaseerd zijn op harde gegevens van een enkele M4 Max-chip die draait op een bètaversie van het besturingssysteem, en zij hebben al hun code vrijgegeven zodat iedereen de resultaten zelf kan verifiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.