An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
Dit artikel presenteert een leveranciersneutrale catalogus van 84 numerieke formaten en zes bit-exacte conformiteitspakketten, compleet met kruis gevalideerde JSON-artefacten en een IEEE P3109 cross-walk, om een gedeelde referentie te bieden voor het diagnosticeren van stille divergenties in implementaties van hardware voor machine learning.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een meester-timmerman bent die een stoel probeert te bouwen. Je hebt een blauwdruk waarop staat: "Zaag deze poot op 24 inch." Maar wanneer je naar de bouwmarkt gaat, vind je drie verschillende linialen: de ene zegt "24 inch", de andere "24,1 inch", en de derde zegt "24 inch, maar als je voorbij de 24 zaagt, verandert het hout in stof."
Als je de verkeerde liniaal gebruikt, ziet je stoel er misschien in het begin goed uit, maar zal hij wankelen of breken wanneer iemand erop gaat zitten.
Dit artikel gaat over een vergelijkbaar probleem in de wereld van AI-chips. Ingenieurs bouwen snellere, kleinere "linialen" (numerieke formaten) om getallen te meten voor AI. Ze hebben tientallen nieuwe types gecreëerd, zoals FP8, BF16 en MXFP4. Het probleem is dat hoewel iedereen het eens is over de naam van de liniaal (bijv. "FP8 E4M3"), ze het niet altijd eens zijn over de exacte plaatsing van de markeringen. De ene chip kan een enorm groot getal afhandelen door het af te kappen op een maximumwaarde, terwijl een andere chip simpelweg een foutmelding (NaN) geeft wanneer dat getal te groot wordt.
Dit artikel introduceert een "Gedeelde Meesterliniaal" om deze verwarring op te lossen.
Wat is dit artikel?
De auteur, Dmitrii Vasilev, heeft twee belangrijke hulpmiddelen ontwikkeld om ingenieurs te helpen dezelfde taal te spreken:
De "84-Format Catalogus" (De Encyclopedie):
Beschouw dit als een enorme woordenlijst of een bibliotheekcatalogus. Het vermeldt 84 verschillende manieren waarop computers getallen opslaan, georganiseerd in 13 families. Voor elk formaat worden de exacte regels vermeld: hoeveel bits worden er gebruikt, hoe groot de getallen kunnen worden en wat er gebeurt als een getal te groot is (stopt het bij de limiet, of verandert het in "Not a Number"?).- Analogie: Het is als een meesterlijst van elk type schroef, bout en moer die bestaat, met een diagram dat precies laat zien hoeveel draad elke eenheid heeft.
De "Zes Conformance Packs" (De Testkits):
Het artikel somt niet alleen de regels op; het biedt ook zes specifieke testkits voor de meest populaire formaten die momenteel in AI-hardware worden gebruikt (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2 en E8M0).- Elke kit is een digitaal bestand met een lijst van "testgetallen".
- Het vertelt je precies wat de computerchip moet produceren voor elk getal.
- Het bevat een speciaal "Ankergetal" (de waarde 3.0) dat dient als een controle op de logica. Als jouw chip dit specifieke getal niet correct kan verwerken, weet je dat er iets mis is.
- Analogie: Dit zijn als "kalibratiegewichten" die je op een weegschaal legt. Als de weegschaal precies 3,0 pond aangeeft wanneer je het 3-pond gewicht erop legt, weet je dat de weegschaal werkt. Als de weegschaal iets anders aangeeft, weet je dat de weegschaal kapot is.
De Grote Ontdekking: "De Interpretatiekloof"
Het belangrijkste deel van het artikel is niet alleen dat de linialen bestaan, maar dat de auteur twee specifieke plekken heeft gevonden waar de linialen verschillen, zelfs als de officiële regels beweren dat beide toegestaan zijn.
Kloof 1 (Het Overflow-probleem): Stel dat een getal zo groot is dat het niet in het formaat past.
- Chip A zegt: "Ik kap het gewoon af op het grootste getal dat ik kan vasthouden." (Satutatie)
- Chip B zegt: "Ik kan dit niet vasthouden, dus ik verander in een foutmelding (NaN)."
- Beide chips volgen het officiële regelboek, maar doen het verschillend. Dit artikel legt dit verschil bloot, zodat ingenieurs niet in de war raken wanneer hun AI-model op de ene chip wel werkt en op een andere faalt.
Kloof 2 (Het Blokstructuur-probleem): Sommige formaten groeperen getallen in "blokken" (zoals een doos met 32 schroeven).
- Formaat A gebruikt een doos van 32 schroeven met een eenvoudig label.
- Formaat B gebruikt een doos van 16 schroeven met een gedetailleerder label.
- Zelfs als de individuele schroeven (de getallen) er hetzelfde uitzien, verandert de manier waarop ze in de doos zijn verpakt de werking van het geheel. Het artikel benadrukt dat je deze formaten niet zomaar kunt uitwisselen zonder de "doosgrootte" te controleren.
Wat dit artikel NIET is
De auteur is zeer duidelijk over wat dit artikel niet doet:
- Het zegt niet welk formaat "beter" of sneller is.
- Het test niet hoe goed AI-modellen presteren (zoals de nauwkeurigheid van een chatbot).
- Het verzint geen nieuwe formaten.
- Het is puur een referentietool om ervoor te zorgen dat iedereen op dezelfde manier meet.
Waarom is dit belangrijk?
Vóór dit artikel, als een ingenieur een AI-model verplaatste van de chip van het ene bedrijf naar die van een ander bedrijf, konden ze andere resultaten krijgen zonder te weten waarom. Het was alsof je een brug probeert te bouren waarbij het ene team inches gebruikte en het andere team centimeters, maar niemand het toe gaf.
Dit artikel biedt de gedeelde liniaal en de testgewichten. Het stelt ingenieurs in staat om te zeggen: "Oké, mijn chip slaagt voor de test voor het 3.0-anker en handelt de overflow exact af zoals het referentiebestand." Als dat niet zo is, weten ze dat ze een bug moeten oplossen.
Kortom, dit artikel is de gestandaardiseerde meetlint voor de chaotische wereld van AI-getalformaten, wat ervoor zorgt dat wanneer verschillende bedrijven AI-hardware bouwen, ze allemaal dezelfde wiskundige taal spreken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.