An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
Dieses Paper präsentiert einen herstellerneutralen Katalog von 84 numerischen Formaten und sechs bit-exakten Konformitätspaketen, ergänzt durch kreuzvalidierte JSON-Artefakte und einen IEEE P3109-Crosswalk, um eine gemeinsame Referenz für die Diagnose stiller Divergenzen in Implementierungen von Hardware für maschinelles Lernen bereitzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Meistertischler, der einen Stuhl bauen möchte. Sie haben eine Blaupause, auf der steht: „Schneiden Sie dieses Bein auf 24 Zoll zu.“ Doch als Sie zum Baumarkt gehen, finden Sie drei verschiedene Lineale: Eines zeigt „24 Zoll“, eines zeigt „24,1 Zoll“ und ein drittes zeigt „24 Zoll, aber wenn Sie über 24 hinaus schneiden, verwandelt sich das Holz in Staub.“
Wenn Sie das falsche Lineal verwenden, sieht Ihr Stuhl anfangs vielleicht gut aus, aber er wird wackeln oder brechen, wenn sich jemand darauf setzt.
Dieses Papier befasst sich mit einem ähnlichen Problem in der Welt der KI-Chips. Ingenieure bauen schnellere, kleinere „Lineale“ (numerische Formate), um Zahlen für KI zu messen. Sie haben Dutzende neuer Typen geschaffen, wie zum Beispiel FP8, BF16 und MXFP4. Das Problem ist, dass zwar alle dem Namen des Lineals zustimmen (z. B. „FP8 E4M3“), aber nicht unbedingt darüber einig sind, wie genau die Markierungen platziert sind. Ein Chip behandelt eine riesige Zahl vielleicht, indem er sie auf einen Maximalwert begrenzt, während ein anderer Chip einfach eine Fehlermeldung (NaN) ausgibt, wenn diese Zahl zu groß wird.
Dieses Papier führt ein „Gemeinsames Master-Lineal“ ein, um diese Verwirrung zu lösen.
Was ist dieses Papier?
Der Autor, Dmitrii Vasilev, hat zwei Hauptwerkzeuge geschaffen, die Ingenieuren helfen, dieselbe Sprache zu sprechen:
Das „84-Format-Katalog“ (Die Enzyklopädie):
Denken Sie an dies als ein massives Wörterbuch oder einen Bibliothekskatalog. Er listet 84 verschiedene Arten auf, wie Computer Zahlen speichern können, organisiert in 13 Familien. Für jedes Format listet er die exakten Regeln auf: wie viele Bits verwendet werden, wie groß die Zahlen werden können und was passiert, wenn eine Zahl zu groß ist (wird sie am Limit gestoppt oder verwandelt sie sich in „Not a Number“?).- Analogie: Es ist wie eine Masterliste aller existierenden Schrauben, Bolzen und Muttern mit einer Zeichnung, die genau zeigt, wie viele Gewinde jede einzelne hat.
Die „Sechs Konformitätspakete“ (Die Testkits):
Das Papier listet nicht nur die Regeln auf; es stellt auch sechs spezifische Testkits für die derzeit populärsten Formate in der echten KI-Hardware zur Verfügung (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2 und E8M0).- Jedes Kit ist eine digitale Datei, die eine Liste von „Testzahlen“ enthält.
- Es sagt Ihnen genau, welche Ausgabe der Computerchip für jede dieser Zahlen liefern sollte.
- Es enthält eine spezielle „Ankerzahl“ (den Wert 3.0), die als Plausibilitätsprüfung dient. Wenn Ihr Chip diese spezifische Zahl nicht korrekt verarbeiten kann, wissen Sie, dass etwas defekt ist.
- Analogie: Dies sind wie „Kalibiergewichte“, die man auf eine Waage legt. Wenn die Waage genau 3,0 Pfund anzeigt, wenn man das 3-Pfund-Gewicht darauflegt, wissen Sie, dass die Waage korrekt arbeitet.
Die große Entdeckung: „Die Interpretationslücke“
Der wichtigste Teil des Papiers ist nicht nur, dass die Lineale existieren, sondern dass der Autor zwei spezifische Stellen gefunden hat, an denen die Lineale uneinig sind, obwohl die offiziellen Regeln besagen, dass beide Varianten zulässig sind.
Lücke 1 (Das Overflow-Problem): Stellen Sie sich vor, eine Zahl ist so riesig, dass sie nicht in das Format passt.
- Chip A sagt: „Ich werde sie einfach auf die größte Zahl begrenzen, die ich halten kann.“ (Sättigung/Saturation)
- Chip B sagt: „Ich kann das nicht halten, also gebe ich eine Fehlermeldung aus (NaN).“
- Beide Chips befolgen das offizielle Regelwerk, aber sie tun es unterschiedlich. Dieses Papier deckt diesen Unterschied auf, damit Ingenieure nicht verwirrt sind, wenn ihr KI-Modell auf einem Chip funktioniert, aber auf einem anderen scheitert.
Lücke 2 (Das Blockstruktur-Problem): Einige Formate gruppieren Zahlen in „Blöcken“ (wie eine Schachtel mit 32 Schrauben).
- Format A verwendet eine Schachtel mit 32 Schrauben und einem einfachen Etikett.
- Format B verwendet eine Schachtel mit 16 Schrauben und einem detaillierteren Etikett.
- Selbst wenn die einzelnen Schrauben (die Zahlen) gleich aussehen, verändert die Art und Weise, wie sie in der Schachtel verpackt sind, wie das Ganze funktioniert. Das Papier hebt hervor, dass man diese Formate nicht einfach austauschen kann, ohne die „Schachtelgröße“ zu überprüfen.
Was dieses Papier NICHT ist
Der Autor ist sehr deutlich darüber, was dieses Papier nicht tut:
- Es sagt nicht, welches Format „besser“ oder schneller ist.
- Es testet nicht, wie gut KI-Modelle performen (wie etwa die Genauigkeit eines Chatbots).
- Es erfindet keine neuen Formate.
- Es ist rein ein Referenzwerkzeug, um sicherzustellen, dass alle auf die gleiche Weise messen.
Warum ist das wichtig?
Bevor es dieses Papier gab, konnten Ingenieure, wenn sie ein KI-Modell von einem Chip eines Unternehmens zu einem Chip eines anderen Unternehmens verschoben, unterschiedliche Ergebnisse erhalten und nicht wissen, warum. Es war, als würde man versuchen, eine Brücke zu bauen, bei der ein Team Zoll und das andere Zentimeter verwendet, aber niemand zugibt, dass es so ist.
Dieses Papier liefert das gemeinsame Lineal und die Testgewichte. Es ermöglicht Ingenieuren zu sagen: „Okay, mein Chip besteht den Test für den 3,0-Anker und handhabt den Overflow exakt wie die Referenzdatei.“ Wenn nicht, wissen sie, dass sie einen Bug beheben müssen.
Kurz gesagt: Dieses Papier ist das standardisierte Maßband für die chaotische Welt der KI-Numerikformate und stellt sicher, dass alle Unternehmen, die KI-Hardware bauen, dieselbe mathematische Sprache sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.