🔢 mathematics

Direction-Preserving Number Representations

Dit artikel introduceert een geometrisch raamwerk om low-precision scalair alfabetten voor vectorrichtingsrepresentatie te analyseren en te optimaliseren, waarbij wordt aangetoond dat standaardformaten zoals twee's complement en floating-point suboptimaal zijn, terwijl wordt gevalideerd dat NVIDIA's NVFP4 E2M1-formaat de theoretisch optimale configuratie voor vierbit-precisie nauwkeurig benadert.

Oorspronkelijke auteurs: Bardia Zadeh, George A. Constantinides

Gepubliceerd 2026-05-11

📖 4 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bardia Zadeh, George A. Constantinides

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de richting van de wind probeert te beschrijven met een zeer beperkte set woorden. Je hebt een "woordenboek" van getallen (zoals een eindig alfabet) dat je kunt gebruiken om een vector op te bouwen. In modern machine learning gebruiken computers vaak deze kleine, laag-precisie woordenboeken om energie te besparen en berekeningen te versnellen.

Dit artikel stelt een eenvoudige maar diepzinnige vraag: Als we onze richtingsvectoren opbouwen met deze beperkte woordenboeken, hoe nauwkeurig kunnen we dan eigenlijk in de juiste richting wijzen?

Hier is een uiteenzetting van hun bevindingen met behulp van alledaagse analogieën:

1. Het Rooster versus de Wereldbol (Het Kernprobleem)

Stel je voor dat je in het midden van een enorme kamer (een bol) staat en je wilt naar een willekeurige plek op de muren wijzen.

De Ideale Manier (Sferische Codes): Je hebt een magisch kompas dat naar elke plek op de muur kan wijzen met perfecte precisie. Je kunt je "punten" precies plaatsen waar je ze nodig hebt om de hele kamer gelijkmatig te bedekken.
De Machine Learning Manier (Product Codes): Je bent gedwongen om je punten te bouwen met een rooster. Je hebt een lijst met getallen voor de "X"-as en dezelfde lijst voor de "Y"-as (en Z, etc.). Je kunt alleen wijzen naar de snijpunten van deze roosterlijnen.

De Bevinding: Het artikel bewijst dat een rooster fundamenteel slechter is in het bedekken van een bol dan een magische, vrij-vormige opstelling. Net zoals een rooster ongemakkelijke gaten heeft tussen de lijnen waar je niet precies kunt wijzen, laten deze standaard getalformaten "blinde vlekken" achter in de richtingen die ze kunnen representeren.

2. De "Harmonische Getuige" (Het Onverslaanbare Doel)

Om te bewijzen dat het rooster gebrekkig is, hebben de auteurs een specifieke, lastige richting uitgevonden die ze de "Harmonische Getuige" noemen.

De Analogie: Stel je voor dat de roosterlijnen zijn als een visnet. De auteurs hebben een specifieke, gladde vis gevonden (de harmonische richting) die zo gevormd is dat hij altijd door de gaten van het net glipt, ongeacht hoe je het net probeert aan te halen.
Het Resultaat: Naarmate de dimensies hoger worden (complexere data), wordt deze "gladde vis" steeds moeilijker te vangen met een op roosters gebaseerd systeem. De fout in de wijzingsrichting groeit, wat bewijst dat standaard formaten wiskundig suboptimaal zijn.

3. De Standaard Formaten zijn "Voldoende", Maar Niet "Best"

Het artikel kijkt naar de getalformaten die we momenteel gebruiken, zoals Two's Complement (standaard gehele getallen), Fixed-Point en Floating-Point (zoals het E2M1-formaat dat door NVIDIA wordt gebruikt).

De Analogie: Denk aan deze standaard formaten als verschillende merken voorgefabriceerde schoenveters. Ze werken allemaal, maar ze zijn allemaal uitgesneden volgens hetzelfde stijve sjabloon.
De Bevinding: De auteurs hebben wiskundig bewezen dat geen van deze standaard "veters" de perfecte pasvorm voor de taak is. Ze laten allemaal grotere gaten achter dan nodig is. Er is een kwantificeerbare "kloof" tussen hoe goed ze werken en hoe goed ze zouden kunnen werken als we ze specifiek ontwierpen voor het wijzen van richtingen.

4. Het Geoptimaliseerde Alfabet (De Oplossing op Maat)

Omdat de standaard formaten niet perfect zijn, hebben de auteurs een computer gebruikt om een gloednieuw "woordenboek" van getallen te ontwerpen dat specifiek is om die richtingsgaten te minimaliseren.

Het Resultaat: Ze hebben een aangepaste set getallen gemaakt (een "Geoptimaliseerd Alfabet") die veel beter in het rooster past dan de standaard versies.
De Verrassing: Toen ze dit testten, ontdekten ze dat NVIDIA's E2M1-formaat (een specifiek 4-bit floating-point formaat) eigenlijk zeer dicht bij hun op maat gemaakte, wiskundig perfecte oplossing ligt.
De Leerervaring: Dit verklaart waarom NVIDIA's formaat zo goed werkt in AI met lage precisie. Het was niet alleen geluk; hun formaat nabootst (per ongeluk of slim) de geometrie van de optimale oplossing, zelfs al was het niet expliciet ontworpen voor dit specifieke "richtings"-probleem.

Samenvatting

Het artikel betoogt dat we, hoewel we vastzitten aan "rooster-achtige" getalformaten voor efficiëntie, moeten stoppen met de aanname dat de standaard formaten (zoals gehele getallen of standaard floats) het beste zijn wat we kunnen doen.

Roosters zijn inherent slechter in het representeren van richtingen dan vrij-vormige punten.
Standaard formaten (zoals floating-point) zijn niet de best mogelijke roosters; ze laten onnodige gaten achter.
We kunnen beter doen door aangepaste getallenlijsten specifiek voor richting te ontwerpen.
NVIDIA's E2M1 is een "gelukkig ongeluk" dat toevallig zeer dicht bij dit optimale ontwerp ligt, wat verklaart waarom het zo goed presteert in moderne AI.

De auteurs hebben zelfs hun wiskundige bewijzen en de code voor deze nieuwe, geoptimaliseerde getallenlijsten vrijgegeven zodat anderen ze kunnen gebruiken.

Technische Samenvatting: Richtingbehoudende Getalrepresentaties

Probleemstelling

Moderne machine learning-systemen vertrouwen steeds vaker op getalformaten met lage precisie om de efficiëntie te verbeteren op het gebied van energieverbruik, hulpbronbenutting en doorvoer. Waar scalair kwantisatie reële vector-elementen afbeeldt op een discreet alfabet, waardoor een "productcode" (het cartesisch product van het scalair alfabet) ontstaat, worden de geometrische implicaties van deze structuur voor de vectorrichting vaak over het hoofd gezien.

Het merendeel van het bestaande werk evalueert kwantisatie via gemiddelde-kwadratische fout of op norm gebaseerde metrieken. De opkomst van op blokken gebaseerde formaten (zoals block minifloat, MX-formaten en IEEE P3109) suggereert echter dat richtingsgetrouwheid – het vermogen om de richting van een vector nauwkeurig weer te geven – een kritieke metriek is. Het centrale probleem dat wordt aangepakt, is de geometrische beperking die wordt opgelegd door productgestructureerde codes: de set van bereikbare richtingen wordt beperkt door het scalair alfabet, wat kan leiden tot significante gaten in de hoekdekking in vergelijking met onbeperkte sferische codes. Het artikel onderzoekt of standaard scalair formaten (complement van twee, vastpunts, zwevendepunts) suboptimaal zijn voor het behoud van vectorrichtingen en of er nieuwe alfabetten kunnen worden ontworpen om dit te mitigeren.

Methodologie

De auteurs hanteren een geometrisch raamwerk om de richtingsdekking van productgestructureerde codes te analyseren. De methodologie combineert rigoureuze theoretische analyse met numerieke optimalisatie en empirische evaluatie.

Theoretisch Raamwerk

Definities: Het werk definieert een productcode-richtingsset $P_n(A)$ als de set genormaliseerde vectoren gevormd door het cartesisch product van een eindig scalair alfabet $A$ . De prestatiemetriek is de sferische dekkingsstraal $F_n(A)$ , die de maximale hoekafstand voorstelt tussen elke eenheidsvector en zijn dichtstbijzijnde representeerbare richting in de code.
Ondergrenzen (Harmonische Getuige): Om grenzen voor productcodes vast te stellen, construeren de auteurs een specifieke "harmonische getuige"-richting met behulp van harmonische getallen. Ze bewijzen dat voor elk eindig alfabet richtingen bestaan die inherent moeilijk zijn om af te stemmen op productgestructureerde vectoren, waardoor een analytische ondergrens voor de worst-case hoekfout wordt geboden.
Bovengrenzen (Sferische Codes): Met behulp van Wyner's theorema over willekeurige packings leiden de auteurs bovengrenzen af voor de dekkingsstraal van onbeperkte sferische codes met hetzelfde aantal punten.
Asymptotische Analyse: Het artikel vergelijkt het asymptotische gedrag van productcodes versus sferische codes naarmate de dimensie $n$ toeneemt, en bewijst een strikte scheiding in dekkingprestaties.
Analyse van Standaardformaten: De auteurs analyseren specifieke families alfabetten (zwevendepunts, vastpunts, complement van twee) om hun suboptimaliteitskloof te kwantificeren ten opzichte van een optimaal productcode.

Experimentele Aanpak

Numerieke Optimalisatie: Een afgeleide-vrije optimalisatieframework (combinatie van Differentiële Evolutie en Powells methode) wordt gebruikt om numeriek te zoeken naar scalair alfabetten die de worst-case hoekfout minimaliseren voor een gegeven bitbreedte en dimensie.
Efficiënte Zoekopdracht: Om het dekkingsdoel efficiënt te evalueren, implementeren de auteurs een extensie van een nearest-neighbor zoekmethode die de zoekruimte reduceert tot één dimensie (schaal) door te optimaliseren over alle mogelijke vectorschalen voor elementsgewijze kwantisatie.
Vergelijkende Evaluatie: De geoptimaliseerde alfabetten worden vergeleken met standaard 4-bit formaten (specifiek NVIDIA's NVFP4 E2M1, E3M0 en INT/E1M2) over dimensies $d=4$ tot $d=64$ .

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Analytisch Bewijs van Suboptimaliteit: De auteurs leveren een rigoureus bewijs dat productgestructureerde codes strikt suboptimaal zijn in vergelijking met sferische codes voor richtingsdekking. Dit geldt zowel in lage dimensies (specifiek dimensie 2, behalve voor het antipodale binaire geval) als asymptotisch in hoge dimensies.
Kwantificering van Standaardformaatgaten: Het werk bewijst dat standaardformaten – complement van twee, vastpunts en zwevendepunts – suboptimaal zijn binnen de klasse van productcodes. Het artikel kwantificeert de "suboptimaliteitskloof" met behulp van een genormaliseerd orthogonaliteitsdeficit, en toont aan dat deze formaten convergeren naar de theoretische limiet ( $\pi/2$ ) met een strikt slechtere snelheid dan een optimaal alfabet.
Geoptimaliseerde Richtingbehoudende Alfabetten: Het artikel presenteert een numerieke optimalisatieaanpak om scalair alfabetten af te leiden die specifiek zijn ontworpen voor richtingsdekking. Deze geoptimaliseerde alfabetten dienen als benchmark voor het evalueren van bestaande formaten.
Geometrische Verklaring van E2M1-prestaties: Via log-ruimte analyse demonstreren de auteurs dat NVIDIA's E2M1-formaat (gebruikt in NVFP4) de theoretisch geoptimaliseerde alfabetten nauwkeurig benadert. Dit biedt een geometrische rechtvaardiging voor de sterke prestaties in machine learning-workloads met lage precisie.

Resultaten

Theoretische Resultaten

Dimensie 2: Productcodes zijn strikt suboptimaal ten opzichte van sferische codes, tenzij het alfabet de antipodale binaire set $\{-a, a\}$ is.
Hoge Dimensies: Voor elke vaste alfabetgrootte $q$ bestaat er een dimensie $N$ waarboven sferische codes elke productcode strikt overtreffen. De kloof wordt gekwantificeerd door het verschil tussen de ondergrens van de productcode (afgeleid van harmonische getuigen) en de bovengrens van de sferische code.
Standaardformaten: Voor bitbreedtes $b \ge 3$ zijn standaard zwevendepunts- en vastpuntsformaten asymptotisch suboptimaal. Het artikel vestigt een concrete constante-factor kloof (bijvoorbeeld een verhouding van $\approx 1,528$ voor 4-bit formaten) tussen standaardformaten en de optimale productcode.

Experimentele Resultaten

Optimalisatie: Numerieke optimalisatie leverde teken-symmetrische 4-bit alfabetten op die consistent beter presteerden dan standaardformaten over dimensies $d=4$ tot $d=64$ .
E2M1-Alignering: Het E2M1-formaat (2 exponentbits, 1 mantissabit) bereikte hoekfoutpercentages die zeer dicht bij het geoptimaliseerde alfabet lagen, en presteerde aanzienlijk beter dan E3M0 en INT/E1M2.
Log-ruimte Analyse: Regressieanalyse onthulde dat E2M1 een bijna-isometrie vertoont met het geoptimaliseerde alfabet, wat suggereert dat E2M1 effectief een specifieke afronding is van de optimale richtingbehoudende structuur naar de beperkingen van een 4-bit zwevendepuntsfamilie.

Betekenis en Aanspraken

Het artikel claimt een geometrisch perspectief te bieden op het ontwerp van getalformaten met lage precisie. De betekenis ligt in het verschuiven van de ontwerpfocus van traditionele dynamische bereik- en precisie-metrieken naar richtingsbehoud, wat kritiek is voor vectoroperaties in machine learning.

De auteurs stellen dat hoewel productcodes inherent beperkt zijn in vergelijking met onbeperkte sferische codes, de keuze van het scalair alfabet een kritieke factor blijft. Het werk toont aan dat:

Standaardformaten niet optimaal zijn voor richtingsbehoud, zelfs niet binnen de beperkingen van productstructuren.
Er een kwantificeerbare kloof bestaat tussen standaardformaten en een optimaal productcode.
Bestaande hoogpresterende formaten zoals E2M1 niet door toeval slagen, maar omdat hun structuur nauw aansluit bij de geometrische vereisten voor optimale richtingsdekking.

Het artikel concludeert dat deze bevindingen de ontwikkeling motiveren van nieuwe scalair formaten die specifiek zijn geoptimaliseerd voor richtingsbehoud, en een theoretisch raamwerk bieden voor het analyseren van de grenzen van dergelijke representaties. De auteurs hebben de formele bewijzen (in Lean), experimentele code en geoptimaliseerde alfabetten beschikbaar gesteld als open-source bronnen.