The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators

Het paper introduceert de AetherFloat-familie, een nieuw kwadratisch radix-4 floating-point architectuurontwerp dat door het elimineren van blokschaallogica en het gebruik van expliciete mantissen aanzienlijke verbeteringen in chipoppervlak, energieverbruik en latentie biedt voor AI-versnellers, met name in de vorm van het AF8-formaat dat dynamische schaling overbodig maakt ten koste van kwantiseringsbewust finetunen.

De kern

Stel je voor dat de huidige manier waarop computers rekenen (de "IEEE 754" standaard) een beetje is als een ouderwetse, zware vrachtwagen. Deze vrachtwagen is al decennia lang de norm voor alles wat we doen, maar voor de nieuwe, supersnelle AI-chips die we nodig hebben voor chatbots en slimme assistants, is hij te zwaar, te traag en te duur in brandstof.

Deze vrachtwagen heeft een ingewikkeld systeem om getallen te vergelijken en kleine getallen te behandelen, wat veel ruimte op de chip kost en veel stroom verbruikt. Bovendien, als AI-modellen (zoals die in grote taalmodellen) plotseling een heel groot getal tegenkomen, moet de vrachtwagen stoppen, een nieuwe route plannen (een "Block-Scaling" proces), en dat kost tijd.

De "AetherFloat" familie is een volledig nieuw voertuigontwerp dat is gebouwd voor deze AI-toekomst. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Verborgen Bit" is weg (De Verkleinde Motor)

In de oude systemen wordt een getal opgeslagen alsof er een "verborgen" cijfer is dat je niet ziet, maar dat er wel is. Dit is handig voor de nauwkeurigheid, maar voor de hardware betekent het dat je een grote, dure motor (een vermenigvuldiger) nodig hebt om dit te verwerken.

• De Analogie: Stel je voor dat je een auto bouwt. De oude auto heeft een motorblok van 4 cilinders, maar één cilinder is "onzichtbaar" en werkt alleen als je een knop indrukt. De AetherFloat zegt: "Laten we die onzichtbare cilinder gewoon weglaten en een compacte 3-cilindermotor bouwen."
• Het Resultaat: De chip wordt 33% kleiner en verbruikt 22% minder stroom. Het is een kleinere, snellere auto die precies doet wat we nodig hebben voor AI.

2. Geen "Stop & Zoek" meer (Block-Scale-Free)

Huidige AI-chips hebben een probleem: als een getal te groot wordt (een "uitbijter"), moet de chip stoppen, kijken wat het grootste getal is in een blok, en alles even aanpassen. Dit is als een tolpoort waar elke auto moet stoppen om te betalen voordat hij door kan.

• De Analogie: De AetherFloat is een snelweg met een breed rijbaan. Hij heeft zo'n groot bereik dat hij enorme getallen (uitbijters) en hele kleine getallen gewoon kan absorberen zonder te hoeven stoppen.
• Het Resultaat: De chip hoeft nooit te wachten op die "stop-en-zoek" instructies. Het is "Block-Scale-Free", wat betekent dat het gewoon blijft rijden, hoe groot de getallen ook zijn.

3. Getallen die als cijfers werken (Vergelijken zonder gedoe)

In de oude wereld is het voor een computer lastig om te zien welk getal het grootst is als er minnen bij zitten. Het moet eerst een ingewikkelde conversie doen, net als iemand die probeert te tellen terwijl hij achteruit loopt.

• De Analogie: AetherFloat heeft een nieuw "alfabet" ontworpen. Hierdoor kunnen de getallen direct worden vergeleken alsof het simpele cijfers zijn.
• Het Resultaat: De computer kan beslissingen nemen (zoals "is dit getal groter dan nul?") instant, zonder extra tijd te verliezen. Het is alsof je van een ingewikkelde landkaart overschakelt naar een rechte lijn.

4. De Prijs die je betaalt: Oefening vooraf

Er is één belangrijke trade-off (ruil). Omdat de AetherFloat zo'n nieuw systeem is, kun je niet zomaar een oude AI-model erin stoppen en hopen dat het werkt.

• De Analogie: Stel je voor dat je een nieuwe, supersnelle raceauto koopt. Je kunt niet zomaar de oude banden erop zetten en hopen dat je wint. Je moet de auto eerst op de baan testen en afstellen (dit heet "Quantization-Aware Training" of QAT).
• Het Resultaat: Je moet het AI-model even "oefenen" met dit nieuwe formaat voordat je het gebruikt. Maar als je dat eenmaal hebt gedaan, is de auto veel sneller en zuiniger dan de oude modellen.

Samenvattend

De AetherFloat is een slimme, nieuwe manier om getallen op te slaan en te berekenen voor AI.

• Voordeel: Het is kleiner, zuiniger en veel sneller omdat het geen tijd verliest aan het aanpassen van grote getallen of het vergelijken van getallen.
• Nadeel: Je moet je AI-model eerst even "trainen" op dit nieuwe systeem in plaats van het direct te gebruiken.

Het is als de overstap van een zware, comfortabele sedan naar een strakke, snelle racefiets: je moet je lichaam (het model) even aanpassen, maar zodra je dat doet, ga je veel sneller en efficiënter.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators" in het Nederlands.

Titel: De AetherFloat-familie: Block-Scale-Free Quad-Radix Floating-Point Architecturen voor AI-versnellers

1. Het Probleem

De huidige standaard voor zwevendekommabewerkingen, IEEE 754, is niet optimaal ontworpen voor massaal parallelle Neural Processing Units (NPUs) en AI-versnellers. De paper identificeert drie hoofdpijnpunten:

• Hardware-overhead: De vereiste voor Base-2-normalisatie (met een verborgen leidende bit) vereist diepe logaritmische barrel-shifters en kruisbalken, wat siliconen oppervlak en stroomverbruik vergroot.
• Pijplijnstallingen: Subnormale getallen (zeer kleine getallen) veroorzaken microcode-traps en pipeline-stallingen in traditionele FPUs.
• Block-Scaling (AMAX) bij 8-bit inferentie: De verschuiving naar 8-bit formaten (zoals FP8) voor Large Language Models (LLM) introduceert een nieuw probleem: LLM-activaties vertonen extreme "outliers". Om overloop te voorkomen, is complexe hardware nodig voor dynamische blokschaling (AMAX), wat de voordelen van 8-bit inferentie tenietdoet.

2. Methodologie en Kernarchitectuur

De auteurs stellen de AetherFloat-familie voor, een parameteriseerbaar architecturaal alternatief ontworpen vanuit de basisprincipes voor Hardware/Software Co-Design. De architectuur combineert drie structurele optimalisaties:

• Lexicografische Één-Complement Ontpakking (Unpacking):

  • In plaats van de standaard Sign-Magnitude-codering, gebruikt AetherFloat een mapping waarbij de magnitude-bits van negatieve getallen bit-voor-bit worden omgekeerd (Één-Complement).
  • Voordeel: Dit zorgt voor een behoud van de volgorde (monotonie) bij het interpreteren van de bits als een geheel getal. Hierdoor kunnen kritieke niet-lineariteiten (zoals ReLU of Max-Pooling) direct worden uitgevoerd op goedkope, integer-only SIMD-ALU's zonder dure FPU-logica of pipeline-stallingen.

• Quad-Radix (Base-4) Schaling:

  • De exponent wordt geschaald in Base-4 (machten van 4) in plaats van Base-2.
  • Voordeel: Dit elimineert de diepe bit-level kruisbalken en vervangt deze door een zeer ondiepe 2-staps multiplexer. Hoewel hogere radixen historisch gezien "wobble" (precisievariatie) veroorzaken, tonen de auteurs aan dat dit in deep learning wordt geabsorbeerd door stochastische gradiëntafstijging (SGD) en stochastische afronding.
  • Resultaat: Een aanzienlijk groter dynamisch bereik om LLM-outliers op te vangen zonder dynamische schaling.

• Expliciete Mantissa en Geïntegreerde Subnormale Behandeling:

  • AetherFloat doet de "verborgen bit" op (zoals bij IEEE 754) en slaat de mantissa expliciet op.
  • Voordeel: Dit verkleint de hardware-multiplicatorarray (bijv. van 4x4 naar 3x3 bij AF8), wat het fysieke siliciumoppervlak drastisch verkleint.
  • Subnormale getallen: Omdat de leidende bit-expliciet is, hoeven subnormale getallen geen speciale "trap" te veroorzaken; ze stromen naadloos door dezelfde datapath als normale getallen (branchless handling).

3. Belangrijkste Bijdragen

• AetherFloat-8 (AF8): Een "Block-Scale-Free" inferentieformaat. Door het enorme dynamische bereik (van ca. $1,22 \times 10^{-4}$ tot 57.344, en theoretisch tot 229.376) te combineren met Base-4, elimineert het de noodzaak voor dynamische AMAX-hardware. Het vereist echter Quantization-Aware Training (QAT) voor implementatie.
• AetherFloat-16 (AF16): Een vervanging voor bfloat16 die een vergelijkbaar macro-bereik biedt maar met een grofere exponentgrid en expliciete subnormale getallen.
• Vector-Gedeelde Stochastische Afronding: Een nieuwe topologie waarbij één 32-bit Galois LFSR (Random Number Generator) wordt gedeeld over een SIMD-vector-lane. Dit verlaagt de hardwarekosten voor stochastische afronding (cruciaal voor 8-bit training) zonder het verdwijnen van gradiënten te veroorzaken.
• Patentstatus: De technologie is onderhevig aan een lopende patentaanvraag (US Provisional App. No. 63/987,398).

4. Resultaten

De auteurs hebben de architectuur gesimuleerd en gesynthetiseerd met de SkyWater 130nm PDK en getest op het Qwen2.5-7B model.

• Hardware-efficiëntie:
  • Oppervlakte: 33,17% reductie in het MAC-unit (Multiply-Accumulate) oppervlak.
  • Stroomverbruik: 21,99% reductie in totaal stroomverbruik.
  • Kritiek pad: 11,73% reductie in vertraging (delay).
• Performance & Nauwkeurigheid:
  • AF16: Toont bijna verliesvrije prestaties vergeleken met bfloat16 (kleine toename in perplexity op WikiText-2, maar vergelijkbare nauwkeurigheid op HellaSwag).
  • AF8 vs. FP8: AF8 presteert slechter bij Post-Training Quantization (PTQ) omdat kleine gewichten onder het minimum drempelwaarde vallen en naar nul worden afgerond. Echter, bij Quantization-Aware Training (QAT) herstelt AF8 zich goed en toont het een stabielere convergentie dan FP8 in late trainingsfasen, zonder de noodzaak voor AMAX-hardware.
  • Dynamic Range: AF8 biedt een veel breder bereik dan FP8 E4M3, waardoor het LLM-outliers natief kan absorberen.

5. Betekenis en Conclusie

De AetherFloat-familie biedt een fundamentele verschuiving in hoe zwevendekommabewerkingen voor AI worden benaderd:

1. Eliminatie van Block-Scale Hardware: Het lost het probleem van LLM-outliers op door het formaat zelf robuuster te maken, in plaats van complexe runtime-schalingstechnieken te gebruiken.
2. Hardware-Vereenvoudiging: Door de verborgen bit op te geven en Base-4 te gebruiken, worden de datapaths aanzienlijk vereenvoudigd, wat leidt tot minder chipoppervlak en minder stroomverbruik.
3. Co-Design Benadering: De paper benadrukt dat de "wobble" (precisievariatie) van Base-4 geen nadeel is, maar een gunstig regularisatie-effect heeft in stochastische training, wat een brug slaat tussen wiskundige theorie en hardware-implementatie.

Beperkingen: De huidige resultaten zijn gebaseerd op simulaties en een 130nm-proces. De prestaties op geavanceerde FinFET-nodes (zoals 5nm) en de kosten van QAT-finetuning voor real-world deployments moeten nog verder worden onderzocht.

Kortom, AetherFloat is een veelbelovende architectuur die de trade-off tussen precisie en hardware-efficiëntie voor AI-versnellers herdefinieert, met name voor inferentie met 8-bit formaten.