🔢 mathematics

Performance evaluation of branch-free fused multiply-add algorithms for multi-component-type multiple-precision floating-point arithmetic

Dit artikel stelt nieuwe vertakkingsvrije fused multiply-add-algoritmen voor en benchmarkt deze voor double-word, triple-word en quadruple-word precisie-aritmetica met meerdere precisies, waarbij wordt aangetoond dat zij verdere prestatieverbeteringen realiseren ten opzichte van bestaande methoden door het elimineren van conditionele vertakkingen.

Oorspronkelijke auteurs: Tomonori Kouya

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tomonori Kouya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superprecieze rekenmachine probeert te bouwen met alleen maar standaard, kant-en-klare Lego-steentjes. Deze Lego-steentjes zijn de normale zwevend-kommagetallen van je computer. Normaal gesproken, wanneer je deze steentjes opstapelt om een "double-word" (twee steentjes), "triple-word" (drie steentjes) of "quadruple-word" (vier steentjes) getal te maken, moet je constant de grootte van de stukjes controleren terwijl je bouwt. Als een stukje te groot of te klein is, moet je stoppen, pauzeren en de stapel herarrangeren. In de wereld van computerchips zijn deze "pauzes" zogenaamde branches.

Wanneer je probeert om een miljoen van deze stapels tegelijk te bouwen (zoals op een moderne grafische kaart of een krachtige processor), worden deze pauzes een nachtmerrie. Het is als een verkeersopstopping waarbij elke auto moet stoppen om een ander bord te controleren voordat hij verder kan. Sommige auto's gaan links, andere rechts, en de hele rij komt tot stilstand. Dit wordt "lane divergence" genoemd, en het verlamt de prestaties.

De Grote Ontdekking: De "Geen-Stop" Snelweg
Het artikel van Tomonori Kouya introduceert een nieuwe manier om deze stapels te bouwen die nooit stopt om de borden te controleren. Het is een "branch-free" algoritme. In plaats van te vragen "Is dit stukje groot genoeg?" en op een antwoord te wachten, gebruikt de nieuwe methode een slimme, vooraf geplande route die perfect werkt, ongeacht hoe de stukjes eruitzien.

Het artikel bewijst, met behulp van een superintelligente robot-wiskundige (een SMT-solver genaamd FPANVerifier), dat deze nieuwe route veilig en nauwkeurig is voor alle standaard computerformaten. De belangrijkste bevinding is dat door deze "stop-en-controleer" pauzes te verwijderen, de computer veel sneller kan rekenen.

De Magische Truc: De Beweging Samenvoegen
Het artikel richt zich op een specifieke beweging genaamd Fused Multiply-Add (FMA). Stel je voor dat je twee getallen moet vermenigvuldigen en daarna een derde getal moet optellen. Meestal doe je dit in twee stappen:

Vermenigvuldigen (en misschien pauzeren om het resultaat te corrigeren).
Optellen (en misschien ook weer pauzeren).

De auteur stelt een "gefuseerde" versie voor die beide acties in één vloeiende beweging doet, als een ninja die een mes werpt en het in dezelfde ademtocht weer opvangt.

Voor Double-Word (2 steentjes): De oude manier kostte 29 stappen. De nieuwe manier kost slechts 17.
Voor Triple-Word (3 steentjes): De oude manier kostte 96 stappen. De nieuwe manier kost 66.
Voor Quadruple-Word (4 steentjes): De oude manier kostte 209 stappen. De nieuwe manier kost 146.

Het artikel bespreekt ook een "shortcut"-methode voorgesteld door andere onderzoekers (de 6-stappen methode). Cruciaal is dat deze shortcut NIET algemeen geldig is. Het is een razendsnelle tool die alleen werkt als de getallen al perfect gerangschikt zijn (specifiek, als het opgetelde getal minstens twee keer zo groot is als het product). Als je deze shortcut probeert te gebruiken op algemene wiskundige problemen zoals deling of vierkantswortels, waar je niet kunt garanderen dat die getallen zo op één lijn liggen, verslechtert de nauwkeurigheid drastisch. De nieuwe methode van de auteur werkt echter voor alle getallen zonder dat er speciale rangschikkingen nodig zijn, wat het een echte "drop-in" vervanging maakt voor algemene precisiewiskunde.

Hoe Zeker Zijn We?
De auteurs zijn ongelooflijk zelfverzekerd, maar ze onderbouwen dat met hard bewijs, niet met gissingen.

Machine-Geverifieerd: Ze hebben niet alleen code geschreven en gehoopt; ze hebben een computerprogramma gebruikt om wiskundig te bewijzen dat de fout in hun nieuwe methode minuscuul is (specifiek, begrensd door formules zoals $34u^2$ , $184u^3$ en $812u^4$ , waarbij $u$ de kleine afrondingsfout van een enkel getal is).
Overal Getest: Ze hebben deze nieuwe algoritmen gedraaid op twee zeer verschillende supercomputers: een Arm-gebaseerde chip (GB10) en een Intel-gebaseerde chip (H100).
De Resultaten:
- Op de Arm-chip was de nieuwe methode 1,5 tot 2,1 keer sneller voor delings- en vierkantswortelberekeningen.
- Op de Intel-chip was het 1,2 tot 1,6 keer sneller voor deling en vierkantswortels.
- Voor grote wiskundige taken zoals matrixvermenigvuldiging (GEMM), was de versnelling op de Arm-chip zelfs nog spectaculairder, met een factor tot wel 2,0 keer sneller voor triple-word getallen.

Het "Exacte" Alternatief
Het artikel noemt ook een "Perfecte" versie van deze truc, de Exact FMA. Deze versie is nog nauwkeuriger, maar dat heeft een zware prijs: het is 6 tot 11 keer langzamer dan de nieuw voorgestelde methode. De auteurs suggereren deze "Perfecte" versie alleen te gebruiken wanneer je absoluut, 100% de hoogst mogbare nauwkeurigheid nodig hebt en snelheid geen rol speelt. Voor bijna alles anders is de "branch-free" methode de winnaar.

Wat over de "Oude" Manier?
Het artikel corrigeert ook een fout uit een eerdere versie van dit onderzoek. Voorheen vergeleken de auteurs hun nieuwe methode met een "volledig gedestilleerde" oude methode die extreem traag en inefficiënt was. Ze realiseerden zich dat dit geen eerlijk gevecht was. Wanneer ze hun nieuwe methode vergeleken met de werkelijke standaard "branch-free" methode (die al behoorlijk snel is), won de nieuwe methode nog steeds, maar was de versnelling bescheidener (ongeveer 1,3 tot 1,7 keer sneller). Dit is nog steeds een enorme overwinning, maar het is een realistischere.

De Kern van het Verhaal
Dit artikel laat zien dat door de "stop-en-controleer" pauzes in hogere precisiewiskunde te verwijderen, we computers aanzienlijk sneller kunnen maken zonder aan nauwkeurigheid in te boeten. Het is also$ een auto upgraden van een voertuig dat bij elk kruispunt moet stoppen naar een auto die eroverheen kan vliegen. De auteurs hebben bewezen dat dit werkt, het getest op echte hardware, en aangetoond dat het klaar is voor gebruik in de volgende generatie supersnelle rekenmachines.

Technisch Overzicht: Prestatie-evaluatie van Takvrije Fused Multiply-Add Algoritmen voor Multi-Component-Type Multi-Precisie Zwevend Kommagetalberekeningen

1. Probleemstelling

Multi-component multi-precisie rekenkunde (bijv. Double-Word/DW, Triple-Word/TW, Quadruple-Word/QW) bereikt hoge prestaties door standaard binary64 (of binary32) componenten te bundelen en carries exact af te handelen via Error-Free Transformations (EFTs). Echter, de renormalisatiestadia in deze algoritmen vertrouwen doorgaans op if-branches die afhankelijk zijn van de grootte van intermediaire waarden. Deze branches veroorzaken aanzienlijke prestatieboetes in SIMD- en GPU-implementaties vanwege lane- of warp-divergentie.

Hoewel Zhang en Aiken eerder takvrije algoritmen voor DW/TW/QW optelling en vermenigvuldiging hebben voorgesteld, blijft de compositie van deze afzonderlijke takvrije operaties suboptimaal. Specifiek is het uitvoeren van een fused multiply-add (FMA) operatie $z \leftarrow x \cdot y + c$ door sequentieel een takvrije vermenigvuldiging en een takvrije optelling te componeren, gepaard met een hoog aantal operaties (bijv. 29 flops voor DW, 96 voor TW, 209 voor QW) en redundante renormalisatiestappen.

2. Methodologie

Het artikel stelt nieuwe, takvrije fused multiply-add algoritmen voor voor DW, TW en QW rekenkunde (en hun single-precision basisvarianten DS, TS, QS). De kernmethodologie omvat:

Algoritmische Structuur: Het voorgestelde FMA berekent $z \leftarrow x \cdot y + c$ $z \leftarrow x \cdot y + c$ in één gefuseerde fase in plaats van het componeren van afzonderlijke vermenigvuldigings- en optelstappen. Het proces omvat:
1. Productexpansie: Het decomponeren van producten van componenten met behulp van TwoProd.
2. Gewichtsmatige Accumulatie: Het verzamelen van termen die bij dezelfde macht van twee terechtkomen met behulp van ketens van TwoSum.
3. Renormalisatie: Het herstructureren van het resultaat in $K$ niet-overlappende componenten.
Poortselectie en Verificatie: Een cruciaal ontwerpprincipe is de selectie van renormalisatiepoorten op basis van machine-verifieerbare preconditions. Het algoritme gebruikt FastTwoSum (3 flops) alleen waar de precondition $\text{exp}(a) \ge \text{exp}(b)$ machine-bewijsbaar is voor alle precisies $p$ met behulp van de SMT-solver z3 via de FPANVerifier tool. Waar de precondition niet bewezen kan worden, wordt TwoSum (6 flops) gebruikt om correctheid te garanderen.
Commutativiteit: Om bitwise overeenstemming te garanderen bij operand uitwisseling ( $x \leftrightarrow y$ ), herassocieert het algoritme diagonale sommen zodat getransponeerde paren (bijv. $P_{ij}$ en $P_{ji}$ ) eerst worden verwerkt. Dit wordt bereikt zonder het aantal operaties te verhogen.
Exacte Variant: Een "distillatie"-variant (Exact FMA) wordt ook geïmplementeerd als referentie. Deze voert een volledige error-free expansie uit, gevolgd door meerdere TwoSum sweeps om resultaat-relatieve foutgrenzen te bereiken, hoewel dit een aanzienlijk hogere computationele kosten met zich meebrengt.

3. Belangrijkste Bijdragen

3.1 Minimale Takvrije FMA Constructies

Het artikel presenteert minimale, machine-verifieerde takvrije FMA-algoritmen met de volgende operatie-aantallen (fused FMA instructies tellen als 1):

DW (K=2): 17 flops (vs. 29 voor gecomponeerde takvrije mul+add).
TW (K=3): 66 flops (vs. 96).
QW (K=4): 146 flops (vs. 209).

Deze aantallen vertegenwoordigen de minimale constructies waarbij elke FastTwoSum precondition machine-verifieerbaar is.

3.2 Machine-Verifieerde Foutgrenzen

Met behulp van FPANVerifier certificeren de auteurs foutgrenzen relatief aan $(|xy| + |c|)$ voor alle precisies:

DW: $34 u^2 (|xy| + |c|)$
TW: $184 u^3 (|xy| + |c|)$
QW: $812 u^4 (|xy| + |c|)$
De geldigheid van elke FastTwoSum precondition en de bitwise overeenstemming tussen de bewezen variant en een naïeve variant (waarbij FastTwoSum ongeacht het bewijs aan het eind wordt geplaatst) wordt bevestigd.

3.3 Commutativiteit

De voorgestelde algoritmen zijn bitwise commutatief in $x$ en $y$ voor alle zes de typen (DD/TD/QD/DS/TS/QS). Dit wordt bereikt door de associatievolgorde van plain optellingen te symmetriseren, waardoor $fma(x, y, c) \equiv fma(y, x, c)$ wordt gegarandeerd zonder extra operaties toe te voegen.

3.4 Gespecialiseerde Varianten voor Divisie en Vierkantswortel

Het artikel identificeert dat intermediaire residuen in divisie- en vierkantswortelalgoritmen mogelijk niet voldoen aan de niet-overlappende aannames die vereist zijn voor standaard FMA-bewijzen. Daarom wordt een "veilige" variant voorgesteld voor deze contexten (DW 20 / TW 69 / QW 149 flops), die onbewezen FastTwoSum poorten degradeert naar TwoSum om nauwkeurigheid te garanderen zonder de gehele structuur voor elke gebruikscontext opnieuw te hoeven verifiëren.

4. Experimentele Resultaten

De algoritmen werden geëvalueerd op twee platforms:

Arm: NVIDIA GB10 (Grace-Blackwell, Cortex-X925 CPU, Blackwell GPU).
x86: H100 node (Intel Xeon Gold 6526Y CPU, H100 GPU).
Implementaties: Scalair, AVX2, AVX-512, NEON, SVE2 en CUDA.

4.1 Lineaire Algebra Kernels (AXPY, GEMV, GEMM)

Speedup: Het voorgestelde FMA presteert consistent beter dan de branch-free baseline (BF) in compute-bound scenario's.
- AVX2 (x86): Speedups van $\times 1.49$ (DD), $\times 1.32$ (TD) en $\times 1.47$ (QD) in GEMM.
- NEON (Arm): Speedups van $\times 1.40$ (DD), $\times 1.42$ (TD) en $\times 1.47$ (QD) in GEMM.
- SVE2: Vergelijkbare prestaties als NEON bij gelijke lane-breedte, waarbij QD GEMM een speedup van $\times 1.62$ bereikt ten opzichte van BF.
- GPU (GB10): In compute-bound double-precision typen komen de speedups overeen met de theoretische FLOP-ratio's ( $\times 1.71$ voor DD, $\times 1.46$ voor TD, $\times 1.40$ voor QD). In bandwidth-bound workloads (single-precision of H100) liggen de speedups dichter bij $\times 1.00$ .
Nauwkeurigheid: Het voorgestelde FMA behoudt een werk-nauwkeurigheid die vergelijkbaar is met bestaande branch-free methoden (Q/BF). In cancellatie-scenario's is het foutgedrag numeriek identiek aan de baseline. De Exact FMA biedt superieure resultaat-relatieve nauwkeurigheid maar brengt een 2.5–5.0 $\times$ vertraging met zich mee.

4.2 Divisie en Vierkantswortel

Divisie: Het voorgestelde FMA versnelt lange divisie aanzienlijk, met name voor hogere precisie.
- NEON/SVE2: Speedups van $\times 1.54$ tot $\times 2.11$ (QD divisie bereikt $\times 2.11$ , wat de operatie-aantal ratio van 1.51 overtreft door het samenvoegen van twee seriële normalisatieketens in één).
- GB10 (Compute-only): Speedups van $\times 1.25$ tot $\times 1.61$ .
Vierkantswortel: Het voorgestelde FMA bereikt speedups van $\times 1.51$ tot $\times 1.61$ met geen verlies in nauwkeurigheid vergeleken met de baseline. Dit komt omdat de Newton-iteratie convergeert ver onder de afrondingseenheid, waardoor de uiteindelijke fout wordt gedomineerd door de laatste vermenigvuldiging die voor alle methoden gemeenschappelijk is.

4.3 Single-Precision Base (DS/TS/QS)

De algoritmen zijn succesvol uitgebreid naar single-precision componenten, waarbij de werk-nauwkeurigheid behouden bleef en speedups van $\times 1.37$ tot $\times 1.83$ werden behaald ten opzichte van de BF baseline.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde takvrije fused FMA een minimale, machine-verifieerde constructie vormt die erin slaagt de twee fasen van bestaande branch-free vermenigvuldiging en optelling samen te voegen in één enkele operatie.

Prestaties: Het biedt reële speedups (tot $\times 2.11$ in divisie op CPU's en $\times 1.71$ in GEMM op GPU's) door het reduceren van het aantal operaties en het verkorten van de afhankelijkheidsketens, wat bijzonder gunstig is voor hogere precisie (TW/QW).
Correctheid: De algoritmen zijn rigoureus geverifieerd. De foutgrenzen en FastTwoSum preconditions zijn machine-bewijsbaar voor alle precisies, en de bitwise overeenstemming tussen scalar, SIMD en GPU implementaties is bevestigd via uitgebreide testen (200.000+ proeven).
Generaliteit: De aanpak is niet beperkt tot lineaire algebra; het versnelt effectief divisie- en vierkantswortelalgoritmen, die sterk leunen op MAC-operaties.
Commutativiteit: In tegen tegenstelling tot sommige eerdere branch-free benaderingen, behoudt de voorgestelde FMA de bitwise commutativiteit, een cruciale eigenschap voor reproduceerbaarheid in parallelle reducties.

De auteurs positioneren dit werk als een praktische vervanging voor het componeren van afzonderlijke branch-free operaties, waarbij een "drop-in" versnelling wordt geboden voor multi-component rekenkunde bibliotheken zonder in te boeten op nauwkeurigheid of bewijsbaarheid. Toekomstig werk suggereert het verkennen van alternatieve renormalisatiestructuren (bijv. Priest-stijl) om potentieel het aantal operaties verder te verlagen terwijl de machine-verifieerbaarheid behouden blijft.