💻 computer science

Floating-point autotuning with customized precisions

Dit artikel presenteert PROMISE, een geautomatiseerde precisie-afstemmingstool die gebruikmaakt van een gecontaineriseerd, parallel zoekframework om optimale mixed-precision drijvende-kommagetalconfiguraties voor numerieke toepassingen te identificeren, waarbij wordt aangetoond dat aanzienlijke prestatie- en efficiëntiewinsten behaald kunnen worden door de precisie te verlagen zonder de nauwkeurigheid in gevaar te brengen.

Oorspronkelijke auteurs: Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte gebak te bakken. Jarenlang heb je de duurste, meest nauwkeurige maatbekers beschikbaar gebruikt (laten we ze "Gouden Bekers" noemen) voor elk ingrediënt, van de bloem tot een snufje zout. Je doet dit omdat je bang bent dat als je een goedkopere beker gebruikt, de taart kan instorten.

Maar wat als je zou beseffen dat voor de bloem een grove schep prima is, maar dat je voor de vanille-extract absoluut de Gouden Beker nodig hebt? Als je Gouden Bekers voor alles zou gebruiken, zou je geld en tijd verspillen, terwijl de taart er hetzelfde van zou smaken.

Dit is precies het probleem waar computerwetenschappers mee te maken krijgen met floating-point getallen (de manier waarop computers decimalen verwerken). Decennialang hebben computers een "Gouden Beker"-standaard gebruikt genaamd Double Precision (FP64) voor bijna elke berekening. Het is ongelooflijk nauwkeurig, maar het is ook zwaar, traag en energieverslindend.

Dit artikel introduceert een nieuwe versie van een hulpmiddel genaamd PROMISE (wat staat voor PRecision OptiMISE). Denk aan PROMISE als een slimme, geautomatiseerde sous-chef die jouw taart proeft (jouw code draait) en je precies vertelt welke ingrediënten de Gouden Beker nodig hebben en welke je met een goedkope plastic lepel kunt meten.

Hier is hoe het artikel hun nieuwe aanpak uitlegt, onderverdeeld in eenvoudige concepten:

1. Het Probleof: Eén maat past niet voor iedereen

Moderne computerchips (zoals die in je telefoon of grafische kaarten) worden steeds beter in het doen van wiskunde met "kleinere" getallen (zoals FP16 of zelfs aangepaste 8-bit formaten). Deze kleine getallen zijn als het gebruik van een plastic lepel: ze zijn snel en verbruiken heel weinig energie. Echter, als je ze voor alles gebruikt, kunnen je resultaten waardeloos worden (de taart brandt aan).

De uitdaging is het vinden van de perfecte mix: de "plastic lepels" gebruiken waar het veilig is, en de "Gouden Bekers" alleen waar het absoluut noodzakelijk is.

2. De Oude Manier vs. De Nieuwe Manier

De Oude Manier: Eerdere tools konden alleen schakelen tussen een paar standaardmaten (zoals het wisselen tussen een theelepel en een eetlepel). Ze konden geen nieuwe maten uitvinden.
De Nieuwe Manier (Gepersonaliseerde Precisie): De auteurs hebben PROMISE geüpgraded om op maat gemaakte bekers toe te staan. Stel je voor dat je kunt vragen om een meetinstrument dat precies 5 bits heeft voor het "gehele getal" deel en 2 bits voor het "decimale" deel. Dit is cruciaal voor nieuwe hardware zoals FPGA's (reconfigureerbare chips) die je in staat stellen je eigen rekenregels te ontwerpen.

3. Hoe PROMISE werkt: Het "Delta Debugging" spel

Hoe weet het hulpmiddel welke variabelen (ingrediënten) kunnen worden verkleind? Het gebruikt een slim spel genaamd Delta Debugging.

Stel je een lijn van 100 ingrediënten voor. Je wilt weten welke ingrediënten met een plastic lepel gemeten kunnen worden.

Begin Hoog: Je meet eerst alles met de Gouden Beker om een perfect referentiekakel te krijgen.
De Gok: Je probeert de helft van de ingrediënten te vervangen door plastic lepels.
De Proef: Je bakt de taart opnieuw.
- Als de taart nog steeds hetzelfde smaakt (de wiskunde is nog nauwkeurig genoeg), houd je de plastic lepels en probeer je meer ingrediënten te vervangen.
- Als de taart verpest is, weet je dat je te veel hebt vervangen. Je gaat terug en probeert het met minder ingrediënten.
Het Resultaat: Het hulpmiddel verkleint de lijst snel en vindt het exacte minimum aantal Gouden Bekers dat nodig is om de taart te redden, terwijl het plastic lepels gebruikt voor de rest.

4. De "Magische Bril" (CADNA)

Om te weten of de taart "verpest" is zonder de taart een miljoen keer daadwerkelijk te bakken, gebruikt PROMISE een bibliotheek genaamd CADNA. Denk aan CADNA als een paar magische brillen die de computer draagt tijdens het koken. Deze brillen zien niet alleen de getallen; ze zien de onzekerheid of "ruis" in de getallen. Ze kunnen zeggen: "Hé, deze berekening is zo gevoelig dat zelfs een kleine fout met een plastic lepel het resultaat zal verpesten," of "Deze berekening is zo robuust dat een plastic lepel volkomen prima is."

5. De "Fabriek" (Benchmarking Framework)

Het draaien van deze proefsmaakjes kost veel tijd. Om dit te versnellen, hebben de auteurs een containerized fabriek gebouwd.

Stel je voor dat je 100 verschillende recepten (algoritmen) hebt om te testen.
In plaats van deze recepten één voor één in een enkele keuken te testen, plaatsen ze elk recept in zijn eigen Docker container (een zelfvoorzienende keukeneenheid).
Ze draaien 6 van deze keukens tegelijkertijd op een krachtige server.
Resultaat: Wat vroeger 13 uur duurde, duurt nu slechts 3 uur. Het is alsof je een team van chefs hebt die parallel werken in plaats van één chef die alleen werkt.

6. Wat ze hebben gevonden (De Resultaten)

Het team heeft dit getest op diverse "recepten", waaronder:

Neurale Netwerken (het leren van computers om afbeeldingen te herkennen).
Thermische Simulaties (berekenen hoe warmte zich door een computerchip beweegt).
Medische Beeldvorming (het volgen van deeltjes in video's).
Lineaire Algebra (het oplossen van complexe wiskundige vergelijkingen).

De Grote Ontdekking:
Ze ontdekten dat voor de meeste van deze programma's, de standaard "Gouden Beker" (Double Precision) enorm overdreven is.

43% van de variabelen kon berekend worden met 32-bit precisie (een middelgrote beker) of kleiner.
28% kon berekend worden met 16-bit precisie of zelfs kleiner (kleine plastic lepels).
In sommige gevallen konden ze aangepaste 8-bit formaten (zoals het genoemde E5M2 formaat) gebruiken voor ongeveer 23% van de variabelen zonder de nauwkeurigheid te verpesten.

Samenvatting

Het artikel beweert niet dat het een nieuw ta recept of een nieuwe medische behandeling heeft uitgevonden. In plaats daarvan biedt het een betere manier om ingrediënten te meten.

Door de PROMISE-tool te upgraden om aangepaste maatbekers te verwerken en de tests in een parallelle "fabriek" te draaien, hebben de auteurs aangetoond dat we computerprogramma's veel sneller en energie-efficiënter kunnen maken zonder de nauwkeurigheid op te offeren. We moeten gewoon stoppen met het gebruik van de Gouden Beker voor alles en beginnen met het gebruiken van het juiste instrument voor de juiste taak.

Technische Samenvatting: Floating-point Autotuning met Aangepaste Precisies

Probleemstelling
Berekeningen met verminderde precisie bieden aanzienlijk potentieel voor het verbeteren van prestaties, geheugengebruik en energie-efficiëntie in numerieke toepassingen, vooral naarmate hardwareversnellers (bijv. GPU's, FPGA's) steeds meer niet-standaard en laag-precisie formaten ondersteunen. Het bepalen van de optimale precisieconfiguratie voor een specifieke toepassing is echter uitdagend. Standaard dubbele precisie (FP64) is vaak overgeprovisioneerd, terwijl het blindelings verminderen van precisie de numerieke stabiliteit en nauwkeurigheid in gevaar kan brengen. Bestaande tools voor precisie-tuning zijn vaak beperkt tot standaard IEEE 754-formaten (FP16, FP32, FP64) of missen de flexibiliteit om aangepaste bitbreedteconfiguraties te verkennen (bijv. specifieke exponent- en significandgroottes) die vereist zijn door opkomende hardware. Bov�elijk blijft de computationele kost van het verkennen van de enorme ruimte van mixed-precision configuraties voor grote codebases een barrière voor praktische implementatie.

Methodologie
De auteurs stellen een verbeterde versie voor van PROMISE (PRecision OptiMISE), een geautomatiseerde precisie-tuning tool gebaseerd op delta debugging en Discrete Stochastic Arithmetic (DSA). De methodologie integreert drie kerncomponenten:

Emulatie van Aangepaste Precisie via FloatX: De tool wordt uitgebreid om door de gebruiker gedefinieerde floating-point formaten te ondersteunen door de integratie van FloatX, een C++ header-only bibliotheek. In tegen tegenstelling tot standaard bibliotheken die exponent-/significandgroottes vastleggen of vertrouwen op geheugenallocatie (zoals MPFR), stelt FloatX gebruikers in staat om exacte bitallocaties voor de exponent ( $e$ ) en de significand ( $t$ ) te specificeren. PROMISE maakt hiervan gebruik om niet-standaard formaten (bijv. E5M2, E4M3) en aangepaste configuraties te emuleren binnen een verenigd mixed-precision framework. Om een realistische emulatie te garanderen, hebben de auteurs aangepaste precisieversies van wiskundige functies (bijv. sin, exp) geïmplementeerd met behulp van C++ function overloading, waarbij inputs en outputs vóór en na de berekening worden afgerond naar de doelprecisie.
Numerieke Validatie via CADNA: PROMISE maakt gebruik van de CADNA bibliotheek, die DSA implementeert om het aantal correcte significante cijfers in berekeningen te schatten. Door code uit te voeren met willekeurige afrondingsmodi, biedt CADNA een statistische schatting van de numerieke nauwkeurigheid en detecteert het instabiliteiten. Dit stelt PROMISE in staat om te valideren of een met verminderde precisie geconfigureerde setting voldoet aan door de gebruiker gedefinieerde nauwkeurigheidsvereisten (bijv. een specifiek aantal correcte cijfers) zonder een grondwaarheid-referentieoplossing nodig te hebben, waardoor de onbetrouwbaarheid van het gebruik van uniforme FP64 als referentie voor lagere-precisie vergelijkingen wordt vermeden.
Delta Debugging Zoekstrategie: De tool gebruikt een delta debugging algoritme om systematisch naar de laagste precisieconfiguratie te zoeken. De zoektocht begint bij een hoge-precisie baseline en verlaagt iteratief de precisie van variabelen. Als een configuratie aan de nauwkeurigheidseis voldoet, gaat de zoektocht in die richting verder; anders keert de zoektocht terug (backtrack). De auteurs implementeren een multi-level strategie waarbij precisietypen worden gesorteerd op unit roundoff, en delta debugging iteratief wordt toegepast tussen opeenvolgende paren van typen.
Gecontaineriseerd Benchmarking Framework: Om de hoge computationele kosten van de zoektocht aan te pakken, hebben de auteurs een gecontaineriseerd benchmarking framework ontwikkeld. Dit framework omvat PROMISE in een geparallelleerde pipeline, die zowel lokale parallelliteit (via GNU Parallel) als gedistribueerde executie (via een MPI-gebaseerde Python scheduler) ondersteunt. Dit maakt de gelijktijdige uitvoering van meerdere algoritme-kernels over verschillende parameterconfiguraties mogelijk, wat de totale runtime aanzienlijk vermindert.

Belangrijkste Bijdragen

Uitgebreide PROMISE met Aangepaste Formaten: Het artikel introduceert een nieuwe versie van PROMISE die de specificatie van floating-point rekenkunde mogelijk maakt door het aantal bits voor de significand en exponent te definiëren. Dit stelt gebruikers in staat om niet-standaard precisieconfiguraties te verkennen die zijn afgestemd op specifieke hardwarebeperkingen (bijv. FPGA's) en opkomende laag-precisie formaten.
Schaalbare Benchmarking Infrastructuur: De auteurs hebben een mixed-precision benchmarking tool ontwikkeld die ontworpen is voor grootschalige inzetbaarheid. Dit omvat een suite van gesimuleerde benchmarks voor numerieke algoritmen en een parallel executieframework dat de runtime van precisie-tuning experimenten met ongeveer 3,4× vermindert (van ~13 uur naar ~3 uur in hun tests) door middel van procesniveau-parallelliteit.
Omvattende Empirische Validatie: De aanpak wordt gevalideerd op een suite van numerieke programma's, waaronder lineaire solvers (dense en sparse LU factorisatie) en toepassingen uit de Rodinia benchmark suite (Back Propagation, HotSpot, Particle Filter, SRAD).

Resultaten
De experimenten evalueerden twee precisiecombinaties: (I) E5M2-FP16-FP32-FP64 en (II) E5M2-BF16-FP32-FP64, over variërende nauwkeurigheidseisen (1 tot 10 correcte cijfers).

Precisiereductie: De resultaten laten zien dat een aanzienlijk deel van de variabelen veilig kan worden teruggebracht naar een lagere precisie. Gemiddeld kan 43% van de variabelen worden gerepresenteerd met 32-bit precisie of minder, en 28% kan worden teruggebracht naar 16-bit precisie of lager.
Over-provisioning van FP64: De studie bevestigt dat standaard dubbele precisie vaak overgeprovisioneerd is voor veel wetenschappelijke computertaken.
Nut van Aangepaste Formaten: Aangepaste formaten zoals E5M2 bleken bruikbaar voor een aanzienlijk deel van de variabelen (gemiddeld 23% van de variabelen in de configuraties), waarbij E4M3 vergelijkbare proporties liet zien.
Algoritme-specifieke Gevoeligheid: De analyse toonde aan dat precisievereisten variëren per algoritmische component. Zo vereiste het sigmoid activatiepad in Back Propagation een hogere precisie om exponentiële evaluaties te stabiliseren, terwijl in LU factorisatie pivoting operaties vaak 8-bit formaten konden tolereren.

Betekenis en Claims
Het artikel claimt dat geautomatiseerde precisie-tuning, wanneer uitgebreid met ondersteuning voor aangepaste formaten, efficiënte mixed-precision configuraties kan afleiden die zijn afgestemd op applicatie-specifieke nauwkeurigheidseisen. De auteurs positioneren dit werk als een gids voor de wetenschappelijke gemeenschap, waarbij zij aantonen dat aanzienlijke prestatie- en resourcewinsten haalbaar zijn zonder handmatige interventie. De integratie van FloatX en het parallelle benchmarking framework adresseert de dubbele uitdagingen van formaatflexibiliteit en zoekbaarheid-schaalbaarheid. De auteurs merken bescheiden op dat hoewel het huidige werk zich richt op directe lineaire solvers en specifieke kernels, toekomstig werk zich zal richten op iteratieve solvers en de integratie van mixed-precision numerieke kernels (bijv. voor Krylov-methoden) in het tuningproces. De tool en benchmarks worden beschikbaar gesteld aan de gemeenschap om verdere research in dit domein te faciliteren.