Hybrid Coarse-Grained Transprecision boosted by a Custom GEMM Kernel to accelerate Parametric Linear Systems

In de wereld van de moderne techniek en wetenschap berust het oplossen van complexe fysieke problemen vaak op een techniek die bekend staat als de eindige-elementenmethode. Stel je voor dat je wilt begrijpen hoe een brug zwiept in de wind of hoe elektriciteit door een halfgeleider stroomt. Wetenschappers breken deze enorme, continue objecten op in miljoenen kleine, beheersbare stukjes, waardoor de wetten van de fysica veranderen in een gigantisch systeem van vergelijkingen. Om een precies antwoord te krijgen, moeten computers getallen verwerken met uiterste zorgvuldigheid, gebruikmakend van een formaat dat bekend staat als double precision (dubbele precisie). Deze methode behandelt elk getal met de hoogst mogelijke nauwkeurigheid, om ervoor te zorgen dat minuscule fouten niet uitgroeien tot enorme missers. Echter, dit onverbiddelijke streven naar perfectie komt met een hoge prijs: het vereist enorme hoeveelheden tijd en energie. Voor toepassingen die direct antwoorden nodig hebben, zoals een digitale tweeling van een fabrieksvloer of een robot die een rampgebied navigeert, is wachten op deze trage, hypernauwkeurige berekeningen simpelweg geen optie.

De uitdaging ligt bij een specifiek type berekening dat steeds weer verschijnt in deze simulaties. Het betreft een enorme, vaste collectie gegevens die de fysieke structuur vertegenwoordigt, gecombineerd met een veranderende set parameters die de huidige omstandigheden beschrijven, zoals materiaalkracht of temperatuur. De computer moet deze met elkaar vermenigvuldigen om de oplossing te vinden. Omdat de vaste dataset zo omvangrijk is, wordt de berekening een flessenhals die alles vertraagt. Onderzoekers vermoeden al lang dat voor veel van deze taken de extreme precisie van double-precision wiskunde onnodig is. Net zoals het menselijk oog geen onderscheid kan maken tussen twee net iets verschillende tinten grijs in een donkere kamer, kunnen veel fysieke simulaties kleine numerieke fouten tolereren zonder dat het uiteindelijke resultaat waardeloos wordt. De vraag is of we die extra nauwkeurigheid veilig kunnen inruilen voor een enorme winst in snelheid.

Een team onderzoekers van Queen's University Belfast en de University of Edinburgh heeft een nieuwe manier ontwikkeld om dit probleem aan te pakken, een oplossing die zowel slimmer als sneller is. Ze creëerden een systeem dat werkt als een filter met twee stadia voor wiskundige precisie. Eerst, in een offline fase, bestudeert het systeem een representatieve steekproef van de veranderende parameters om het laagste niveau van precisie te bepalen dat nog steeds een eindantwoord binnen een veilige foutmarge houdt. Het test verschillende formaten, variërend van standaard hoog-precieze getallen tot veel compactere, lager-precieze versies. Zodra deze basislijn is vastgesteld, gaat het systeem over naar een online fase waar het realtime gegevens afhandelt. Terwijl elke nieuwe set parameters binnenkomt, controleert het systeem snel het bereik en selecteert het automatisch het meest efficiënte precisieformaat dat beschikbaar is op de grafische kaart. Als de getallen klein en stabiel zijn, gebruikt het een zeer compact formaat; als ze groter of volatieler zijn, schakelt het over naar een iets robuustere versie. Deze dynamische aanpassing zorgt ervoor dat de computer op topsnelheid draait zonder de betrouwbaarheid van het resultaat op te offeren.

Om deze snelheidswinst nog spectaculairder te maken, hebben de onderzoekers ook een aangepaste motor voor de berekeningen gebouwd. Normaal gesproken voert een computer dit type matrixvermenigvuldiging in twee aparte stappen uit: eerst de data schalen met de parameters, en vervolgens de resultaten met elkaar vermenigvuldigen. Dit vereist het heen en weer bewegen van data tussen verschillende onderdelen van de computergeheugen, wat tijd verspilt. Het team heeft deze twee stappen samengevoegd tot één enkele, aangepaste operatie. Door de data te schalen terwijl deze in het snelle geheugen van de processor wordt geladen, hebben ze de noodzaak geëlimineerd om de data twee keer te verplaatsen. Deze gestroomlijnde aanpak verwijderde een aanzienlijke hoeveelheid verspilde inspanning, waardoor het systeem dezelfde berekening veel efficiënter kon uitvoeren.

De resultaten van deze aanpak werden getest op een verscheidenheid aan grootschalige problemen met behulp van krachtige grafische kaarten uit drie verschillende generaties technologie. De bevindingen waren opmerkelijk. Voor een enorme dataset met meer dan 21 miljoen rijen was de nieuwe methode in staat de informatie tot wel 117 keer sneller te verwerken dan de traditionele, ultra-precieze methode. Wat betreft energie verbruikte het systeem 36 keer minder vermogen om hetzelfde resultaat te bereiken. Cruciaal was dat, ondanks deze enorme winsten in snelheid en efficiëntie, de gemiddelde fout in het uiteindelijke antwoord extreem laag bleef, ruim onder de één procent. In één specifieke testcase met een dataset van 80,3 gigabytes kon het systeem elke seconde twee verschillende sets parameters evalueren, een prestatie die onmogelijk zou zijn met de oude, trage methoden.

De onderzoekers hebben ook het probleem van geheugenlimieten aangepakt. Wanneer de data te groot is om volledig op de grafische kaart te passen, moeten standaardmethoden vaak pauzeren om data op te halen uit het hoofdgeheugen van de computer, wat traag is. Het team ontdekte dat door hun lager-precieze formaten te gebruiken, de voetafdruk van de data genoeg krimpt om volledig op de kaart te passen, waardoor deze trage pauzes worden vermeden. Ze vergeleken twee strategieën voor het afhandelen van data die niet paste: het opnieuw laden van de originele data uit het hoofdgeheugen versus het on-the-fly herberekenen ervan. Ze ontdekten dat voor zeer grote datasets het herberekenen van de data aanzienlijk sneller was dan het wachten op het opnieuw laden ervan, mits de precisie zorgvuldig werd beheerd om te voorkomen dat fouten in de loop van de tijd zouden opstapelen.

Dit werk toont aan dat de rigide vereiste voor double-precision wiskunde in wetenschappelijke computing niet altijd noodzakelijk is. Door de precisie van de berekening intelligent af te stemmen op de specifieke behoeften van het probleem, en door te stroomlijnen hoe de computer met de data omgaat, is het mogelijk om realtime prestaties te behalen op problemen die voorheen te traag waren om on the fly op te lossen. De studie bevestigt dat met de juiste instrumenten wetenschappers en ingenieurs complexe simulaties in realtime kunnen draaien, wat de deur opent naar meer responsieve digitale tweelingen, snellere diagnostische tools en efficiëntere technische ontwerpen, terwijl ze een fractie van de energie gebruiken die voorheen vereist was.