Omnisolver: An extensible interface to Ising spin-glass and QUBO solvers: adding a distributed GPU brute-force plugin

In het uitgestrekte landschap van de moderne informatica bestaat een klasse problemen die zo complex is dat het vinden van de beste oplossing voelt als het zoeken naar een specifiek zandkorreltje in een woestijn die bij elke stap die je zet, verdubbelt in omvang. Dit zijn optimalisatievraagstukken, die vaak worden gemodelleerd als netwerken van interagerende onderdelen waarbij het doel is om de stukjes zo te rangschikken dat de laagst mogelijke energietoestand of kosten worden bereikt. Wetenschappers en ingenieurs gebruiken deze modellen om alles te begrijpen, van hoe materialen zich op atomair niveau gedragen tot hoe ze het verkeer regelen of financiële portfolio's beheren. Decennialang was de meest betrouwbare manier om deze puzzels op te lossen het controleren van elke mogelijke rangschikking, een methode die bekend staat als exhaustieve zoektocht. Echter, naarmate het aantal onderdelen groeit, explodeert het aantal mogelijke rangschikkingen zo snel dat zelfs de krachtigste supercomputers ter wereld de klus niet kunnen voltooien binnen een mensenleven. Dit creëft een kritieke kloof: zonder een manier om het absoluut beste antwoord te vinden, kunnen onderzoekers er niet zeker van zijn of de slimme afkortingen die zij gebruiken om "goed genoeg" antwoorden te vinden, daadwerkelijk dicht bij de waarheid liggen.

Een team onderzoekers uit Polen heeft nu een nieuwe tool gebouwd die ontworpen is om deze kloof te overbruggen voor een specifieke reeks moeilijke problemen. Ze hebben een software-update gemaakt die een standaard grafische kaart, het soort dat in high-end computers voor gaming en video wordt gevonden, verandert in een machine die in staat is om elke mogelijke rangschikking te controleren voor problemen met tot zestig onderdelen. Door deze brute rekenkracht te combineren met een systeem dat het werk verdeelt over meerdere computers, hebben zij erin geslaagd de perfecte oplossing te vinden voor problemen die voorheen te groot waren om volledig op te lossen. Deze prestatie levert een "gouden standaard"-antwoord dat als testmateriaal kan dienen voor andere, snellere computerprogramma's, waardoor wetenschappers kunnen verifiëren of hun afkortingen echt werken of dat ze de beste oplossing volledig missen.

De kern van dit werk is een software-plugin genaamd Omnisolver-bruteforce, die fungeert als een universele vertaler voor verschillende soorten computer-solvers. Zie het als een universele sleutel waarmee onderzoekers diverse tools kunnen inpluggen om hetzelfde probleem aan te pakken. De onderzoekers hebben een bestaande tool die elke mogelijkheid op een enkele grafische kaart kon controleren, geüpgraded zodat deze simultaan over een netwerk van acht krachtige kaarten kan werken. Ze bereikten dit door de enorme zoekruimte op te delen in kleinere, onafhankelijke brokken. Stel je een bibliotheek voor waar je een specifiek boek moet vinden; in plaats van één persoon die elke plank controleert, wordt de taak verdeeld zodat acht mensen tegelijkertijd verschillende secties controleren en pas terugmelden wanneer ze het doel hebben gevonden. In dit geval is de "bibliotheek" de verzameling van alle mogelijke rangschikkingen van het probleem, en de "zoekers" zijn de grafische kaarten die parallel werken.

De onderzoekers hebben dit nieuwe systeem getest op een cluster van acht high-performance grafische kaarten, elk met een grote hoeveelheid geheugen. Ze stelden het systeem in om willekeurige versies van deze optimalisatieproblemen op te lossen, waarbij de omvang van het probleem geleidelijk werd vergroot van veertig onderdelen tot zestig. De resultaten waren opmerkelijk. Voor problemen met zestig onderdelen deed het systeem er ongeveer drie dagen over om elke mogelijke combinatie te controleren en het beste antwoord te bevestigen. Dit mag misschien lang klinken, maar zonder deze nieuwe methode zou de taak onmogelijk binnen een redelijke tijd voltooid kunnen worden. Het team observeerde dat voor elk extra onderdeel dat aan het probleem werd toegevoegd, de benodigde tijd om het op te lossen ongeveer verdubbelde, een patroon dat in al hun tests standhield. Dit voorspelbare gedrag bevestigde dat hun systeem precies werkt zoals de wetten van de fysica en de wiskunde voor dit type exhaustieve zoektocht voorschrijven.

Een aanzienlijk deel van de innovatie betrof het waarborgen dat de computer geen kleine foutjes maakt tijdens het uitvoeren van een dergelijke enorme hoeveelheid werk. Grafische kaars zijn ontworpen om snel te zijn, vaak ten koste van extreme precisie, wat kan leiden tot minuscule fouten die zich over de tijd opstapelen. De onderzoekers ontwikkelden een methode om deze kleine fouten automatisch te corrigeren terwijl ze gebeuren, waardoor het uiteindelijke antwoord wiskundig exact is. Ze verifieerden dit door hun resultaten te vergelijken met een bekende perfecte oplossing voor kleinere problemen en stelden vast dat de antwoorden tot op de laatste decimaal overeenkwamen. Dit niveau van betrouwbaarheid is cruciaal omdat de tool niet bedoeld is om alledaagse problemen voor bedrijven op te lossen, maar om als referentiepunt te dienen. Het stelt wetenschappers in staat om nieuwe, snellere algoritmen te testen — zoals die geïnspireerd door kwantumfysica of biologische systemen — om te zien of ze werkelijk de beste oplossing kunnen vinden of dat ze slechts gokken.

De studie keek ook vooruit naar wat mogelijk zou kunnen zijn met nog grotere computerclusters. De onderzoekers berekenden dat als zij twee honderd en zestien grafische kaarten zouden kunnen verbinden, zij een probleem met zestig onderdelen in slechts drieëndertig seconden zouden kunnen oplossen. Ze schatten verder in dat zij met een dergelijk massaal netwerk theoretisch problemen met tot wel drieënzeventig onderdelen binnen een maand zouden kunnen oplossen. Ze waren echter voorzichtig om te vermelden dat dit projecties zijn op basis van hun huidige gegevens, en dat real-world factoren zoals communicatievertragingen tussen computers de exacte cijfers kunnen veranderen. Het huidige systeem is beperkt tot problemen met zestig vier onderdelen vanwege de manier waarop de software het tellen van rangschikkingen afhandelt, maar binnen die limiet biedt het een definitief antwoord.

Dit werk beweert niet alle optimalisatieproblemen te hebben opgelost, noch suggereert het dat exhaustieve zoektochten de snellere, benaderende methoden voor dagelijks gebruik zullen vervangen. In plaats daarvan biedt het een manier om de kwaliteit van die snellere methoden te certificeren. Door een gegarandeerd correct antwoord te bieden voor problemen van een bepaalde omvang, hebben de onderzoekers de wetenschappelijke gemeenschap een liniaal gegeven om de nauwkeurigheid van nieuwe technologieën te meten. Naarmate het veld van de informatica beweegt naar complexere uitdagingen, wordt het bezit van een tool die definitief kan zeggen "dit is het best mogelijke antwoord" een essentiële benchmark. De onderzoekers hebben hun software beschikbaar gesteld aan anderen, en nodigen de gemeenschap uit om deze nieuwe capaciteit te gebruiken om hun eigen ontdekkingen te verifiëren en de grenzen van wat computationeel mogelijk is te verleggen.