Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

Stel je een wereld voor waarin de krachtigste computers op aarde niet in een enkele kamer staan, maar verspreid over de hele wereld toegankelijk zijn voor iedereen met een internetverbinding. Dit zijn quantumcomputers, machines die de vreemde regels van de natuurkunde gebruiken om problemen op te lossen die gewone computers duizenden jaren zouden kosten. Vandaag de dag bouwen wetenschappers een "cloud" voor deze machines, een systeem waarbij mensen tijd op hen kunnen huren om hun eigen experimenten uit te voeren. Echter, net zoals bij het huren van een auto of een hotelkamer, zit er een prijskaartje aan verbonden. In deze digitale marktplaats is de kosten vaak direct gekoppeld aan hoe lang de computer draait. Het probleem is dat deze quantummachines niet allemaal hetzelfde zijn. Sommige zijn snel maar duur, terwijl andere langzamer maar goedkoper zijn, en sommige zijn beter in het afhandelen van specifieke, moeilijke taken. Als je simpelweg de goedkoopste machine kiest, kan je taak zo lang duren dat de rekening enorm hoog wordt. Als je de snelste kiest, moet je misschien wachten in een lange rij omdat iedereen er ook gebruik van wil maken. Het vinden van de perfecte balans tussen geld besparen en snel klaar zijn is een puzzel die onderzoekers tot nu toe heeft verbijsterd.

Een team van wetenschappers heeft dit puzzelstuk aangepakt door een nieuw soort digitale manager te creëren, een systeem dat ontworpen is om te beslissen welke quantumcomputer welke taak moet uitvoeren. Ze noemen hun creatie QRLQ. In plaats van de standaard, zware software die gewoonlijk deze besluitvormingssystemen aanstuurt, hebben ze hun manager gebouwd met een hybride aanpak die klassieke computing combineert met een zeer kleine, gespecialiseerde quantumcircuit. Denk aan dit quantumcircuit als een compact, uiterst efficiënt brein dat van ervaring kan leren zonder massief te hoeven zijn. De onderzoekers hebben dit systeem getraind om naar een nieuwe taak te kijken, de status van alle beschikbare quantummachines te controleren en direct te beslissen waar het werk naartoe gestuurd moet worden. Het doel was om twee dingen tegelijkertijd te minimaliseren: de tijd die de taak doorbrengt in de wachtrij en de tijd die de taak daadwerkelijk draait, wat direct de kosten bepaalt.

Om te testen of dit idee werkte, voerden de onderzoekers duizenden simulaties uit op een krachtige klassieke computer, waarbij een drukke quantumcloud met vijf verschillende soorten machines werd nagebootst. Ze voedden hun systeem een constante stroom complexe taken, vergelijkbaar met die gebruikt worden in echt wetenschappelijk onderzoek, en observeerden hoe het presteerde ten opzichte van andere veelvoorkomende strategieën. Sommige van deze concurrerende strategieën waren eenvoudige regels, zoals altijd de machine kiezen die op dit moment vrij is, of altijd de snelste beschikbare machine kiezen. Anderen waren geavanceerder en gebruikten traditionele kunstmatige intelligentie om de beste zetten te leren. De resultaten lieten zien dat de nieuwe quantum-gestuurde manager opmerkelijk effectief was. Het slaagde erin om de gemiddelde kosten van het draaien van taken met tussen de 5 en 11 procent te verlagen vergeleken met de eenvoudige regelgebaseerde methoden. Nog indrukwekkender was dat het de gemiddelde wachttijd met 17 procent verkortte vergeleken met de best presterende traditionele regel, en met een verbazingwekkende 82 procent vergeleken met de zwakste regel.

Wat deze ontdekking bijzonder significant maakt, is niet alleen dat het werkt, maar ook hoe efficiënt het dat doet. Traditionele systemen van kunstmatige intelligentie die proberen een probleem van dit type op te lossen, vereisen vaak duizenden aanpasbare instellingen, of parameters, om effectief te leren. Deze grote systemen kunnen traag zijn om te trainen en moeilijk te draaien. Het nieuwe QRLQ-systeem bereikte daarentegen resultaten die net zo goed waren, en in sommige gevallen zelfs beter, terwijl het ongeveer 72 procent minder aanpasbare instellingen gebruikte. Het is alsof de onderzoekers een manier hebben gevonden om hetzelfde niveau van intelligentie te verkrijgen uit een veel kleinere, meer gestroomlijnde motor. Het systeem bleek ook robuust te zijn; zelfs toen de onderzoekers kleine hoeveelheden willekeurige ruis introduceerden om de imperfecte condities van echte quantumhardware te simuleren, bleef de prestatie van het systeem stabiel, waardoor de wachttijden laag en de kosten laag bleven.

De studie keek ook naar de kwaliteit van de resultaten die de quantumcomputers produceerden. In het huidige tijdperk van quantumtechnologie zijn machines gevoelig voor fouten, en het verkrijgen van een correct antwoord is vaak het belangrijkste doel. De onderzoekers ontdekten dat hun nieuwe planningssysteem geen nauwkeurigheid opofferde voor snelheid. De taken die het systeem inplande, werden voltooid met een succespercentage dat bijna identiek was aan de best mogbare strategie, die simpelweg de machine met de laagste foutmarge kiest. Dit suggereert dat het systeem slim genoeg is om te weten wanneer een iets tragere machine eigenlijk een betere keuze is omdat deze betrouwbaarder is, of wanneer een snellere machine de wachttijd waard is omdat de kans kleiner is dat deze faalt.

Hoewel deze resultaten veelbelovend zijn, merken de onderzoekers er voorzichtig bij op dat ze gebaseerd zijn op simulaties. Ze hebben dit systeem nog niet getest op een live, fysiek netwerk van quantumcomputers. De bevindingen wijzen echter op een duidelijke weg vooruit. Door gebruik te maken van deze compacte, door quantum versterkte leermodellen, zal het spoedig mogelijk zijn om de groeiende complexiteit van de quantumcloud te beheren zonder dat daar enorme, energieverslindende computers voor nodig zijn. Terwijl de quantumindustrie beweegt naar een toekomst waarin deze machines gebruikelijker en krachtiger zullen zijn, zal het essentieel zijn om een slimme, efficiënte manier te hebben om hen te orkestreren. Dit werk demonstreert dat we niet hoeven te wachten op perfecte, foutvrije machines om te beginnen met het optimaliseren van hoe we de machines gebruiken die we vandaag de dag al hebben. In plaats daarvan kunnen we, door de leerkracht van kunstmatige intelligentie te combineren met de unieke efficiëntie van quantumcircuits, al beginnen met het oplossen van de complexe logistieke uitdagingen van het quantumtijdperk.